Как мы строили ЦОД

Привет, Пикабу!


В каждой крупной компании с обширной IT-инфраструктурой наступает момент, когда разрозненных серверных и кроссовых помещений становится недостаточно, и встаёт вопрос о постройке ЦОДа.


Коснулся этот момент и нас, потому, не откладывая в долгий ящик, приступили к реализации.


Было выбрано помещение подходящей площади и объёма.

Как мы строили ЦОД Цод, Серверная, Машинный зал, Строительство, IT, Отчет, Длиннопост

Чтобы избежать визита с нашим ЦОДом на этаж ниже, а вес получается немаленький (несколько десятков стоек с оборудованием общим весом более 20 тонн), делаем разгрузочную раму из стального швеллера.

Как мы строили ЦОД Цод, Серверная, Машинный зал, Строительство, IT, Отчет, Длиннопост

На раме, с большим запасом по высоте, собираем фальшпол. Под ним пойдут коммуникации и воздухообмен системы охлаждения.

Как мы строили ЦОД Цод, Серверная, Машинный зал, Строительство, IT, Отчет, Длиннопост

Сама система охлаждения тоже не маленькая. Ей предстоит охлаждать оборудование мощностью более 150кВт и поддерживать заданную влажность.

Как мы строили ЦОД Цод, Серверная, Машинный зал, Строительство, IT, Отчет, Длиннопост

И вот вырисовывается примерный вид будущего ЦОДа. Начинаем прокладывать коммуникации и

Как мы строили ЦОД Цод, Серверная, Машинный зал, Строительство, IT, Отчет, Длиннопост

монтировать стойки с оборудованием. На весь проект только витой пары ушло несколько десятков километров :)

Как мы строили ЦОД Цод, Серверная, Машинный зал, Строительство, IT, Отчет, Длиннопост

Здесь, к сожалению, объём работы был такой, что было не до фотографий :(


Поэтому сразу к результату.

Как мы строили ЦОД Цод, Серверная, Машинный зал, Строительство, IT, Отчет, Длиннопост

Уровень шума в центральном проходе препятствует разговору двух человек на расстоянии более двух метров друг от друга :)

Как мы строили ЦОД Цод, Серверная, Машинный зал, Строительство, IT, Отчет, Длиннопост

На все работы, от бетонной коробки до ЦОДа, ушло пять месяцев.


На этом всё, спасибо за внимание! :)

2
Автор поста оценил этот комментарий

странно, мож не по глазам, но я не вижу системы пожаротушения.

раскрыть ветку (1)
5
Автор поста оценил этот комментарий

А она есть) В отдельном помещении газовая СГП, а в машинном зале датчики и сопла.

показать ответы
Автор поста оценил этот комментарий

вы блядь швеллера судя по фото и описанию клали прямо на пол (дебилы), а них ставили фальш пол (дважды дебилы), а на него всё оборудование (имбицилы), ахахах
и потом вы называетесь  ИТ-специалисты (ниже имбицилов я простите ещё не встречал)

раскрыть ветку (1)
3
Автор поста оценил этот комментарий

Так хочется сохранить стиль вопроса в ответе и нахамить..


В стяжке сделаны вырезы до ригеля. На каждый ригель, в зоне прохождения балок, установлены подушки. Балки закреплены на подушки с высотой просвета 7 см от стяжки. Сами балки стянуты на стыке и перекрывают четыре опорных конструкции здания.

1
Автор поста оценил этот комментарий

А ДГУ где?

раскрыть ветку (1)
2
Автор поста оценил этот комментарий

А ДГУ нет) Ввода идут через 200кВА УПСы с двух ТЭЦ города.

показать ответы
3
Автор поста оценил этот комментарий

что за цод?

раскрыть ветку (1)
2
Автор поста оценил этот комментарий

ЦОД - Центр Обработки Данных, так же известен как "Машинный зал" или "Серверная", однако аббревиатура ЦОД может быть использована как для одного Машинного зала, так и для нескольких :)

показать ответы
Автор поста оценил этот комментарий

А что делали "пистолетом" на третьей фотке?

раскрыть ветку (1)
2
Автор поста оценил этот комментарий

Жидкий эластичный клей для первоначального крепления стоек фальшпола.

показать ответы
2
Автор поста оценил этот комментарий

Расскажи про систему пожаротушения, охлаждение, про всякое вообще. Короче, запили еще пару постов :)

раскрыть ветку (1)
2
Автор поста оценил этот комментарий

Хорошо, постараюсь сделать)

2
Автор поста оценил этот комментарий

А как контроль доступа и противопожарная система организованы?

раскрыть ветку (1)
2
Автор поста оценил этот комментарий

Классический СКУД с завязкой на СГП для эвакуации.

Автор поста оценил этот комментарий

Неа, работаю не в Делле :) Если интересно - напишу.

Если что у нас есть реально крутые машины 8-ми процессорные с отказоустойчивостью как пауэры.

раскрыть ветку (1)
Автор поста оценил этот комментарий

Как минимум для общего развития интересно :)

показать ответы
Автор поста оценил этот комментарий
А какой tier в итоге?
раскрыть ветку (1)
Автор поста оценил этот комментарий
берите NetApp и не нужен Вам будет NAS GW )
раскрыть ветку (1)
Автор поста оценил этот комментарий

И с NetApp'ом нужен будет) Не шарить же мне клиентам сеть метаданных)

Автор поста оценил этот комментарий

А почему supermicro? У них же никакого сервиса в России. И вообще, какой уровень SLA у вас на оборудование?

Я сам работаю в вендоре, которое у вас не представлено, к сожалению :(

раскрыть ветку (1)
Автор поста оценил этот комментарий

Встречаем представителя Dell? ) По критичным сегментам 24/7 with hardware replacement, по некритичным (как раз Supermicro) обычная гарантия от поставщика, затем в рамках замены расходных элементов.

показать ответы
Автор поста оценил этот комментарий

кто т тебя минусонул - я поправил, т.к. тоже интересно

раскрыть ветку (1)
Автор поста оценил этот комментарий

И я поправил, т.к. вполне разумный вопрос. Узкоспециализированный сегмент трогать не буду, а касательно IT вендоров:

LAN и SAN на Cisco

СХД на Hitachi, HP, StorageTek и Seagate

Тяжёлые молотилки на HP, лёгкие на Supermicro

показать ответы
Автор поста оценил этот комментарий
тс, а что по электричеству? ведь цоды питаются по 1 особой категории
раскрыть ветку (1)
1
Автор поста оценил этот комментарий

Два гарантированных двухфазных ввода. Оборудование с одним БП сидит на рэковых АВРах, с двумя и более БП балансируется по вводам.

2
Автор поста оценил этот комментарий

ИМХО, зачем обобщать всю медь???

Есть ведь 10Gb/s медные шнурки и даже "40" (10х4)

Правда не длинные...

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

Ну, кстати, QSFP и SFP+ twinax'ы мы тоже активно используем. А в целом стыки Core-Edge однозначно оптика, сильнонагруженные ресурсы тоже оптика (или twinax), остальное gbe медь с тимированием для резерва.

3
Автор поста оценил этот комментарий
ТС, конечно плюс за такой пост, но в качестве конструктивной критики советую обратить внимание на блог компании КРОК на GeekTimes, там и слогу поучишься, и увидишь, что подробностей надо больше, БОЛЬШЕ ПОДРОБНОСТЕЙ БОГУ ПОДРОБНОСТЕЙ!
раскрыть ветку (1)
1
Автор поста оценил этот комментарий

Так мы вроде бы не на Хабре, но учту, спасибо за критику)

1
Автор поста оценил этот комментарий

Когда работал в IT отделе универа, руководство решило, что без фальш-пола нам не обойтись на 3 стойки оборудования :) По факту как же геморно было его ставить своими силами, без практики.

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

И как же круто, когда он есть, ещё и с заготовленными лотками под силу и СКС.

7
DELETED
Автор поста оценил этот комментарий
Комментарий удален. Причина: данный аккаунт был удалён
раскрыть ветку (1)
1
Автор поста оценил этот комментарий

Воздух от кондиции снизу, но от этого не легче, особенно при необходимости длительной работы)

показать ответы
1
Автор поста оценил этот комментарий

Тоже хотел спросить про пожаротушение, но меня опередили, сопел не видно =) Хладон-125?

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

Не знаю, но по заверениям пожарных не летальный)

показать ответы
2
Автор поста оценил этот комментарий

В контексте ЦОД, это к примеру как на последней фотке, когда куча одноюнитных серверов.

Оптика на nGb/s нужна железкам другого уровня. Хотя может он имел в виду домашний интернет, я не ванга.

раскрыть ветку (1)
Автор поста оценил этот комментарий

Очень странный вывод. Простой пример:

NAS Gateway для СХД по best practice размещается в standalone 1U сервер с подключением 2х8(16)gbit в сторону СХД и 2x10gbit в сторону пользовательского сегмента.

показать ответы
2
Автор поста оценил этот комментарий

в холодных коридорах видела температуру до +7 градусов.
В рубашке прохладно :\

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

+7? Это по меньшей мере странно, а по большей - это выход за пределы эксплуатационных условий. Например выдержка из QS на DL360g9:


Operating range 10° to 35°C. Maximum rate of change

is 10°C/hr. System performance may be reduced if

operating with a fan fault or above 30°C


Т.е. рекомендуемый диапазон от 10°.


А для СХД ещё более жесткие требования.

показать ответы