В Екатеринбурге есть дата-центр по сути единственный на Урале, куда можно пристроить свою майнинг-ферму или другое оборудование для производства криптовалюты. Дата-центр сейчас во всю отстраивает новые помещения и мощностей пока не хватает на всех желающих. А тех кто захотел разместить майнинг-фермы оказалось слишком много. Дата-центр возник можно сказать на руинах Завода радиоаппаратуры. Помещения ЦОДа располагаются в здании, где в советские годы располагался руководящий состав завода.

Охлаждение в помещении устроено по принципу "холодный коридор - горячий коридор". В холодный коридор нагнетается холодный воздух. Пройдя через оборудование, нагревшийся воздух попадает в "горячий" коридор, а оттуда в систему вентиляции. Такая система позволяет существенно сократить затраты на электроснабжение.

Применяется технология фрикулинга берется холодный воздух с улицы, очищается, если необходимо, то увлажняется и загоняется в серверную сверху. После этого очищенный горячий воздух из серверной направляется в офисные помещения. В офисе люди получают чистый, свежий и уже нагретый воздух.

В ЦОДе уже полноценно функционируют два помещения. В них расположены "Юниты", асики и майнинг-фермы, а также сервера по типу Tower. В третьем помещении идет ремонт. Оно будет отдано на откуп майнерам.

В будущем здесь планируют построить технопарк, обеспечивающий себя электричеством за счет "Зеленой энергетики". Подробнее о необычном дата-центре можно прочесть по ссылке.

Вещаю от лица ВКонтакте.

Все знают, что сердце ВКонтакте — дом Зингера на Невском проспекте. Сегодня мы расскажем и покажем, где находится и как выглядит его мозг — дата-центр ИЦВА.

Как построить дата-центр?

ЦОД (центр хранения и обработки данных, он же дата-центр) — это совокупность нескольких инфраструктурных систем, которые обеспечивают надёжность и отказоустойчивость работы серверного и сетевого оборудования.

Нельзя просто поставить кучу серверов и коммутаторов. Нужно создать и поддерживать оптимальные условия для их работы. Если Вы хотите построить свой ЦОД, Вам потребуются:

• Система электроснабжения. Тут всё ясно — серверы работают на электричестве, и их много. Стало быть, обычной розетки на 220В, скорее всего, будет маловато.

• Система охлаждения. Даже игровая видеокарта в продвинутом компьютере требует мощного кулера. Что уж говорить о сотнях и тысячах высокопроизводительных устройств.

• Структурированная кабельная система (СКС). Что-то должно соединять все элементы в единое целое. Вам потребуется очень много кабелей и пылкая любовь к процессу их педантичной укладки.

Это основные системы «жизнеобеспечения», самый минимум, который нужен, чтобы просто запустить оборудование. Но для настоящего полноценного дата-центра нужно кое-что ещё. А именно:

• Система пожаротушения. Важно позаботиться о том, чтобы случайная искра не превратила Ваш новенький ЦОД в руины.

• Система мониторинга. Вы должны вовремя узнать, если что-то пошло не так.

• Система контроля и управления доступом (СКУД). Не стоит оставлять двери открытыми для всех желающих.

• Охранная сигнализация. На случай, если вместо пропуска кто-то решит использовать лом.

• Система видеонаблюдения.

Добро пожаловать в ИЦВА

Почему ИЦВА, что за название такое? ИЦВА — это исследовательский центр высоковольтного аппаратостроения, который раньше находился в здании дата-центра и работал на благо энергетической промышленности. В наследство нам достались антиутопического вида ангары с потолками на уровне пятого этажа и загадочные помещения со стенами толщиной в метр.

В четырёх машинных залах размещены 640 стоек — это более 20000 серверов и более 200 коммутаторов, роутеры и DWDM-системы ёмкостью свыше 4 Тбит/c. Здесь установлен роутер ASR9000 с серийным номером 1 — в своё время это была первая коммерческая установка такого устройства во всём мире.

В пике дата-центр генерирует более 1 Тбит/c внешнего трафика. К нашим DWDM-системам подключены более 10 крупнейших международных провайдеров и международных центров обмена трафиком, а также около 40 крупных операторов РФ.

Электроснабжение

Все элементы системы электроснабжения резервируются как минимум N+1.

Буквально напротив здания дата-центра находится подстанция «Восточная», от которой питание подаётся в ЦОД по двум вводам 6кВ. Далее через распределительную подстанцию и автоматический ввод резерва питание подаётся по двум независимым вводам. Вот как это выглядит на схеме (для простоты — с одним машинным залом из четырёх):

Каждый узел дублируется и в норме работает под половинной нагрузкой. В случае аварии питание дойдёт до машинного зала в обход вышедшего из строя участка. Например, мы потеряли один 6кВ ввод:

Если всё совсем плохо и на вводы от магистральной сети рассчитывать не приходится, в дело вступают источники бесперебойного питания. Их задача — обеспечить питание машинных залов на то недолгое время, пока запускаются дизель-генераторные установки.

Дизель-генераторные установки (ДГУ) поддерживают жизнь в дата-центре в случае затяжной аварии или плановых работ в системе электроснабжения. Кроме топливных баков в самих ДГУ установлена автоматическая контейнерная заправочная станция большой ёмкости. Топливо из резервуара подаётся автоматически во все ДГУ, запас рассчитан минимум на сутки. В случае необходимости бензовоз с дизельным топливом прибудет в течение двух часов.

Каждый сервер и каждый коммутатор подключены к двум вводам питания. Как правило, в современном оборудовании такая возможность предусмотрена производителем. Для серверов с одним вводом питание дублируется с помощью вот такого устройства:

(прим. ред. Байпас – это режим питания нагрузки сетевым напряжением в обход основной схемы системы бесперебойного питания (СБП). Например, в обход ИБП, стабилизатора или дизель-генератора. Часто байпасом называют саму обходную защитную линию (цепь) и её сопутствующие коммутационные устройства).

Система охлаждения

Для комфортной жизни оборудования в машинных залах нужно поддерживать определённый температурный диапазон. Вот почему компании по всему миру всё чаще строят свои ЦОДы где-нибудь неподалеку от полярного круга — в таких условиях можно использовать наружный воздух для охлаждения серверов. Это называется «фрикулинг», и такой подход по праву считается самым энергоэффективным (зачем тратить энергию на охлаждение тёплого воздуха, если можно сразу взять холодный?).

У нас фрикулинг тоже используется, правда, с некоторыми оговорками. Несмотря на легендарную питерскую прохладу, летом температура воздуха всё-таки иногда поднимается выше заветных 20-25°, и его приходится дополнительно охлаждать. В зимний период, напротив, воздух слишком холодный, чтобы его можно было сразу использовать. Кроме того, что серверы могут просто переохладиться, изменение температуры приведёт к сдвигу точки росы — а конденсат такому оборудованию противопоказан. Вдобавок, воздух при такой схеме попадает с улицы, а значит, его нужно дополнительно очищать.

Фрикулинг используется в одном машинном зале из четырёх, в остальных система охлаждения работает по классической схеме с использованием прецизионных кондиционеров.

Холодный воздух из камеры смешения или кондиционера через фальшпол или воздуховод подаётся в так называемый «холодный коридор». Это изолированное пространство между лицевыми сторонами двух рядов стоек. Вот такое:

С обратной стороны отработанный нагретый воздух попадает в «горячий коридор» — а оттуда отправляется обратно на охлаждение фреоном во внутренние блоки кондиционеров. Так достигается циркуляция чистого (без пыли) воздуха в машинном зале.

Структурированная кабельная система

Километры бережно уложенных проводов. Здесь не нужны слова.

Система пожаротушения

В нашем ЦОДе предусмотрена система газового пожаротушения. Собственно газ (хладон) хранится под давлением в баллонах. В случае пожара по сигналу с датчика в машинном зале клапан будет приведён в действие, и газ по трубам устремится к источнику возгорания.

Мониторинг

Все показатели здоровья дата-центра отслеживаются в режиме реального времени. Это температура (с датчиков оборудования и внутри помещений), электроснабжение, нагрузка на сетевое оборудование — данные выводятся на дисплеи дежурных и контролируются автоматикой. Если что-то пошло не так, система мониторинга сама пришлёт инженерам сообщение о проблеме (ВКонтакте и по СМС).

Мониторинг системы охлаждения

Система контроля доступа и охрана

На территорию могут попасть только сотрудники, любая дверь снабжена электронным замком со считывателем карты доступа. ИЦВА охраняется в режиме 24/7, в каждом помещении ведётся видеонаблюдение.

Подведём итоги

ИЦВА имеет очень удачное расположение: всего в нескольких километрах от родного города ВКонтакте и рядом с надёжным источником электроэнергии.

Здесь непрерывно продолжается процесс модернизации оборудования и повышения энергоэффективности. PUE (Power Usage Effectiveness), или коэффициент эффективности использования электроэнергии — ключевой показатель оценки ЦОД. Он считается как соотношение всей энергии, потребляемой дата-центром, и фактического потребления серверов и сетевого оборудования. Как ясно из этого определения, PUE идеального дата-центра в вакууме равен 1.0. ИЦВА — не идеальный дата-центр в вакууме, но мы планомерно работаем над снижением этого показателя.

Команда сотрудников ИЦВА и сетевых инженеров ВКонтакте делает всё, чтобы Вы каждый день могли наслаждаться своими любимыми роликами, смотреть новые фотографии друзей и не задумываться о том, какая сложная инфраструктура при этом используется.

Взято отсюда.

Спасибо за внимание!

Сегодня в сети наткнулся на крик боли, о том как собирался сервер под брендом "НТ" - Новые Технологии. Ниже приведу цитаты почти без редакции.

Ох, вчера весь день ставили новые сервера от... от... НТ, блять! «Новые Технологии» ёпта. А по факту ёбанный стыд с дешманскими наклейками и оторванными шильдиками HP/HPE."

В "НТ" переименовано всё — даже модели, даже коробки, даже аллах, причём почти все упоминания об HP/HPE заботливо смыты или содраны.

Надпись DNA Name: ILOCZ36 говорит о том, что это на 146% российский сервер!

Integrated Lights-Out — механизм управления серверами в условиях отсутствия физического доступа к ним. Применяется фирмой Hewlett Packard для всех своих серверов (кроме серверов 100 серии до марта 2009 года (до G6)). CZ означает чешскую сборку!

Соответствующие коробки

Судя по артикулу указанному в паспорте это действительно HP - http://www8.hp.com/us/en/products/oas/product-detail.html?oi...

Компания НТ честно говорит о сотрудничестве с Hewlett Packard

Собственно вопрос: зачем такое делают? Кто с этого имеет профиты?
Если это то самое импортозамещение, то оно как-то не так работает.

Привет, Пикабу!

В каждой крупной компании с обширной IT-инфраструктурой наступает момент, когда разрозненных серверных и кроссовых помещений становится недостаточно, и встаёт вопрос о постройке ЦОДа.

Коснулся этот момент и нас, потому, не откладывая в долгий ящик, приступили к реализации.

Было выбрано помещение подходящей площади и объёма.

Чтобы избежать визита с нашим ЦОДом на этаж ниже, а вес получается немаленький (несколько десятков стоек с оборудованием общим весом более 20 тонн), делаем разгрузочную раму из стального швеллера.

На раме, с большим запасом по высоте, собираем фальшпол. Под ним пойдут коммуникации и воздухообмен системы охлаждения.

Сама система охлаждения тоже не маленькая. Ей предстоит охлаждать оборудование мощностью более 150кВт и поддерживать заданную влажность.

И вот вырисовывается примерный вид будущего ЦОДа. Начинаем прокладывать коммуникации и

монтировать стойки с оборудованием. На весь проект только витой пары ушло несколько десятков километров :)

Здесь, к сожалению, объём работы был такой, что было не до фотографий :(

Поэтому сразу к результату.

Уровень шума в центральном проходе препятствует разговору двух человек на расстоянии более двух метров друг от друга :)

На все работы, от бетонной коробки до ЦОДа, ушло пять месяцев.

На этом всё, спасибо за внимание! :)