PalHal

Вещаю от лица ВКонтакте.

Все знают, что сердце ВКонтакте — дом Зингера на Невском проспекте. Сегодня мы расскажем и покажем, где находится и как выглядит его мозг — дата-центр ИЦВА.

Как построить дата-центр?

ЦОД (центр хранения и обработки данных, он же дата-центр) — это совокупность нескольких инфраструктурных систем, которые обеспечивают надёжность и отказоустойчивость работы серверного и сетевого оборудования.

Нельзя просто поставить кучу серверов и коммутаторов. Нужно создать и поддерживать оптимальные условия для их работы. Если Вы хотите построить свой ЦОД, Вам потребуются:

• Система электроснабжения. Тут всё ясно — серверы работают на электричестве, и их много. Стало быть, обычной розетки на 220В, скорее всего, будет маловато.

• Система охлаждения. Даже игровая видеокарта в продвинутом компьютере требует мощного кулера. Что уж говорить о сотнях и тысячах высокопроизводительных устройств.

• Структурированная кабельная система (СКС). Что-то должно соединять все элементы в единое целое. Вам потребуется очень много кабелей и пылкая любовь к процессу их педантичной укладки.

Это основные системы «жизнеобеспечения», самый минимум, который нужен, чтобы просто запустить оборудование. Но для настоящего полноценного дата-центра нужно кое-что ещё. А именно:

• Система пожаротушения. Важно позаботиться о том, чтобы случайная искра не превратила Ваш новенький ЦОД в руины.

• Система мониторинга. Вы должны вовремя узнать, если что-то пошло не так.

• Система контроля и управления доступом (СКУД). Не стоит оставлять двери открытыми для всех желающих.

• Охранная сигнализация. На случай, если вместо пропуска кто-то решит использовать лом.

• Система видеонаблюдения.

Добро пожаловать в ИЦВА

Почему ИЦВА, что за название такое? ИЦВА — это исследовательский центр высоковольтного аппаратостроения, который раньше находился в здании дата-центра и работал на благо энергетической промышленности. В наследство нам достались антиутопического вида ангары с потолками на уровне пятого этажа и загадочные помещения со стенами толщиной в метр.

В четырёх машинных залах размещены 640 стоек — это более 20000 серверов и более 200 коммутаторов, роутеры и DWDM-системы ёмкостью свыше 4 Тбит/c. Здесь установлен роутер ASR9000 с серийным номером 1 — в своё время это была первая коммерческая установка такого устройства во всём мире.

В пике дата-центр генерирует более 1 Тбит/c внешнего трафика. К нашим DWDM-системам подключены более 10 крупнейших международных провайдеров и международных центров обмена трафиком, а также около 40 крупных операторов РФ.

Электроснабжение

Все элементы системы электроснабжения резервируются как минимум N+1.

Буквально напротив здания дата-центра находится подстанция «Восточная», от которой питание подаётся в ЦОД по двум вводам 6кВ. Далее через распределительную подстанцию и автоматический ввод резерва питание подаётся по двум независимым вводам. Вот как это выглядит на схеме (для простоты — с одним машинным залом из четырёх):

Каждый узел дублируется и в норме работает под половинной нагрузкой. В случае аварии питание дойдёт до машинного зала в обход вышедшего из строя участка. Например, мы потеряли один 6кВ ввод:

Если всё совсем плохо и на вводы от магистральной сети рассчитывать не приходится, в дело вступают источники бесперебойного питания. Их задача — обеспечить питание машинных залов на то недолгое время, пока запускаются дизель-генераторные установки.

Дизель-генераторные установки (ДГУ) поддерживают жизнь в дата-центре в случае затяжной аварии или плановых работ в системе электроснабжения. Кроме топливных баков в самих ДГУ установлена автоматическая контейнерная заправочная станция большой ёмкости. Топливо из резервуара подаётся автоматически во все ДГУ, запас рассчитан минимум на сутки. В случае необходимости бензовоз с дизельным топливом прибудет в течение двух часов.

Каждый сервер и каждый коммутатор подключены к двум вводам питания. Как правило, в современном оборудовании такая возможность предусмотрена производителем. Для серверов с одним вводом питание дублируется с помощью вот такого устройства:

(прим. ред. Байпас – это режим питания нагрузки сетевым напряжением в обход основной схемы системы бесперебойного питания (СБП). Например, в обход ИБП, стабилизатора или дизель-генератора. Часто байпасом называют саму обходную защитную линию (цепь) и её сопутствующие коммутационные устройства).

Система охлаждения

Для комфортной жизни оборудования в машинных залах нужно поддерживать определённый температурный диапазон. Вот почему компании по всему миру всё чаще строят свои ЦОДы где-нибудь неподалеку от полярного круга — в таких условиях можно использовать наружный воздух для охлаждения серверов. Это называется «фрикулинг», и такой подход по праву считается самым энергоэффективным (зачем тратить энергию на охлаждение тёплого воздуха, если можно сразу взять холодный?).

У нас фрикулинг тоже используется, правда, с некоторыми оговорками. Несмотря на легендарную питерскую прохладу, летом температура воздуха всё-таки иногда поднимается выше заветных 20-25°, и его приходится дополнительно охлаждать. В зимний период, напротив, воздух слишком холодный, чтобы его можно было сразу использовать. Кроме того, что серверы могут просто переохладиться, изменение температуры приведёт к сдвигу точки росы — а конденсат такому оборудованию противопоказан. Вдобавок, воздух при такой схеме попадает с улицы, а значит, его нужно дополнительно очищать.

Фрикулинг используется в одном машинном зале из четырёх, в остальных система охлаждения работает по классической схеме с использованием прецизионных кондиционеров.

Холодный воздух из камеры смешения или кондиционера через фальшпол или воздуховод подаётся в так называемый «холодный коридор». Это изолированное пространство между лицевыми сторонами двух рядов стоек. Вот такое:

С обратной стороны отработанный нагретый воздух попадает в «горячий коридор» — а оттуда отправляется обратно на охлаждение фреоном во внутренние блоки кондиционеров. Так достигается циркуляция чистого (без пыли) воздуха в машинном зале.

Структурированная кабельная система

Километры бережно уложенных проводов. Здесь не нужны слова.

Система пожаротушения

В нашем ЦОДе предусмотрена система газового пожаротушения. Собственно газ (хладон) хранится под давлением в баллонах. В случае пожара по сигналу с датчика в машинном зале клапан будет приведён в действие, и газ по трубам устремится к источнику возгорания.

Мониторинг

Все показатели здоровья дата-центра отслеживаются в режиме реального времени. Это температура (с датчиков оборудования и внутри помещений), электроснабжение, нагрузка на сетевое оборудование — данные выводятся на дисплеи дежурных и контролируются автоматикой. Если что-то пошло не так, система мониторинга сама пришлёт инженерам сообщение о проблеме (ВКонтакте и по СМС).

Мониторинг системы охлаждения

Система контроля доступа и охрана

На территорию могут попасть только сотрудники, любая дверь снабжена электронным замком со считывателем карты доступа. ИЦВА охраняется в режиме 24/7, в каждом помещении ведётся видеонаблюдение.

Подведём итоги

ИЦВА имеет очень удачное расположение: всего в нескольких километрах от родного города ВКонтакте и рядом с надёжным источником электроэнергии.

Здесь непрерывно продолжается процесс модернизации оборудования и повышения энергоэффективности. PUE (Power Usage Effectiveness), или коэффициент эффективности использования электроэнергии — ключевой показатель оценки ЦОД. Он считается как соотношение всей энергии, потребляемой дата-центром, и фактического потребления серверов и сетевого оборудования. Как ясно из этого определения, PUE идеального дата-центра в вакууме равен 1.0. ИЦВА — не идеальный дата-центр в вакууме, но мы планомерно работаем над снижением этого показателя.

Команда сотрудников ИЦВА и сетевых инженеров ВКонтакте делает всё, чтобы Вы каждый день могли наслаждаться своими любимыми роликами, смотреть новые фотографии друзей и не задумываться о том, какая сложная инфраструктура при этом используется.

Взято отсюда.

Спасибо за внимание!

Пост http://pikabu.ru/story/dve_istorii_4825389 освежил память, и я решил рассказать свои истории. Сокращаю по максимуму.

Я человек, который верит в карму. Да и даже не в карме зачастую дело, а просто реально радостнее и теплее на душе становится, когда получается кому-то помочь, тем более, если это не требует от меня каких-то сверхъестественных телодвижений.

Часть первая.

История номер раз. Перед последним Новым Годом, буквально за пару дней до торжества, выхожу из магазина, подхожу к машине и вижу практически у себя под колесом старенькую нокию и рядом аккумулятор. Оглянулся - никого. Сгрёб все это добро в карман и поехал домой. Дома собрал, включил, всё работает. Открываю список контактов, к слову, огромный, и попадаю на минутку в одну из стран Средней Азии. Кому звонить непонятно, никаких мам-жён там, естественно, нет. Решаю набрать последний пропущенный, он же неизвестный, номер. На том конце оказывается сам хозяин телефона. По-русски говорит довольно-таки неплохо, договариваемся, что завтра он ко мне на работу придет забирать. Спрашивает, надо ли мне какое-нибудь вознаграждение. Смеюсь в ответ, отвечаю, что не надо ничего, конечно. В назначенный час приезжает забирать свой агрегат. Спускаюсь, встречаю паренька лет так 27-28, отдаю телефон, он протягивает мне пакет, а в нем гирлянда. Отказываюсь, товарищ настаивает, я поддаюсь. Яро благодарит меня, говорит, что в этом телефоне вся жизнь. Приезжай, говорит, ко мне на коломяжский рынок, пожизненная скидка тебе будет :)

Кстати, дома у меня стояла уже наряженная ёлка, но вот этой гирлянды ей прям не хватало, реально красивее стала намного :)

История номер два-с. Через пару-тройку недель после этого случая выхожу с работы на обед. Недалеко от столовки практически наступаю на телефон, поднимаю. В этот раз телефон уже позаряжанней, смартфончик леново какой-то. Сразу в список контактов, там есть мама. Набираю, отвечает уже пожилая дама, объясняю ей ситуацию, она говорит, что сейчас за городом и не может позвонить его жене. Кстати, так и не понял почему. Ну, да ладно. Уточняю, Олей ли звать его жену, потому что обратил внимание на данный контакт в смсках. Там же в смсках обращаю внимание на пару поздравлений с Днем Рождения, датированные тем же днем. Набираю Ольге, рассказываю ей, что нашел телефон её мужа, сразу договариваемся, куда ей нужно подъехать, чтобы его забрать. Через минут 5 звонит сам мужик с рабочего телефона, говорит, что шел в столовку, поскользнулся, шлепнулся, видимо тогда телефон и выпал. Отвечаю, что как раз только что вышел из этой столовки. Через пару минут мужик уже подъехал. Подхожу к машине и отдаю телефон, мужик полез в карман, говорит, возьми сколько-нибудь хотя бы за находку. Отнекиваюсь, поздравляю с Днем Рождения и довольный шлепаю обратно на работу. Где-то через час приходит тысяча на телефон. Офигеваю. Сначала даже хотел обратно заслать, но понял, что некрасиво будет. Пишу смску, мол, не нужно было, мне это ничего вообще не стоило и поздравляю еще раз с Днем Рождения :)

Часть два.

История номер три-с.

Года 2-3 назад, нахожу поздно ночью на Литейном посреди тротуара паспорт. Вокруг ни души и льет дождь (ну это само собой, думаю, вы уже догадались, что за город). Дома, уже на следующий день сажусь за поиски в контакт. Интересует дядя, по-моему лет 45, с довольно необычным именем-фамилией. Нахожу в два счёта. Страница закрыта, сообщение не написать без заявки в друзья, заявляюсь с описанием причины. Прошло пару дней - ноль реакции, при этом онлайн бывает. Нахожу в друзьях жену, такая же ситуация со страницей, снова заявка в друзья и снова игнор. Еще через день решаю написать всем его друзьям, благо было их штук 15. С горем пополам, через пару дней мне отвечает один мужичок. Говорит, да, он мой друг, вот его телефон. Я звоню раз - сброс. Пишу смску, мол, нашёл ваш паспорт, возьмите трубку. Звоню еще раз, снова сброс. Пишет мне в ответ, что глухонемой и поэтому только смс. Пишет тоже очень тяжело, без склонений, падежей и т.д. Полдня выясняем чё-куда-зачем. В процессе он еще написал, как помню: "надо чо нибудь за нашол?" Отвечаю, что нет, ничего не надо. Наконец-то договорились. На всё про всё у меня уходит около недели и небольшая часть нервов. Едет очень долго, из каких-то дальних е**ней. Прибывает уже за полночь, к слову, будний день и мне завтра на работу. Пишет смску, что подъехал и называет машину. Думаю, ну ок, спущусь сам. Выхожу, шагаю к авто, товарищ вышел только когда я был в метре от машины. Забирает паспорт, жмет мне руку, садится и уезжает.

Мне как бы ничего не нужно было, но, например, банальная бутылочка пивка оставила бы намного приятнее осадок от ситуации.

В этом посте, как и в том, мораль тоже придумывайте сами :)

P.S.: вот такой вот я ищейка))