Дата центр
Я работаю инженером в самом большом и дорогом дата-центре нашей страны (может уже не самый большой, ибо они сейчас в белокаменной растут как грибы, но однозначно самый дорогой).
Думаю, многие из вас, хотели бы узнать, что из себя представляет это место изнутри и как оно работает.
Прошу не кидаться шапками за грамматические ошибки, да и вообще писатель из меня паршивый.
Название дата-центр у нас в стране не в ходу, обычно их называют центрами обработки данных или сокращённо ЦОД.
Все сейчас представляют большие ангары как в фильмах в рядами серверов моргающих сотнями разноцветных лампочек, как на картинке выше. Но это не совсем так. Я бывал, наверно, во всех самых больших и современных ЦОДах Москвы и в основном они все построены по одному принципу, за небольшими исключениями. Большое здание, разбитое на несколько машинных залов. Обычно они не очень большие, порядка 100-200 стойкомест. И во всех них постоянно проводятся работы: замена устаревшего железа, установка нового оборудования, ремонтные работы. Даже уборщицы с швабрами каждый день убираются😀
То что мы видим в фильмах, это дата центры гигантов, таких как Микрософт или Амазон. Они зачастую полностью укомплектовываются железом и только потом запускаются. У нас же запуск происходит путем монтажа всего оборудования уже после сдачи объекта строителями. Планомерно машинные залы забиваются стойками с железом.
Для агрегаторов облачных решений (Микрософт, Амазон) это бизнес по сдаче вычислительных мощностей и хранилищ данных в аренду им выгодно запускать дата-центр максимально заполнены, да и обслуживать это все потом будет легче. ЦОД где я работаю, удовлетворяет потребности только нашей компании не сдавая стойко места или облака в аренду. Оборудование устанавливается по мере необходимости. Поэтому о какой то унификации железа говорить невозможно.
Все дата-центры проходят сертификацию на соответствие стандартам tier standart uptime institute.
Всего их 4 уровня: 1-4, соответственно чем выше цифра, тем лучше. Объяснять по всем не буду, скажу, только, что по этому оценивается безотказность работы. 1 tier сейчас не актуален, так как здесь нет полноценного резервирования, т. е. нет дублирующего плеча питания, независимых друг от друга сетей. А в случае с tier 2 нет возможности проводить профилактические работы не останавливая работу. Tier 4 самый высокий уровень, шанс внеплановой остановки работы практически равен нулю.
Почти все ЦОДы в России (нормальные, а не те, которые стоят в подвальном помещении и охлаждаются парой кондиционеров) сейчас имеют сертификат tier 3. На этом уровне все системы дублируются так, что бы все вводы сетей и электричества соединяющие ЦОД в внешним миром были независимы друг от друга, заводились от разных подстанций и по разным маршрутам, что бы не дай бог, какой нибудь удачливый экскаватор не выкопал всё разом. Внутри ЦОДа все системы так же дублируются. В общем, все очень надёжно. Но человеческий фактор никто не отменял, и периодически, когда какой нибудь "сообразительный парень" по ошибке выключит не тот сервер или стойку целиком. Сервисы перестают работать, и потери компании могут достигать десятков миллионов за несколько минут.
Дата-центр, это не только большое количество стоек с серверами и сетевыми железками. Для обеспечения непрерывной работы существует так же множество инфрастуктурных систем, которые чрезвычайно важны.
Система вентиляции и охлаждения воздуха, система резервного электропитания, система увлажнения воздуха, заземление всего что только возможно, структурированная кабельная сеть. Всё эти части ЦОДа не менее важны чем IT составляющая.
Получилось слишком много букв. Если будет интересно, следующем посту расскажу, как организован допуск в ЦОД, что из себя представляет машинный зал и что есть внутри него. Планирую, описать устройство ЦОДа от и до. Надеюсь не слишком нудно написал.