Как мы строили ЦОД

Привет, Пикабу!


В каждой крупной компании с обширной IT-инфраструктурой наступает момент, когда разрозненных серверных и кроссовых помещений становится недостаточно, и встаёт вопрос о постройке ЦОДа.


Коснулся этот момент и нас, потому, не откладывая в долгий ящик, приступили к реализации.


Было выбрано помещение подходящей площади и объёма.

Как мы строили ЦОД Цод, Серверная, Машинный зал, Строительство, IT, Отчет, Длиннопост

Чтобы избежать визита с нашим ЦОДом на этаж ниже, а вес получается немаленький (несколько десятков стоек с оборудованием общим весом более 20 тонн), делаем разгрузочную раму из стального швеллера.

Как мы строили ЦОД Цод, Серверная, Машинный зал, Строительство, IT, Отчет, Длиннопост

На раме, с большим запасом по высоте, собираем фальшпол. Под ним пойдут коммуникации и воздухообмен системы охлаждения.

Как мы строили ЦОД Цод, Серверная, Машинный зал, Строительство, IT, Отчет, Длиннопост

Сама система охлаждения тоже не маленькая. Ей предстоит охлаждать оборудование мощностью более 150кВт и поддерживать заданную влажность.

Как мы строили ЦОД Цод, Серверная, Машинный зал, Строительство, IT, Отчет, Длиннопост

И вот вырисовывается примерный вид будущего ЦОДа. Начинаем прокладывать коммуникации и

Как мы строили ЦОД Цод, Серверная, Машинный зал, Строительство, IT, Отчет, Длиннопост

монтировать стойки с оборудованием. На весь проект только витой пары ушло несколько десятков километров :)

Как мы строили ЦОД Цод, Серверная, Машинный зал, Строительство, IT, Отчет, Длиннопост

Здесь, к сожалению, объём работы был такой, что было не до фотографий :(


Поэтому сразу к результату.

Как мы строили ЦОД Цод, Серверная, Машинный зал, Строительство, IT, Отчет, Длиннопост

Уровень шума в центральном проходе препятствует разговору двух человек на расстоянии более двух метров друг от друга :)

Как мы строили ЦОД Цод, Серверная, Машинный зал, Строительство, IT, Отчет, Длиннопост

На все работы, от бетонной коробки до ЦОДа, ушло пять месяцев.


На этом всё, спасибо за внимание! :)

Вы смотрите срез комментариев. Показать все
17
Автор поста оценил этот комментарий

Медь уже моветон, все порнуху по оптике качают....в HD))

раскрыть ветку (30)
10
Автор поста оценил этот комментарий
На оптике очень дорого получается, дорого не сама оптика, как оптическое оборудование.
раскрыть ветку (4)
5
Автор поста оценил этот комментарий
вообще дешевая сама оптика
раскрыть ветку (3)
10
Автор поста оценил этот комментарий

а я не так написал?

раскрыть ветку (2)
4
Автор поста оценил этот комментарий

ты написал как Кличко

1
Автор поста оценил этот комментарий
ну я утвердительно так написал: "да, чувак, оптика пздц как дешевая, прям вагонами покупай на базаре"))
5
Автор поста оценил этот комментарий

О, хорошо, что спец наконец-то подошел, сидели, как дураки.

2
Автор поста оценил этот комментарий

ИМХО, зачем обобщать всю медь???

Есть ведь 10Gb/s медные шнурки и даже "40" (10х4)

Правда не длинные...

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

Ну, кстати, QSFP и SFP+ twinax'ы мы тоже активно используем. А в целом стыки Core-Edge однозначно оптика, сильнонагруженные ресурсы тоже оптика (или twinax), остальное gbe медь с тимированием для резерва.

5
Автор поста оценил этот комментарий

у нас медь только абонентам кидают, да и то не всегда

раскрыть ветку (8)
7
Автор поста оценил этот комментарий

А коммутацию стоек и кроссов у вас тоже одной оптикой делают?))) И на все розетки, телевизоры, точки доступа офисные тоже наверное оптика кинута... 21 век же, хуле)

раскрыть ветку (7)
4
Автор поста оценил этот комментарий
у нас на работе много соединений через оптику, так как стандартного гигабита через медь не хватает. А вот локалка по зданию - медь естественно. Да и ЦОД побольше будет, пару этажей занимает. Вот недавно начал писать для Zabbix мониторинг оборудования охладительного, датчиков температуры, контроллеров, и прочего. В общем, все что по SNMP отдает данные. Если не ошибаюсь, серверов до 1000 своих только
раскрыть ветку (5)
5
Автор поста оценил этот комментарий
разве забикс не из коробки это делает?
раскрыть ветку (4)
1
Автор поста оценил этот комментарий

Не все из коробки, в основном вручную тэплейты приходится составлять. 

раскрыть ветку (2)
3
Автор поста оценил этот комментарий

было дело, ставил 7950, потом заводил в whatsUP и zabbix их по credentials для каждого интерфеса, zabbix в разы проще все опрашивает и мониторит

зы: я про alcatel, а не radeon

раскрыть ветку (1)
3
Автор поста оценил этот комментарий
Поставил плюс, типа понял
Автор поста оценил этот комментарий

За меня @slam007 уже все ответил. На каждое оборудование иногда приходится свой шаблон писать.

Автор поста оценил этот комментарий

локалка медь, коммутация оптикой (в пределах стойки пачкордами, между шкафами - кабель оптический)

1
Автор поста оценил этот комментарий
И хранить её на VNX, а лучше на 3Par All Flash
раскрыть ветку (1)
1
Автор поста оценил этот комментарий

мы юзаем трипары - но дорогие они конечно...

2
Автор поста оценил этот комментарий

Почти во всех случаях оптика выбирается исключительно из-за расстояния. Скорость в бытовых условиях выше не станет.

раскрыть ветку (10)
3
Автор поста оценил этот комментарий

"Скорость в бытовых условиях"  - что ты такое?))

раскрыть ветку (7)
2
Автор поста оценил этот комментарий

Это про низкие скорости типа гигабита, которым все равно оптикой ты их передаешь или медью, определяющим будет расстояние.

2
Автор поста оценил этот комментарий

В контексте ЦОД, это к примеру как на последней фотке, когда куча одноюнитных серверов.

Оптика на nGb/s нужна железкам другого уровня. Хотя может он имел в виду домашний интернет, я не ванга.

раскрыть ветку (5)
Автор поста оценил этот комментарий

Очень странный вывод. Простой пример:

NAS Gateway для СХД по best practice размещается в standalone 1U сервер с подключением 2х8(16)gbit в сторону СХД и 2x10gbit в сторону пользовательского сегмента.

раскрыть ветку (4)
1
Автор поста оценил этот комментарий

Ну так это уже не просто сервер, возможно на предпоследней фотографии кто-то из них и есть. У нас так красиво емсишка светится. А на последней фотографии, судя по ушам в пакетиках, супермикро, которым обычно меди хватает. Обычно, задачи конечно разные бывают.

Автор поста оценил этот комментарий
берите NetApp и не нужен Вам будет NAS GW )
раскрыть ветку (1)
Автор поста оценил этот комментарий

И с NetApp'ом нужен будет) Не шарить же мне клиентам сеть метаданных)

Автор поста оценил этот комментарий
Здравствуйте! Можете написать письмо на ikhaltanov@gmail.com? Хочу с вами поговорить
1
Автор поста оценил этот комментарий

я у интернет-провайдера работаю, так что даже коммутацию делают оптикой. Естественно и каналы выше гигабита

раскрыть ветку (1)
3
Автор поста оценил этот комментарий

Технически по медной витой паре можно до 40ГБ/с передавать. Так что повторюсь, выбор носителя не всегда напрямую связан со скоростью.

Вы смотрите срез комментариев. Чтобы написать комментарий, перейдите к общему списку