Дата-центры потребляют около полутора процентов вырабатываемой на Земле электроэнергии, которая в итоге преобразуется в тепло, и его нужно отводить. В противном случае процессоры серверов разогреются почти до сотни градусов и, естественно, выйдут из строя (Хотя кто знает, может быть в будущем изобретут жаропрочные чипы). Обычно телекоммуникационное оборудование, включая СХД, майнинговые фермы и прочее, охлаждают холодным воздухом, вырабатываемым промышленными кондиционерами, но есть и другой вариант – жидкостное охлаждение. Приведем лишь три примера использования этого способа охлаждения.

На земле

Производитель Gigabyte Technology выпустил два сервера с жидкостным охлаждением, ориентированные на решение задач с помощью искусственного интеллекта. Это модели G262-ZL0 и G492-ZL2 высотой 2U и 4U, в которых применены ускорители Nvidia HGX A100 и процессоры AMD Epyc 7003. Цель использования жидкостного охлаждения – возможность работы компонентов сервера на пределе своих возможностей. Об этом сообщает обозреватель журнала Data Center Dynamics – Питер Джадж (Peter Judge).

Для высокопроизводительных вычислений нужны серверы с высокой плотностью элементов, которые неизбежно выделяют много тепла. В этой связи жидкостное охлаждение становится все более распространенным методом его отвода. Радиаторы центрального и графического процессоров заменяются охлаждающей пластиной с системой циркуляции жидкости, а также трубопроводами для распределения ее по стойкам (система CoolIT).

Gigabyte заявляет, что жидкостное охлаждение – более эффективный способ отвода тепла от компонентов, чем воздушное, требует гораздо меньше энергии и снижает шум в помещении. Кроме того это экономит место внутри сервера, поскольку не нужно устанавливать достаточно объемные вентиляторы и радиаторы. Но главное преимущество заключается в том, что система жидкостного охлаждения позволяет получить гораздо большую плотность компонентов CPU и GPU на единицу пространства, что в итоге дает более высокую производительность сервера.

В космосе

Серверы с жидкостным охлаждением применяются не только в традиционных земных условиях, но и вышли на орбиту. Об успешном эксперименте Hewlett Packard на МКС и использовании именно жидкостного охлаждения серверов мы писали ранее. Серверам Spaceborne было разрешено подключаться к контуру водяного охлаждения космической станции.

Под водой

Был и другой эксперимент, в котором корпорация Google создала подводный ЦОД, но там система охлаждения была гибридной. Теплообменники воздух-жидкость располагались между стойками и на каждом из них были установлены вентиляторы, которые прогоняли воздух по мере необходимости. Морская вода засасывалась снаружи, проходила через теплообменник и возвращалась в океан.

К жидкостному можно отнести и иммерсионное охлаждение, т.е. погружение всего сервера в теплоноситель с инертной средой (так называемая “сухая вода”), но это уже отдельная тема. В любом случае плюсов и минусов у систем воздушного и жидкостного охлаждения по нашим оценкам хватает, хотя, так скажем традиционное, воздушное охлаждение превалирует. Но искусственный интеллект приходит в ЦОДы, поэтому будем следить за конкуренцией.

===

Материал подготовлен дата-центром ITSOFT

Доброго времени суток! Это 2 часть серии постов про СЖО\СВО и тут речь пойдет о кастоме.

Кто не читал - вот 1 часть(https://pikabu.ru/story/dlinnopost_o_svoszhokastom_i_razrushenie_mifov_chast_1_8699488)

И так - кастом (custom) - это водянка из отдельных деталей\комплектующих(т.е. всё покупаете отдельно, радиатор,помпу,водоблок, а еще шланги трубки фитинги, жидкость и т.д.)

От магазинной AIO отличается во первых ценой(стоимость реально хорошей AIO, на мой взгляд - 13-18к руб, Kraken, Fractal, Asus и т.п. входят в эту нишу) а стоимость кастома начинается от 20к) , во вторых возможностью ПОЛНОСТЬЮ заменить\обслужить контур СВО, а так же расширить или наоборот уменьшить. Вообщем полная свобода действий. За это я его и люблю. В третьих - Кастом в РАЗЫ надежнее магазинной СВО\AIO так как все соединения(шланги фитинги и т.п.) Вы делаете самостоятельно и будете уверенны что все окей + вышла из строя помпа - не проблема - поменяли и дальше в ус не дуете. С магазинной AIO такое не прокатит, где во первых нужны руки, чтобы это обслужить, а так же это потеря гарантии.К тому же надежность кастома примерно такая же(при наличии рук) как у скажем, подводки шланга к Вашей раковине на кухне и т.п. Там же ничего не течет? Нет, если сантехник что Вам это делал или делали Вы - уверены что все нормально. С кастомом тоже самое. Лично я как только перешел на кастом(помимо разницы по температуре в сравнении с воздухом), понял что все сказки про текущий кастом на пк - от кривизны рук. Но все равно, я повторю, кастом НАДЕЖНЕЙ в разы.

В кастоме мировой стандарт это резьба G1\4. То есть неважно какого размера(диаметра) шланги или трубки Вы выбираете, все упирается в G1\4. Поэтому те, кто говорят - Возьми шланги по больше и будет лучше - не правы. Тем не менее нужно понимать что для шланга в 10\13 вам будут нужны подходящие фитинги, чтобы на них вошел шланг. В каждой детали(Помпа, Радиатор, Водоблок и т.п) Кастома есть Вход(In) и Выход(Out) отверстия. Жижа заходит и выходит, идет дельше по контуру. В приципе спутать сложно(радиатор не в счет, там пофигу где вход или выход)

В целом, существуют разные способы соединить Ваши железки:

-Шланги(Силикон , ПВХ, и т.п) - просто и быстро собрать, легко установить - страдает только красота, хотя и тут я бы поспорил. Трубки все таки красивей, засчет того что можно сделать углы прямыми и это выглядит аккуратнее. Сам же я давно сижу на шлангах.

-Трубки(ПЕТГ или Акрилл и даже Медь) - Сложнее ставить, нужно гнуть(требуется фен и еще парочка инструментов). Зато можно изогнуть трубки в любом направлении и будет все равно красиво.

-Фитинг - то, чем вы соедините шланг\трубку с какой либо частью контура. Бывают Ёлочки, компрессионные и прочие. Самые надежные это компрессионные, где есть т.н. штуцер и надев на него шланг вы его надежно затягиваете гайкой с резьбой. Есть так же фитинги для трубок.

-Уголок(т.н. Адаптер) - угол с резьбой под фитинг в 45 или 90 или даже 180 градусов - помогает соединить компоненты под разным углом, избегая перегиба шланга или трубки. Т.е сперва вкручиваете угол, на него фитинг и дальше шланг или трубка.

-Водоблок(про него писал так же в 1 части) - тут он выступает в отдельности и бывает как под Intel так и AMD .так же бывает и под Видеокарты. Через него проходит жижа, идет через микроканалы, где забирает тепло и идет дальше на радиатор.

-Помпа - (так же писал в 1 посте) - тут она так же отдельно и бывает 2 видов: DDC и D5( примите это за аксиомы. Они схожи, но D5 делается по стандарту и просто надежнее. DDC используется в сложных системах, с несколькими ГПУ и способна выдавать большее давлении чем D5. D5 надежнее и дороже(от 4-6к).Новичку я советую обычную DDC с алиэкпресса \ авито за 2к деревянных примерно. Есть также комбо вариант помпа+резервуар(накручивается на помпу сверху). Экономит место и практичнее.

-Резурвуар(Tank, Колба) - не обязательный, но очень удобный компонент, он собственно и содержит запас нашей жидкости(а чем ее больше  - тем больше времени нужно чтобы ее прогреть - следовательно общая производительность контура вырастает)

бывает разных материалов но самый на мой взгляд практичный - акрил.(на фото такой, он накручивается на помпу, а  отдельный резервуар Вы найдете с круглой крышкой соотв. на дне)

-Вентиляторы. А вот тут интереснее. Для нормальной продувки радиаторов нужны высокооборотистые вертушки и ВЫСОКИМ  стат.давлением(это видно по дизайну лопастей). Как эталон - Noctua NFa12x25 PWM. Можно найти варианты дешевле. Обычные дипкулы за 300р тут не подходят, хотя я встречал товарищей которые ставят их. Ну пусть ставят, теряют примерно 20%-30% производительности контура.

-Жидкость\Хладагент ,\Жижа. Ее задача - охлаждать, так сказать транспортировать(забирать и переносить) тепло к охладителям это тоже важный компонент. Кто что только не советует....антифризы г12 г13....этиленгликоли...масла и прочее. ЛИЧНО я нашел самый простой вариант - Дистилированная вода + EKWB концентрат(чтобы вода не зацвела, ибо в условиях нагрева чистая вода, а дистилят чистый, склонен к накоплению бактерий - и привет водоросли).Аквариум как пример, видали наверное, если не ухаживать за водой - что потом будет. Бывают и цветные жижи, как на фото. Либо сразу EKWB Premix(готовая, не нужно разбавлять. купил и залил). Для любителей сэкономить можно взять канистру в Леруа на пропиленгликоле,(так и называется - Теплоноситель) но я не пробовал, привык к концетрату от ЕКWB.

Дальше по вендорам:

-Alphacool - немецкая компания СВО. Качество на мой взгляд + -, ибо еще не забыл, как они на свое AIO вместо медного водоблока просто налепили на Алюминиевый наклейку из меди. То есть тоже имеет место быть китай. Но радиаторы у них хорошие, лучше дешевых китайских.

-EKWB - Словенская компания СВО. позиционирует себя как Топовая и престижная. Дорогая марка, иногда неоправдано дорогая. Да, красиво. в целом. На деле - 75% делают Китай, они их контролируют(зачастую плохо), 25% делают сами. Есть как удачные решения так и нет.

-Bykski - Крепкий Китай. на рынке много лет. Сам их использую.

-Barrow(их дочка Barrowich) - Крепкий Китай. на мой взгляд чуууууть уступает Букски опять же есть удачные решения , есть не очень. Тоже использую кое где.

-Corsair - позиционирует себя как Топовая и престижная. Дорогая марка. В целом - все окей, если есть у Вас деньги - можно смело брать.

-FormulaMod(Freezemod) - Крепкий Китай. на рынке много лет. Сам их использую.
-Aquacomputer - Германия(насколько я знаю), дорого и круто. Те кто шарит и любит все топовое выбирают их.
И еще много других.
Если подытожить - то у любого вендора есть удачные решения а есть не очень. Тут уж кому что нравится\ не нравится.

Если вы планируете собрать Кастом то есть 2 варианта:

1)Купить Kit (набор) от ЕК - 24к  примерно, зато там все есть для старта(в том числе материал контура один, скорей всего это алюминий) и поймете как это и что. Есть в нескольких Магазинах. Либо аналоги, можно в ЕВО-ПС(мск). С Китая подобное НЕ советую.

2)Самому все подбирать, тут сложнее но зато можно за дешевле. Я так и делал. Что то с Китая что то с Авито. Нужно больше знаний конечно.

Еще, Обязательно определитесь с материалом контура кастома - либо это медь либо алюминий. И то и то нельзя. Гуглите про Гальванические пары. Лично я использую медь. Охлаждает лучше алюминия, хоть и скорость, с которой алюминий заберет тепло выше, чем у меди. Удельная мощность контура с медью будет все равно выше алюминия. Кстати в Магазинных AIO используют алюминий на радиаторе(из за дешевизны) и медь\никель на водоблоке, но благодаря жиже с завода(с присадками), коррозия происходит очень медленно, и спокойно АИО\СВО с магазина ходит 3-5 лет без проблем.
По итогу:
Самый главный плюс лично для меня - Возможность разместить помпу ГДЕ УГОДНО. Внизу вверху, тут нет ограничения на нижнюю точку помпы как в AIO,о чем я писал в 1 части. Так как воздух выйдет сам, в процессе работы контура, ибо мы не ограничены расположением ни радиатора ни помпы. Залив жижу в контур мы во первых будем видеть ее уровень а так же будем приблизительно видеть\слышать есть ли в контуре излишний воздух.
Вот и всё, постарался кратко рассказать. Если будут вопросы - пишите в комментарии. Всем спасибо.