Жидкостное охлаждение серверов как восходящий тренд в оборудовании для дата-центров
Выставка SC (Supercomputing Conference) посвящена высоким технологиям. Если точнее, то на этой выставке демонстрируются суперкомпьютеры и сопутствующие технологии. С каждым годом на этой выставке показывается все больше систем с жидкостным охлаждением, плюс увеличивается количество компаний, которые эти технологии демонстрируют. Всего пару десятков назад жидкостное охлаждение для серверов показывали лишь такие известные технокомпании, как Cray-2 и IBM. И то, по большей части, в качестве концепта.
Сейчас же количество производителей выросло, а разнообразие технологий впечатляет: на новой SC показывались как полноконтакнтные системы, так и системы полного погружение. В общем-то, утверждение, что жидкостные системы в ряде случаев гораздо более эффективны, чем охлаждение воздухом, сомнений не вызывает. Но раньше эксплуатация жидкостных систем была проблемной. Сейчас появились новые практичные решения, которые не вызывают никаких сложностей в работе и обслуживании.
Кроме того, использование систем жидкостного охлаждения помогает экономить средства. По словам специалистов, снижение эксплуатационных расходов в случае работы с жидкостями вместо воздуха составляет вплоть до 40%.
Об эффективности этих систем можно судить и по тому, что в списке наиболее производительных компьютеров мира Top 500 представлено несколько систем, которые используют жидкостное охлаждение. Есть и схожий рейтинг, Green500, в котором показаны наиболее производительные системы, использующие те либо иные «зеленые» технологии. Здесь еще больше мощных компьютеров с жидкостными системами охлаждения, некоторые из них представлены в топ-10.
Достоинством жидкостного охлаждения является и возможность более плотного размещения оборудования. Тепло отводится более эффективно, чем в случае воздушных систем, так что расстояние между оборудованием может быть значительно меньшим, чем обычно. Отдельные элементы серверов могут работать в более активном режиме, чем обычно, поскольку, снова-таки, тепло отводится быстро и без проблем. А еще — меньше шума, чем в случае работы с системами, где есть активное охлаждение с вентиляторами. Поэтому можно избежать зависимости «больше серверов — больше шума». Жидкостные системы охлаждения тоже генерируют звук, но не такой сильный, как их воздушные «родственники».
Достоинств здесь много, но о них, по большей части, известно все. Давайте лучше посмотрим, какие компании представили новые технологии на выставке.
Компания Aquila продемонстрировала анонсированную ранее серверную систему Aquarius с водяным охлаждением. Эта система предназначена для размещения в стойках, изготовленных по стандарту Open Compute Project (OCP). Партнером этой компании стала Clustered Systems, которая предложила собственную технологию охлажденных пластин.
Специалисты Asetek показали собственный вариант прямоконтактных систем жидкостного охлаждения. Здесь используется теплая, а не холодная, вода. Партнеров у проекта довольно много. Из числа прочих можно назвать Cray, Fujitsu, Format, Penguin, HPE, NVIDIA и Intel. Решение компании уже используются — например, машина QPACE3 (разработана специалистами Университета Регенсбурга), которая находится на 5-м месте рейтинга суперкомпьютеров Green500 работает как раз с жидкостной системой охлаждения.
Вендор CoolIT Systems продемонстрировал еще несколько решений прямоконтактных систем. С ними работают Hewlett Packard Enterprise Apollo 2000 System, Dell PowerEdge C6320, NEC Blue Marlin, а также Lenovo NeXtScale. Эта компания показала и микроЦОД собственной конструкции.
Компания Ebullient показала систему двухфазного охлаждения для серверов внутри дата-центров. Здесь используется охлаждающая жидкость с низким давлением. Теплоноситель закачивается в герметичные модули, устанавливаемые на процессоры в серверах. Жидкость получает тепло от процессоров и уводит его по шлангам в центральный блок для охлаждения. Работать такая система может с практически любым сервером.
Еще одна универсальная система — CarnotJet System от Green Revolution Cooling. Она, как и предыдущий вариант, совместима практически со всеми стоечными серверами любого из производителей. Такие системы можно устанавливать в специализированных стойках, которые заполнены специальным минеральным маслом.
LiquidCool Solutions (о ней когда-то уже писали на Хабре) представила обновленные решения для полного погружения электроники в диэлектрическую жидкость. Эту жидкость компания разработала самостоятельно. Кроме того, производитель показал два новых сервера на основе платформы Clamshell. Первый сервер — Submerged Cloud Server (4-хузеловой сервер высотой 2U для облачных платформ ) и Submerged GPU Server (2-хузловой GPU-сервер высотой 2U. Последняя модель может быть оснащена сразу четырьмя GPU-картами или четырьмя ускорителями Xeon Phi.
Специалисты LiquidMips показали оригинальный вариант системы охлаждения сервера с одним процессорным чипом с погружением в хладагент 3M Fluorinert. К сожалению, это лишь концепт, который еще не реализован на практике.
Не обошлось и без китайских производителей. Так, компания Inspur Systems Inc., дочернее подразделение Inspur Group показала свои системы жидкостного охлаждения с двумя типами растворов. Одно из решений — охлаждение чипов путем прямого контакта с жидкостью. Китайцы утверждают, что их система позволяет значительно увеличить производительность и одновременно снизить эксплуатационные расходы.
Allied Control рассказала о своем достижении — совместном с другими компаниями создании дата-центра мощностью в 40 МВт, с использованием системы погружного охлаждения. В результате удалось добиться установки оборудования с плотностью в 252 КВт на одну стойку. В системе используется диэлектрическая жидкость 3M Novec.
Известный вендор из Китая, компания Huawei показала новый сервер HPC FusionServer X6000 с жидкостным охлаждением. Здесь используется отвод от процессора при помощи микроканалов. Охлаждающая жидкость течет через модули памяти. Температура жидкости на входе предлагается в районе 50 градусов Цельсия, что снижает показатель совокупной стоимости и одновременно обеспечивает высокую энергоэффективность.
Fujitsu показала новый тип дата-центра с «облачными» серверами, хранилищем и прочими элементами. В дата-центре используется объединенная система погружного жидкостного охлаждения, которая обычно используется для суперкомпьютеров. Но Fujitsu применила ноу-хау и добилась возможности использования такой системы для стандартных серверов.
Можно ли использовать жидкостное охлаждение для уже работающих серверов?
Как правило, нет. Использование ЖКО, как правило, устанавливается для новых систем. Конечно, при желании все возможно, но в общем случае дата-центру понадобится много времени и усилий для того, чтобы установить жидкостные системы охлаждения для уже установленного и работающего оборудования. Наверное, кое-какие системы такого типа есть, но они не слишком известны.
А модифицировать серверы все равно придется — так, в большинстве случаев нужно будет снимать кулеры, устанавливая новые охладительные элементы. Придется переоборудовать и стойки. В большинстве случаев, такого рода модификации потребуют не только много времени, но и значительных вложений.
Как бы там ни было, а рынок систем жидкостного охлаждения постепенно растет. Аналитики считают, что в 2020 году объем рынка составит около $960 млн. Выставка SC — это, можно сказать, окно в будущее, которое показывает нам, как изменится рынок систем охлаждения в ближайшее время. ЖКО могут оказаться незаменимыми для высоконагруженного оборудования, которое используется в таких сферах, как разработка ИИ, Big Data и т.п.