Суперкомпьютеры

Суперкомпьютер Frontier занял первое место в рейтинге самых быстрых компьютеров в мире (TOP500), показав производительность 1,1 экзафлопс. Система собрана в Окриджской национальной лаборатории на базе оборудования HPE и AMD. Это первая машина, преодолевшая порог производительности в квинтиллион (10 в 18-й степени) операций с плавающей запятой в секунду.

Frontier, с производительностью 62,68 гигафлопс на ватт, также занял первое место в рейтинге суперкомпьютеров Green500, который оценивает их энергоэффективность. Машина заняла первое место и в новой категории вычислений со смешанной точностью, которая оценивает производительность в форматах, обычно используемых для искусственного интеллекта, показав производительность 6,88 экзафлопс (каждый флоп представляет собой любой из видов вычисления: сложение, вычитание, умножение или деление).

Машина состоит 74 суперкомпьютерных шкафов HPE Cray EX, включающих 9408 узлов с 8,7 миллионами ядер на базе процессоров AMD. Каждый узел содержит один оптимизированный процессор EPYC и четыре ускорителя AMD Instinct, т.е. во всей системе насчитывается 37 600 графических процессоров.

Внутрисистемные хранилища будут использовать локальные запоминающие устройства, подключенные через PCIe Gen4 каналы с тем, чтобы обеспечить пиковую скорость чтения более 75 терабайт в секунду, пиковую скорость записи более 35 терабайт в секунду и более 15 миллиардов операций ввода-вывода в секунду. Центральная файловая система обеспечит емкость хранения около 700 петабайт и максимальную скорость записи 5 терабайт в секунду.

Для охлаждения используется жидкостная система, которая в отличие от отвода тепла холодным воздухом, позволяет чипам работать на пределе своих возможностей, а также способствует снижению шума в машинном зале. Производительность системы жидкостного охлаждения такова, что она способна наполнить плавательный бассейн за полчаса.

Видео по теме.

О масштабах суперкомпьютера косвенно можно судить по энергопотреблению, которое составляет 21 МВт, а всей системы – 40 МВт, что сопоставимо с потребляемой мощностью 30 тыс. домохозяйств. Как дата-центр мы можем сказать, что такое энергопотребление имеет крупный ЦОД. Также отметим, что протяженность кабельной разводки системы почти 150 км.

Суперкомпьютер строился далеко не только ради рекорда. Сейчас на нем продолжаются испытания, поскольку его теоретическая пиковая производительность составляет 2 экзафлопа, но конце этого года Frontier будет доступен для раннего научного доступа, а плановая эксплуатация начнется в начале 2023 года. Машина будет загружена исследованиями в области фундаментальной физики, выполнять задачи министерства энергетики и, как это принято говорить, будет призвана решать насущные проблемы нашего времени.

Фото: Carlos Jones/ORNL/Министерство энергетики США

Материал подготовлен дата-центром ITSOFT

Её габариты — 215 × 215 мм. Это самый большой квадрат, который можно вписать в типовую кремниевую пластину диаметром 300 мм. Отсюда и название микросхемы: пластину, расчерченную на прямоугольные заготовки чипов, вполне официально именуют «вафлей». Только вот в данном случае разрезать «вафлю» на отдельные чипы не предполагается: деление на 84 блока вызвано лишь ограничениями фотолитографической технологии производства, которая не позволяет создавать цельные структуры размером больше 26 × 33 мм.

Микросхема WSE изготовлена по современному 7-нм техпроцессу и содержит умопомрачительные 2,6 триллиона транзисторов, объединённых в 850 000 вычислительных ядер. Гигантский размер — не рекорд ради рекорда. Размещение огромного количества ядер на одном кристалле имеет существенные практические преимущества при моделировании нейронных сетей — а именно для этой цели предназначен новый супер-чип.

В настоящее время большая часть нейровычислений выполняется при помощи графических процессоров (GPU). Они подходят для этого лучше, чем CPU, поскольку содержат множество блоков, способных работать параллельно, и могут быстро выполнять операции над матрицами, к которым по большей части и сводится работа искусственных нейросетей. Но всё-таки изначально GPU разрабатывались с другими целями, и почти 90% их площади занимают компоненты, которые не могут быть использованы для задач искусственного интеллекта. Да и объём памяти на кристалле, которым располагают GPU, для этих целей слишком мал.

Вычислительная система CS-1 на базе Wafer Scale Engine

Архитектура WSE была специально разработана для нейровычислений и потому избавлена от вышеописанных недостатков. Здесь прямо на кристалле размещено 36 гигабайт памяти с максимально коротким временем доступа: все обращения обрабатываются за один такт, т. е. быстрее чем за наносекунду. Память обладает беспрецедентно высокой пропускной способностью — 9 петабайт в секунду (это в тысячи раз быстрее, чем в классических системах, где память реализована отдельно). Для связи между ядрами внутри одного блока и между разными блоками используются одинаковые интерфейсы, которые ещё на порядок быстрее.

И всё-таки в первую очередь создание WSE — это не архитектурный, а технологический триумф. Разработчикам пришлось решить массу проблем, которые просто не возникают в случае с чипами привычного размера. Так, супер-микросхема выделяет 15 кВт тепла, поэтому для неё не подходила ни одна из существующих систем охлаждения.

Блок с микросхемой WSE и системой питания. Справа — коннекторы для водяных помп

Высокопроизводительная помпа системы охлаждения

Более того, из-за огромных габаритов микросхемы возник эффект неравномерного теплового расширения кристалла и подложки, и пришлось ввести дополнительный компенсирующий слой. Трёхмерная система подвода электропитания, рассчитанная на ток 20 000 ампер, тоже была разработана специально для данного проекта. Корпусировку изделия и вовсе пришлось выполнять вручную.

Компания TSMC, на мощностях которой выпускаются гигантские «вафли», смогла обеспечить сверхнизкий процент производственного брака, что позволило заложить в схему всего 1% дополнительных ядер, которые должны подменять неработоспособные.

Важное преимущество разработки Cerebras Systems — полная совместимость с существующими программными комплексами для разработки систем глубокого обучения, в частности, PyTorch и TensorFlow. При переходе на WSE не требуется переписывать ПО. Разработчики подсчитали, что вычислительная система на базе Wafer Scale Engine — CS-1 — в 150 раз производительнее, чем лучший из нынешних серверов на GPU, DGX-1, при этом занимает в 40 раз меньше места и потребляет в 20 раз меньше энергии.

Вычислительная система CS-1 без корпуса

Наверное, последней в ряду впечатляющих цифр должна стать стоимость микросхемы. Компания её не раскрывает, но по косвенным признакам можно судить, что она превышает 2 млн долларов. Это не отпугивает потенциальных заказчиков. Системы CS-1 уже работают в Аргоннской национальной лаборатории под Чикаго и Ливерморской национальной лаборатории им. Лоуренса; также они должны лечь в основу нового суперкомпьютера Neocortex в Питтсбурге. Благодаря разработкам Cerebras Systems на обучение сложных нейросетей будут уходить часы, а не недели, а значит, можно будет опробовать намного больше разных вариантов.

Возможно, в перспективе подобные системы помогут в реализации таких амбициозных планов, как моделирование работы мозга высших животных в реальном времени.