Сравнение производительности ИИ серверов в картинках для домохозяек⁠⁠

Многие пользуются чатами с ИИ. Решил сравнить чипы на чём это работает, сколько стоит. Дальше будут слайды.

Это 1 чип H200. Его скорость работы 1 ответ GPT-4o за ~1 секунду или 2 квадрилионов операций в секунду FP16. В чипе 141GB памяти.

Это по 1 ускорителю фирм N и A и они потребляют 700 и 750 Вт соответственно.

Это сервер и в нём 8 ускорителей. Стоит он, наверное, $280 и $100K соответственно для фирм N и A. Его скорость работы ~8 и ~5 ответов GPT-4o в секунду. И потребляет он ~7 кВт.

Это серверная стойка (5 racks) на 32 ИИ сервера или 256 ускорителей. Её скорость работы ~263 ответа GPT-4o в секунду. 36TB памяти HBM3e. И потребляет она 211 кВт. (Блоки питания на 600 кВт на сайте откуда картинка.) Стоит такая, наверное, от $10 млн.

Сравнивал для себя, выложил для всех. Данные для таблички искал ИИ. Если есть ошибки поправляйте как надо правильно.

FP16 в табличке - довольно точные вычисления, используются для обучения. Для запуски ИИ достаточно 8 bit, а это работает в 2 раза быстрее на всех ускорителях, кроме Intel.

Сравнивал не чтобы показать, что лучший суперкомпьютер МГУ медленнее и раз в 5 дороже шкафа от корпорации на букву I. Суперкомпьютеры умеют считать данные с повышенной точностью и у них бывают на порядок больше размеры дисков и другие возможности.
Например, у H200 скорость вычислений с точностью 16 бит - 2000 трлн оп/сек, 8 бит вдвое быстрее, а 32 бит в 30 раз медленнее и 64 бит в 60 раз медленнее. Возможно, что тест МГУ-270 был не в FP16. И цены 3 года назад были выше, а ускорители за 3 года сделали шаг вперёд.

Пруфы закреплю в комменте.