Русский ИТ бизнес
11 постов
Для адептов ИИ
Я частенько пишу про наш легкий петтинг с ИИ и покупкой недорогих видеокарт для генерации контента :)
А на картинке Sohu, самый быстрый чип для ИИ всех времен.
Цитирую:
"Sohu позволяет создавать решения, невозможные на графических процессорах, с скоростью более чем 500 000 токенов в секунду на Llama 70B. Один сервер с 8xSohu заменяет 160 H100. Sohu в 10 раз быстрее и дешевле, чем графические процессоры нового поколения Blackwell (B200) от NVIDIA."
Сколько стоит не знаю, да и не важно это - такие вложения (пока) мелкому бизнесу не потянуть. Вот смотрите - сервер с Sohu генерит более 500 000 токенов на Llama 70B в секунду, что в 20 раз больше, чем у сервера с картой H100 (23 000 токенов/сек), и в 10 раз больше, чем у сервера B200 (~45 000 токенов/сек).
Можно википедию за пару недель создать :)
Русский ИТ бизнес (https://t.me/bezsmuzi)
Показать полностью
