Для адептов ИИ⁠⁠

Я частенько пишу про наш легкий петтинг с ИИ и покупкой недорогих видеокарт для генерации контента :)

А на картинке Sohu, самый быстрый чип для ИИ всех времен.

Цитирую:

"Sohu позволяет создавать решения, невозможные на графических процессорах, с скоростью более чем 500 000 токенов в секунду на Llama 70B. Один сервер с 8xSohu заменяет 160 H100. Sohu в 10 раз быстрее и дешевле, чем графические процессоры нового поколения Blackwell (B200) от NVIDIA."

Сколько стоит не знаю, да и не важно это - такие вложения (пока) мелкому бизнесу не потянуть. Вот смотрите - сервер с Sohu генерит более 500 000 токенов на Llama 70B в секунду, что в 20 раз больше, чем у сервера с картой H100 (23 000 токенов/сек), и в 10 раз больше, чем у сервера B200 (~45 000 токенов/сек).

Можно википедию за пару недель создать :)

Русский ИТ бизнес (https://t.me/bezsmuzi)