Мини-ПК Beelink SER8 на Ryzen AI 7 H 350
Надоело платить за облачные нейросети и отправлять свои данные непонятно куда? Нашел для себя практически идеальное бюджетное решение — мини-ПК Beelink SER8.
Внутри стоит AMD Ryzen AI 7 H 350 с NPU на 16 TOPS, а главное — 32 ГБ быстрой памяти DDR5, которую можно расширить до 64 ГБ. Для локальных нейросетей это критически важно, ведь вся модель грузится именно в оперативку. Никакой дискретной видеокарты тут нет, все вычисления берут на себя процессор и встроенная графика. Узнать стоимость в версии 32 ГБ и 1 ТБ.
Что это дает на практике? Восьмимиллиардные модели вроде Llama 3 или Qwen отлично идут на Q4-квантовании со скоростью около 10–15 токенов в секунду. Это вполне комфортно для общения, написания кода или генерации текстов. Модели на 13–14 миллиардов тоже запустятся, но уже медленнее (около 5–8 токенов в секунду), и для них лучше сразу брать версию с 64 ГБ памяти. Потребляет вся эта радость в простое всего 8–12 Вт, так что держать её включенной круглосуточно не разорит.


Ужас