Запустил нейросеть на компе без видеокарты. Работает быстро, но врёт с каменным лицом
Мне давно было интересно, на что годится нейросеть, которая живёт прямо на компе: без облака, без подписки, без видеокарты. Взял четыре небольшие открытые модели, дал им одинаковые задачи и проверил ответы руками.
Железо: облачный сервер, Intel Xeon на 8 потоков, 16 ГБ памяти, видеокарты нет. Честно предупреждаю, это не домашний ноутбук. У процессора есть AVX-512 и AMX, а у домашних процессоров их обычно нет. Чужие замеры на ноутбуках дам ниже.
Установка
Брал llama.cpp. Это программа, которая запускает модели на процессоре. Готовая сборка для Linux весит 18 МБ, Python и Docker не нужны. Модели в формате GGUF лежат на Hugging Face, весят от 2 до 4,7 ГБ. Скачал, распаковал, запустил одной командой. Через 3–5 секунд модель готова, интернет дальше не нужен. Сервер поднимает чат в браузере и API на localhost:8080, я гонял задачи через API.
Для Windows в том же релизе лежит отдельный архив, его я не проверял. Ollama и LM Studio тоже не трогал.
Модели, все со сжатием Q4_K_M:
Llama 3.2 3B от Meta;
Gemma 3 4B от Google;
Qwen3 4B (версия 2507) от Alibaba;
Qwen2.5 7B для сравнения: модель побольше, вдруг она умнее.
Скорость
Самая маленькая, Llama, пишет 20 токенов в секунду, четырёхмиллиардные около 15–16, семёрка 9,6. Токен в русском тексте меньше слова, обычно это кусок слова.
Памяти процесс занял от 3,1 до 3,9 ГБ для моделей 3–4B и 5,1 ГБ для 7B. Это с окном на 8 тысяч токенов.
На длинном тексте всё медленнее. Закон на 2 тысячи слов Gemma прочитала и ответила за 56 секунд, Qwen3 за 2 минуты 9 секунд.
Что пишут другие про ноутбуки (сам не мерил, ссылки в конце):
ThinkPad на Ryzen 7 8840U: Gemma 3 4B выдаёт около 10 токенов в секунду;
игровой ноутбук на i7-14700HX: около 20 токенов в секунду на Qwen3 4B и Gemma 3 4B, около 25 на Llama 3.2 3B;
на слабых машинах модели 4B дают около 4–6 токенов в секунду.
Дальше задачи. Каждую задавал один раз, ответы не правил.
Задача 1. Вытащить заказы из чата в JSON
Написал переписку магазина с подвохами: «завтра» вместо даты, «пару» вместо числа, телефон с восьмёркой, клиент передумал и поменял количество, плюс человек, который просто спросил про доставку.
Сегодня воскресенье, 18 октября 2026 года. Ниже переписка магазина в чате. Достань из неё все заказы и верни только JSON-массив без пояснений. Поля: name, phone (формат +7XXXXXXXXXX), item, qty (число), address, delivery_date (ГГГГ-ММ-ДД или null). Учитывай, что клиенты могли поменять заказ позже.
Хорошая новость: правку «не 3, а 2» учли все четыре, и лишний вопрос про доставку заказом никто не посчитал. Плохая: идеального JSON нет ни у кого. Qwen3 посчитала «завтра» как 20 октября и дописала лишнюю цифру в телефон. Gemma записала одну покупательницу дважды, с двумя разными датами, обе неверные. Llama не перевела телефоны в нужный формат и оставила даты словами: «пятница», «завтра». Это нормальный черновик, но без проверки глазами я бы такое в таблицу не грузил.
Задача 2. Bash-скрипт
Напиши bash-скрипт: в папке ~/photos найти все файлы .jpg и .JPG старше 30 дней и больше 5 МБ, пропуская подпапку ~/photos/tmp, и упаковать их в архив ~/backup/photos_ГГГГ-ММ-ДД.tar.gz (дата сегодняшняя). В именах файлов бывают пробелы. Дай только скрипт и пару строк пояснения.
Каждый скрипт я запускал в песочнице на тестовых файлах: с пробелом в имени, в подпапке, в tmp, маленький, свежий, png. Не сработал ни один.
Ближе всех Gemma: архив создался, но в него попал файл из tmp, а без готовой папки backup скрипт падает. Qwen3 выдала две версии, и обе нерабочие. Хуже того, во вторую она по своей инициативе добавила удаление исходников. Сработай скрипт, фотки бы пропали. Скрипт Qwen2.5 7B сделал пустой архив, tar выдал ошибку, а в конце скрипт бодро написал «Архивация завершена.»
Рабочий вариант на тех же файлах:
mkdir -p "$HOME/backup"
find "$HOME/photos" -path "$HOME/photos/tmp" -prune -o \
-type f -iname '*.jpg' -size +5M -mtime +30 -print0 |
tar --null -czf "$HOME/backup/photos_$(date +%F).tar.gz" --files-from=-
Задача 3. Перевод для рабочего чата
Переведи на русский так, как написал бы живой разработчик коллеге в рабочий чат. Без пояснений, только перевод.
В тексте был обычный айтишный сленг: flaky build, bikeshedding, post-mortem, rubber duck debugging. Начало про нестабильную сборку и таймаут Gemma и Qwen3 перевели более-менее нормально. А дальше «апостерий», «debugging с утёсом», «утка-диджей» и «резиновый лебедь». Qwen2.5 7B ещё и перенесла разбор с понедельника на вторник. Llama сдалась на середине: «Не давайте today bikeshed логирование格式». Да, с китайскими иероглифами.
Задача 4. Логика и факты
У Алисы 4 брата и 1 сестра. Сколько сестёр у брата Алисы? Ответь числом и одним предложением объяснения.
Правильно ответила только Qwen3: две. Gemma сказала одну, Llama ноль, а Qwen2.5 7B написала «2. У брата Алисы 3 сестры», то есть две и три в одном ответе.
Кратко перескажи сюжет повести Чехова «Синий трамвай» и назови год её написания.
Такой повести у Чехова нет. Пересказали её все четыре, каждая со своим годом и сюжетом. У Gemma два интеллигента катаются от «Сенной» до «Волоколамской», у Llama кузнец отрезает себе палец ножницами. Qwen3 сначала пересказала, а потом сама же написала, что такой повести не существует.
На вопрос, кто написал «Generation „П“», правильно ответила только Gemma: Пелевин, 1999. Правда, «S.N.U.F.F.» у неё вышел в 2000-м, а на деле в 2011-м. Qwen3 назвала Солженицына, Qwen2.5 7B Владимира Солоухина и 1923 год. Llama ответила «не могу найти информацию». Ответ неверный, но так хотя бы честнее, чем придумывать.
Задача 5. Закон о защите прав потребителей
Эту задачу я считал самой полезной: дать модели длинный документ и спросить про свою ситуацию. Вставил в запрос полный текст статей 18–23 закона, это около 2 тысяч слов.
Ситуация: купил ноутбук в обычном магазине, через 20 дней он перестал включаться. Гарантия 1 год. Опираясь только на этот текст, ответь коротко: могу ли я сразу вернуть деньги? Что я могу потребовать и в какие сроки магазин обязан это сделать? Указывай статьи и пункты.
Три модели из четырёх ответили: да, можно сразу вернуть деньги. Llama просто запуталась в сроках из других статей. А правильный ответ другой. Ноутбук относится к технически сложным товарам (п. 7 перечня из постановления № 924), и для них в статье 18 прямо написано: после 15 дней вернуть деньги или заменить товар можно, только если недостаток существенный, ремонт затянули или за год гарантии ноутбук пробыл в ремонте больше 30 дней в сумме. По соглашению сторон ремонт не может длиться дольше 45 дней. В остальных случаях положен бесплатный ремонт. Нужный абзац лежал прямо в тексте запроса. Gemma его даже пересказала, а потом посоветовала вернуть деньги «в течение 15 дней», хотя прошло уже 20.
Поверь я такому ответу, пошёл бы в магазин требовать деньги, которые в общем случае мне не положены.
Итог
Для себя решил так:
локальная модель годится для черновой работы: перевести, сократить, разобрать текст в таблицу или JSON. Всё работает офлайн, документы никуда не уходят;
факты, даты, законы и код без проверки ей доверять нельзя. Маленькие модели одинаково уверенно пишут и правду, и выдумку;
из четырёх мне больше всего понравилась Gemma 3 4B. Русский у неё лучше всех, длинный текст она читает быстрее всех, и её скрипт был ближе всех к рабочему. Логику лучше решила Qwen3 4B. Llama 3.2 3B самая быстрая, но по-русски путается;
модель на 7B работала медленнее и лучше не стала. Видимо, для таких задач размер решает меньше, чем кажется.
Все ответы моделей, замеры и скрипты у меня сохранены дословно, ничего не подчищал.
Источники:
llama.cpp: github.com/ggml-org/llama.cpp (релиз b11718)
модели: huggingface.co/unsloth/Qwen3-4B-Instruct-2507-GGUF, huggingface.co/unsloth/gemma-3-4b-it-GGUF, huggingface.co/bartowski/Llama-3.2-3B-Instruct-GGUF, huggingface.co/bartowski/Qwen2.5-7B-Instruct-GGUF
закон о защите прав потребителей: ru.wikisource.org, Закон РФ от 07.02.1992 № 2300-I; перечень технически сложных товаров: постановление Правительства РФ от 10.11.2011 № 924
замеры на ноутбуках: roger.lol/blog/llamacpp-build-guide-for-cpu-inferenci... (Ryzen 7 8840U), reddit.com/r/LocalLLaMA/comments/1p90zzi (i7-14700HX), locobench.org/speed
Иногда разбираю такие штуки у себя в канале в MAX: max.ru/channel_neuro5min
