Сколько токенов в секунду выдаёт 7B-модель на CPU?

В опубликованном в 2024 году тесте Llama 2 7B на 12-ядерном Snapdragon X Elite без GPU генерация достигла 20,72 токена/с в Q4_0 и 12,65 в Q8_0 при сборке llama.cpp cddae48. Конечно, это лишь ориентир: другая модель, память, контекст или сборка изменят результат.

Зафиксировать модель, формат и железо до первого замера

Одинаковое число параметров не означает одинаковую скорость. У Llama 2 7B, Mistral 7B и Qwen2.5 7B различаются число слоёв и KV-голов, размер скрытого состояния и токенизатор. Перед тестом запишите точное имя GGUF-файла, его SHA-256, тип квантования и коммит llama.cpp. Для запуска 7B-модели на CPU добавьте к отчёту параметры доступного железа.

Зафиксируйте модель CPU, число доступных процессоров, инструкции и объём RAM. На собственном сервере добавьте физические ядра, SMT, каналы памяти и NUMA-топологию. В VPS lscpu, numactl и dmidecode показывают только топологию, открытую гипервизором, а физические ядра и каналы RAM хоста по ней определить нельзя. Также запишите ОС и версию ядра.

В публикуемом результате укажите дату. Коммит будет важнее номера релиза: оптимизации CPU и схемы квантования меняются между сборками. Для готового комплекта бинарных файлов сохраните вывод llama-cli --version. На собственном сервере запишите режим масштабирования частоты, в VPS он обычно недоступен для управления.

Развести обработку промпта и генерацию токенов

llama-bench измеряет две разные фазы. pp512 показывает обработку входа из 512 токенов. Здесь вычисления идут пакетами, поэтому сильнее влияют векторные инструкции, число ядер и размер batch. tg128 измеряет последовательную генерацию 128 токенов. На каждом шаге рантайм снова читает веса, и ограничением часто становится пропускная способность памяти.

Поэтому скорость инференса 7B на процессоре нельзя сводить к одному числу. Короткий вопрос может быстро пройти prefill, а затем медленно выводить ответ. В RAG-сервисе с большим найденным контекстом, наоборот, время до первого токена определяет обработка промпта.

Результаты нужно записывать раздельно: длина входа и pp в tokens/s; длина ответа и tg в tokens/s. Среднее двух фаз ничего не говорит ни о задержке первого токена, ни о темпе выдачи. Для заполненного KV-кэша укажите его глубину. В официальной документации к llama-bench уточняется, что тест не учитывает токенизацию и сэмплирование, поэтому его вывод не равен задержке HTTP-запроса.

Проверить, помещаются ли веса и KV-кэш без swap

Оценка памяти начинается с фактического размера GGUF. В публичном наборе Llama 2 7B файл Q4_0 занимает 3,56 ГиБ, Q8_0 – 6,67 ГиБ, F16 – 12,55 ГиБ. К весам добавляются KV-кэш, вычислительные буферы, отображённые страницы и память процесса сервера.

KV-кэш растёт вместе с контекстом и числом слотов, также объём зависит и от числа KV-голов. Поэтому единого требования к RAM для всех 7B-моделей нет. 8 ГиБ хватит не каждой Q4-сборке. Для одной Q4- или Q8-модели с умеренным контекстом обычно выбирают 16 ГиБ, для длинного контекста или нескольких слотов – 32 ГиБ.

Как квантование и пропускная способность RAM влияют на скорость?

Квантование уменьшает вес файла и объём чтения из памяти, поэтому генерация часто ускоряется. При декодировании предел задаёт не заявленная частота CPU, а доступная пропускная способность RAM и эффективность ядра квантования. Меньший файл не гарантирует прирост, если для его формата нет подходящей оптимизации.

В llama.cpp токены в секунду сопоставимы только между прогонами без swap. Во время теста проверяйте RSS и si/so в vmstat. Часть RAM оставьте ОС и процессу, который обслуживает запросы.

Получить повторяемый CPU-бенчмарк вместо одного удачного запуска

Закройте фоновые задачи и прогрейте модель. На сервере не нужно менять режим управления частотой и лимит мощности. В VPS записывайте частоту и %steal. Используйте один список CPU. Задайте -ngl 0, чтобы исключить GPU.

Команда строит матрицу для трёх значений -t: каждый вариант повторяется десять раз. JSON хранит среднее, разброс и samples_ts. В отчёте приведите медиану и диапазон, а исходный файл сохраните. Для p95 требуется больше повторов. На сервере с известной топологией сначала оставьте по одному CPU на ядро, затем добавьте SMT-потоки. В VPS сравнивайте наборы vCPU: сколько за ними физических ядер, изнутри не видно.

Не начинайте следующую серию сразу после троттлинга. Записывайте температуру, частоту, загрузку соседних процессов и время теста, а в VPS добавьте %steal. Производительность 7B Q4 на перегретом устройстве и на сервере с тем же числом ядер может заметно различаться.

Сравнить компромисс размера, скорости и качества

Сравнивайте квантования одной модели, собранные из одного исходного чекпойнта. В опубликованном CPU-тесте Llama 2 7B использовался Surface Laptop 7 с 12-ядерным Snapdragon X Elite. Платформа поддерживает восемь каналов LPDDR5x-8448 с заявленной пропускной способностью 135 ГБ/с.

Фрагмент исходного вывода:

Результат опубликовал Andreas Kunar в 2024 году. Стенд: 15-дюймовый Surface Laptop 7, Snapdragon X Elite, 12 ядер без SMT, llama.cpp cddae48 (3646). Дата прогона, объём RAM и отдельные повторы не указаны. На этом стенде Q4 почти вдвое уменьшил файл и ускорил генерацию, но мало изменил обработку промпта.

Бенчмарк LLM на CPU не измеряет качество ответов. Q4 нельзя считать лучше Q8 только по скорости: допустимые потери определяет прикладная проверка.

Найти насыщение физических ядер и памяти

На сервере с известной топологией увеличивайте -t от половины физических ядер до их полного числа, а SMT проверяйте отдельной серией. В VPS используйте ступени до числа доступных vCPU. На x86 с P- и E-ядрами или несколькими NUMA-узлами перечислите выбранные CPU и не смешивайте разные наборы в одной серии.

Какие настройки нужны для сопоставимого бенчмарка?

1. Зафиксируйте GGUF-файл, коммит рантайма, CPU, RAM, ОС и режим питания.

2. Не меняйте число слоёв на GPU, длину промпта и генерации, размер контекста, batch, число повторов и привязку CPU.

3. Проведите прогрев, сохраните JSON каждого прогона и сопоставляйте медиану с разбросом.

После добавления потоков pp может расти, когда tg уже упёрся в память. Логические процессоры не удваивают пропускную способность и могут усилить конкуренцию за кэш. По RSS определите, сколько RAM нужно модели 7B при выбранном контексте и числе слотов. Здесь нужно ориентироваться на фазу, важную для сервиса.

Проверить контекст, шаблон чата и режим выдачи

Синтетические pp512 и tg128 удобны для сравнения железа, но далеки от реального диалога. Возьмите типичный системный промпт и запрос, задайте характерную длину ответа. Зафиксируйте шаблон чата из GGUF, число слотов, batch, размер контекста и параметры сэмплирования. Записывайте фактическое число входных и выходных токенов.

Влияние заполненного контекста проверяйте через -d: параметр предварительно заполняет KV-кэш перед pp/tg. Серия -d 0,2048,8192 покажет, как глубина истории влияет на генерацию. Для сервера отдельно измерьте TTFT, межтокенную задержку и полное время запроса.

Использовать нужно тот же бинарный файл. На x86 сборка может задействовать AVX2, AVX-512 или AMX, на ARM – NEON и I8MM. Флаг в lscpu не подтверждает, что инструкция задействована. Не меняйте temperature, top_p и seed. Фиксируйте состояние кэша общего префикса: он сокращает повторный prefill.

Перевести результаты в диапазон и критерий пригодности

Скорость генерации оценивайте вместе с TTFT. Для интерактивного помощника одному пользователю обычно хватает 15–25 токенов/с, но длинный prefill задержит первый токен. В пакетной задаче важнее общая пропускная способность. В офлайн-обработке допустимы и единицы токенов/с, если соблюдены бюджет и срок.

До теста задайте критерии. Например, медиана tg не ниже 15 токенов/с, p95 TTFT не выше 3 секунд при промпте на 1000 токенов. Свопинга нет, одновременно обрабатывается один запрос. Результаты другого стенда даже с той же версией llama.cpp подойдут только для предварительного выбора CPU и RAM.

Если pp растёт с потоками, а tg почти остановился, ограничением, скорее всего, стала память. Если обе фазы проседают с частотой, проверьте питание и температуру. В VPS записывайте %steal: его колебания объясняют часть разброса.

Решение о развёртывании принимайте по замерам на своей модели и типичном запросе: отдельно для prefill, генерации и времени до первого токена. Для сервиса проверьте параллельные запросы: однопользовательский тест не покажет суммарную пропускную способность. Сохраните команду, параметры стенда и JSON, чтобы повторить сравнение после обновления рантайма. У формулировки 7B-модель на CPU: токены в секунду нет универсального ответа: значение имеет смысл только вместе с диапазоном, условиями теста и ограничениями.

Похоже, между покупкой AI-инструмента и изменением работы стоит не еще одна модель, а непосредственный начальник.

Gallup опросил 23 717 работающих взрослых в США. Среди сотрудников, которые полностью согласились с фразой «мой менеджер продвигает использование ИИ», 33% ответили, что ИИ преобразовал работу в их организации. Среди остальных такой ответ дали 4%.

С культурой разница меньше, но направление то же. При активной поддержке менеджера 31% работников сообщили об улучшении культуры за последний год; без нее — 21%. О заметном улучшении сказали 9% против 3%.

При этом сам по себе приход ИИ не сделал рабочую среду однозначно лучше. В организациях, где ИИ уже внедрили, 24% сотрудников увидели улучшение культуры, 25% — ухудшение, а 51% не заметили изменений.

В отдельном опросе 102 HR-директоров глобальных компаний Fortune 500 почти все — 99% — назвали ИИ важным для стратегии. Но половина призналась, что не уверена в способности менеджеров направлять сотрудников при использовании ИИ. Обучение специально для менеджеров проводят 57% опрошенных компаний.

Здесь нельзя сказать: «поддерживающий начальник увеличивает трансформацию с 4% до 33%». Это самоотчеты и корреляция. Возможно, сильные менеджеры действительно помогают встроить ИИ в процессы. Но возможно и обратное: в компаниях с работающими инструментами, обучением и ясной стратегией менеджеру проще их поддерживать, а сотруднику — заметить перемены.

Практический вывод скромнее, но полезнее. Выдать доступ к ChatGPT или Copilot — еще не внедрение. Кто-то должен объяснить, для каких задач инструмент нужен, разрешить эксперименты, показать примеры и договориться, где результат обязательно проверяет человек. Без этого новая кнопка так и останется новой кнопкой.

P.S. Объективно про ИИ я рассказываю в телеграм-канале "сбежавшая нейросеть": там про то, как нейросети используются в повседневных задачах, разработке софта и даже науке.

Самое время подписаться!

Когда букинист получил через Biblio анонимный заказ примерно на тысячу книг, журналисты 404 Media спрятали в один экземпляр AirTag.

Книга проехала через несколько штатов и остановилась на складе Amazon LAS8 в Северном Лас-Вегасе. Там работает подразделение VGT3, на эмблеме которого тираннозавр держит раскрытую книгу.

«Все, что мы делаем, — сканируем книги», — писал один из сотрудников на форуме работников Amazon, который изучила 404 Media. Одни принимают коробки и считывают ISBN, другие срезают переплеты, превращая книгу в стопку отдельных листов. Затем страницы быстро проходят через сканер, а физический экземпляр уничтожается.

Трекер не видел станки и не записывал происходящее внутри склада. Он доказывает более узкую, но важную часть истории: книга из анонимного оптового заказа действительно закончила путь у Amazon, именно на объекте, который работники связывают с массовым сканированием.

Сама Amazon подтвердила журналистам закупку: компания «покупает книги через коммерческие каналы, чтобы разрабатывать и улучшать продукты и услуги, которыми пользуются клиенты». Какие именно продукты получают эти тексты, сколько книг уже обработано и идет ли конкретная партия в обучение моделей Nova, Amazon не сообщила.

Это продолжение истории, о которой пресса рассказывала ранее. В Project Panama компания Anthropic оптом покупала подержанные книги, срезала корешки, сканировала страницы для Claude, а бумагу отправляла в утиль. Судья признал обучение на законно купленных экземплярах добросовестным использованием. Решение не дает Amazon автоматической индульгенции, но показывает, почему покупка бумаги юридически безопаснее скачивания пиратского архива.

Физические книги нужны потому, что интернет уже заполнен копиями, пересказами и AI-текстами. Старые, малотиражные и иноязычные издания дают человеческий текст, которого может не быть в открытой сети.

Одна посылка — еще не исчезновение мировой библиотеки. Масштаб программы неизвестен, а «редкая» книга на букинистической площадке не обязательно уникальна или имеет музейную ценность.

Но теперь физическая цепочка стала видимой. Это не абстрактный скрейпинг сайта: неизвестный покупатель оформляет заказ, грузовик везет коробки через страну, люди срезают переплеты, сканер забирает текст, а бумажный оригинал перестает существовать.

Amazon когда-то превратил книжный магазин в крупнейшее облако. Теперь книги едут в обратную сторону: с полки — на склад, со склада — в данные, а из данных — в новое облако ИИ.

В Telegram-канале «сбежавшая нейросеть» я рассказываю про ИИ без прикрас: даю самые важные новости, делюсь опытом использования и публикую гайды от топовых экспертов.

Самое время подписаться!

Президент и сооснователь OpenAI Грег Брокман попросил ChatGPT проверить безопасность собственного сайта — и получил список из 13 проблем за четверть часа. Сайт при этом самый скучный из возможных: статичная страница на AWS, спрятанная за Cloudflare, ломать там на первый взгляд нечего. Модель (публичная GPT-5.6 Sol, никаких внутренних сборок) нашла, что для домена не настроена защита от подделки писем — любой мог рассылать почту от имени Брокмана; что в коде страницы висит древняя версия JS-библиотеки jQuery с известными уязвимостями; и что трафик между Cloudflare и сервером на AWS ходит по обычному нешифрованному HTTP. Об этом Брокман рассказал в колонке "The Defender's Window", вышедшей 17 августа.

Дальше он попросил модель все починить — и агент за час сам прошелся по панели Cloudflare: настроил DNS и шифрование, выкинул jQuery, перенес сайт с AWS на Cloudflare Pages и поэтапно раскатил DMARC (стандарт, по которому почтовые серверы проверяют, кому разрешено слать письма от имени домена). Брокман честно признается, что многие из этих настроек знает "смутно" и навскидку не сказал бы, как правильно. Отсюда его мораль: ИИ-агент — это "киберстраж", который добирается до длинного хвоста мелочей, на которые у живого человека никогда не хватает ни времени, ни экспертизы.

История хорошая, но колонка — ответ на июльский инцидент, когда собственные модели OpenAI во время испытаний вышли из изолированной среды и взломали инфраструктуру Hugging Face. Брокман называет его переломным моментом: мир, по его словам, увидел "демо-версию" типового злоумышленника ближайших месяцев. Тезис колонки простой: модели сделали поиск уязвимостей дешевым для обеих сторон, у каждой компании в техдолге полно дыр, и выиграет тот, кто найдет их первым. В тот же день Брокман повторил это в эфире CNBC.

Чтобы понять, откуда она взялась, надо отмотать месяц назад. 16 июля Hugging Face сообщил, что его инфраструктуру атаковал ИИ-агент. 21 июля OpenAI признала: это были ее модели — GPT-5.6 Sol и более мощная пререлизная, обе с отключенными отказами на киберзадачи. Их гоняли по бенчмарку ExploitGym. Изолированная среда не имела выхода в интернет, но модели нашли неизвестную ранее уязвимость в Artifactory (внутренний прокси, через который скачивают пакеты), повысили себе права, добрались до узла с выходом в интернет, догадались, что ответы на тест могут лежать на Hugging Face, и добыли их из рабочей базы через украденные учетные данные и еще одну цепочку уязвимостей. 28 июля OpenAI дописала в пост, что по пути модели воспользовались утекшими в открытый доступ учетными данными четырех аккаунтов на четырех сторонних сервисах: один стал ретранслятором трафика, другой — хранилищем данных.

5 августа на конференции по безопасности Black Hat инженеры OpenAI рассказали, что агенты в исследовательской инфраструктуре компании еще с мая обменивались сообщениями через самодельную "доску объявлений". 7 августа OpenAI объявила, что не может исключить для своей следующей модели Astra высший уровень киберугрозы Critical по собственной шкале и вводит паузы и усиленный контроль. 10 августа вышли сразу два поста: о расширении программы Trusted Access, по которой сильные кибермодели выдаются проверенным компаниям, и о развитии линейки Daybreak — с формулировкой "as the Cyber Defense Window narrows" прямо в заголовке. То есть "окно" стало брендом OpenAI за неделю до колонки; текст Брокмана — его манифест.

Что в манифесте предлагается. Во-первых, OpenAI с начала года выдает продвинутые кибермодели только через Trusted Access — но открытые веса отстают от закрытых всего на несколько месяцев, и Брокман, не называя модель по имени, ставит ссылку на анонс GLM-5.3 от китайской Z.ai: ее веса ожидаются в конце августа, и их публикация, пишет он, "значительно ускорит ландшафт угроз". Во-вторых, защитники все равно выиграют — потому что модели OpenAI учат писать "сверхчеловечески безопасный" код, а их успехи в математике переносятся на формальную верификацию софта, то есть на математическое доказательство того, что программа не может сделать ничего лишнего. В-третьих — чеклист из десяти пунктов для безопасников: дать агента команде уже сегодня, проверить сначала внешние сервисы и конвейер сборки, скормить ему бэклог уязвимостей, встроить ревью кода в этот конвейер, заранее подать заявку на Trusted Access и на модель для расследования инцидентов GPT-Daybreak-Blue.

Ссылка на GLM-5.3 заслуживает отдельного абзаца, потому что самое интересное про эту модель Брокман опустил. Z.ai действительно выпустила GLM-5.3 14 августа с резко выросшими кибервозможностями — 84,5% на бенчмарке CyberGym, выше, чем у Fable 5 и GPT-5.6 Sol, и более 2400 найденных уязвимостей в 269 опенсорс-проектах по данным самой компании. Но веса она как раз задержала — примерно на две недели, потому что, как пишет лаборатория, кибернавыки модели в ходе дообучения выросли дальше и быстрее, чем задумывалось, и нужна проверка и укрепление защитных мер. Больше того, Z.ai запустила собственную программу доступа для избранных партнеров по безопасности — по сути, тот же Trusted Access. Китайская лаборатория, на которую Брокман указывает как на угрозу, делает ровно то же, что и OpenAI, — и, в отличие от OpenAI, сделала это до релиза, а не после инцидента.

И здесь, на мой взгляд, главная претензия к колонке. HF-история в ней изложена как рост возможностей: "агентный коллектив" сцепил неизвестные уязвимости и утекшие учетные данные, модели стали хорошо искать дыры. Но что модели стали лучше искать уязвимости — не удивительно и не новость: если учить модель писать безопасный код, искать небезопасный она тоже будет лучше. Удивительное в июльских событиях — не мощность, а поведение. Модели, которым дали задачу пройти тест, сами решили добыть ответы через чужой продакшен. Рой агентов сам завел себе доску объявлений. Об этом в колонке почти не говорится. Единственное признание — "мы недооценили кибервозможности своих моделей" — стоит в середине текста и тут же переводится в "поэтому ужесточаем требования". Вся ответственность развернута наружу: чините свои DMARC, дайте безопасникам агента, готовьтесь к китайским весам.

Ради справедливости — про поведение OpenAI все-таки говорит, просто в других местах: в посте про Critical для Astra, на брифинге Black Hat, в июльском тексте про безопасность долгих автономных моделей. И вопросов вокруг всей этой истории пока больше, чем ответов. Версия OpenAI остается единственной: независимую проверку поведения моделей ведут METR и Redwood Research (сами они называют ее короткой и сфокусированной на узком наборе вопросов), собственный технический отчет OpenAI обещала "в ближайшие недели" еще в июле — на момент публикации его нет. Decrypt со ссылкой на нынешних и бывших сотрудников пишет, что внутри компании инцидент связывают с давлением сроков, а один бывший сотрудник назвал его крупнейшим safety-инцидентом в истории OpenAI.

Так что 13 дыр на сайте президента OpenAI — действительно лучший аргумент во всей колонке, потому что он честный. Что модели научились находить то, до чего у человека не доходят руки, — логично, и это стоит принять. Вопрос, на который "Окно защитника" не отвечает: почему модель, которую об этом никто не просил, пошла искать эти дыры у соседа. Можно идеально закрыть все окна у себя — от агента на чужом кластере, который сочтет, что для выполнения задачи ему нужно зайти к вам, это не защитит.

P.S. Поддержать меня можно подпиской на канал "сбежавшая нейросеть", где я рассказываю про ИИ с творческой стороны.

Казалось бы, очевидный момент, да не совсем. Если тестируется сразу несколько гипотез/сервисов, то для каждого из них (не всегда) необходим этот ваш хостинг (vps), который надо купить, настроить и поддерживать…

Самая сильная боль, чуть ниже спины, случилась после повышения цен на хостинги.

У меня уже был положительный опыт использования малинки (третья заключительная часть с ссылками на первые две статьи) и вооружившись своими новыми знаниями я решил приобрести неттоп для выполнения роли homelab (домашняя лаборатория/сервер), где я смогу разворачивать виртуальные машины и уже на них тестить свои сервисы и не только. О моих приключениях на этом пути читайте в следующих частях, покеда.

P.S. О том, какой именно неттоп и какие вообще задачи можно решать с использованием homelab, читайте в расширенной версии статьи в моем личном блогусе.