Сколько токенов в секунду выдаёт 7B-модель на CPU?

В опубликованном в 2024 году тесте Llama 2 7B на 12-ядерном Snapdragon X Elite без GPU генерация достигла 20,72 токена/с в Q4_0 и 12,65 в Q8_0 при сборке llama.cpp cddae48. Конечно, это лишь ориентир: другая модель, память, контекст или сборка изменят результат.

Зафиксировать модель, формат и железо до первого замера

Одинаковое число параметров не означает одинаковую скорость. У Llama 2 7B, Mistral 7B и Qwen2.5 7B различаются число слоёв и KV-голов, размер скрытого состояния и токенизатор. Перед тестом запишите точное имя GGUF-файла, его SHA-256, тип квантования и коммит llama.cpp. Для запуска 7B-модели на CPU добавьте к отчёту параметры доступного железа.

Зафиксируйте модель CPU, число доступных процессоров, инструкции и объём RAM. На собственном сервере добавьте физические ядра, SMT, каналы памяти и NUMA-топологию. В VPS lscpu, numactl и dmidecode показывают только топологию, открытую гипервизором, а физические ядра и каналы RAM хоста по ней определить нельзя. Также запишите ОС и версию ядра.

В публикуемом результате укажите дату. Коммит будет важнее номера релиза: оптимизации CPU и схемы квантования меняются между сборками. Для готового комплекта бинарных файлов сохраните вывод llama-cli --version. На собственном сервере запишите режим масштабирования частоты, в VPS он обычно недоступен для управления.

Развести обработку промпта и генерацию токенов

llama-bench измеряет две разные фазы. pp512 показывает обработку входа из 512 токенов. Здесь вычисления идут пакетами, поэтому сильнее влияют векторные инструкции, число ядер и размер batch. tg128 измеряет последовательную генерацию 128 токенов. На каждом шаге рантайм снова читает веса, и ограничением часто становится пропускная способность памяти.

Поэтому скорость инференса 7B на процессоре нельзя сводить к одному числу. Короткий вопрос может быстро пройти prefill, а затем медленно выводить ответ. В RAG-сервисе с большим найденным контекстом, наоборот, время до первого токена определяет обработка промпта.

Результаты нужно записывать раздельно: длина входа и pp в tokens/s; длина ответа и tg в tokens/s. Среднее двух фаз ничего не говорит ни о задержке первого токена, ни о темпе выдачи. Для заполненного KV-кэша укажите его глубину. В официальной документации к llama-bench уточняется, что тест не учитывает токенизацию и сэмплирование, поэтому его вывод не равен задержке HTTP-запроса.

Проверить, помещаются ли веса и KV-кэш без swap

Оценка памяти начинается с фактического размера GGUF. В публичном наборе Llama 2 7B файл Q4_0 занимает 3,56 ГиБ, Q8_0 – 6,67 ГиБ, F16 – 12,55 ГиБ. К весам добавляются KV-кэш, вычислительные буферы, отображённые страницы и память процесса сервера.

KV-кэш растёт вместе с контекстом и числом слотов, также объём зависит и от числа KV-голов. Поэтому единого требования к RAM для всех 7B-моделей нет. 8 ГиБ хватит не каждой Q4-сборке. Для одной Q4- или Q8-модели с умеренным контекстом обычно выбирают 16 ГиБ, для длинного контекста или нескольких слотов – 32 ГиБ.

Как квантование и пропускная способность RAM влияют на скорость?

Квантование уменьшает вес файла и объём чтения из памяти, поэтому генерация часто ускоряется. При декодировании предел задаёт не заявленная частота CPU, а доступная пропускная способность RAM и эффективность ядра квантования. Меньший файл не гарантирует прирост, если для его формата нет подходящей оптимизации.

В llama.cpp токены в секунду сопоставимы только между прогонами без swap. Во время теста проверяйте RSS и si/so в vmstat. Часть RAM оставьте ОС и процессу, который обслуживает запросы.

Получить повторяемый CPU-бенчмарк вместо одного удачного запуска

Закройте фоновые задачи и прогрейте модель. На сервере не нужно менять режим управления частотой и лимит мощности. В VPS записывайте частоту и %steal. Используйте один список CPU. Задайте -ngl 0, чтобы исключить GPU.

Команда строит матрицу для трёх значений -t: каждый вариант повторяется десять раз. JSON хранит среднее, разброс и samples_ts. В отчёте приведите медиану и диапазон, а исходный файл сохраните. Для p95 требуется больше повторов. На сервере с известной топологией сначала оставьте по одному CPU на ядро, затем добавьте SMT-потоки. В VPS сравнивайте наборы vCPU: сколько за ними физических ядер, изнутри не видно.

Не начинайте следующую серию сразу после троттлинга. Записывайте температуру, частоту, загрузку соседних процессов и время теста, а в VPS добавьте %steal. Производительность 7B Q4 на перегретом устройстве и на сервере с тем же числом ядер может заметно различаться.

Сравнить компромисс размера, скорости и качества

Сравнивайте квантования одной модели, собранные из одного исходного чекпойнта. В опубликованном CPU-тесте Llama 2 7B использовался Surface Laptop 7 с 12-ядерным Snapdragon X Elite. Платформа поддерживает восемь каналов LPDDR5x-8448 с заявленной пропускной способностью 135 ГБ/с.

Фрагмент исходного вывода:

Результат опубликовал Andreas Kunar в 2024 году. Стенд: 15-дюймовый Surface Laptop 7, Snapdragon X Elite, 12 ядер без SMT, llama.cpp cddae48 (3646). Дата прогона, объём RAM и отдельные повторы не указаны. На этом стенде Q4 почти вдвое уменьшил файл и ускорил генерацию, но мало изменил обработку промпта.

Бенчмарк LLM на CPU не измеряет качество ответов. Q4 нельзя считать лучше Q8 только по скорости: допустимые потери определяет прикладная проверка.

Найти насыщение физических ядер и памяти

На сервере с известной топологией увеличивайте -t от половины физических ядер до их полного числа, а SMT проверяйте отдельной серией. В VPS используйте ступени до числа доступных vCPU. На x86 с P- и E-ядрами или несколькими NUMA-узлами перечислите выбранные CPU и не смешивайте разные наборы в одной серии.

Какие настройки нужны для сопоставимого бенчмарка?

1. Зафиксируйте GGUF-файл, коммит рантайма, CPU, RAM, ОС и режим питания.

2. Не меняйте число слоёв на GPU, длину промпта и генерации, размер контекста, batch, число повторов и привязку CPU.

3. Проведите прогрев, сохраните JSON каждого прогона и сопоставляйте медиану с разбросом.

После добавления потоков pp может расти, когда tg уже упёрся в память. Логические процессоры не удваивают пропускную способность и могут усилить конкуренцию за кэш. По RSS определите, сколько RAM нужно модели 7B при выбранном контексте и числе слотов. Здесь нужно ориентироваться на фазу, важную для сервиса.

Проверить контекст, шаблон чата и режим выдачи

Синтетические pp512 и tg128 удобны для сравнения железа, но далеки от реального диалога. Возьмите типичный системный промпт и запрос, задайте характерную длину ответа. Зафиксируйте шаблон чата из GGUF, число слотов, batch, размер контекста и параметры сэмплирования. Записывайте фактическое число входных и выходных токенов.

Влияние заполненного контекста проверяйте через -d: параметр предварительно заполняет KV-кэш перед pp/tg. Серия -d 0,2048,8192 покажет, как глубина истории влияет на генерацию. Для сервера отдельно измерьте TTFT, межтокенную задержку и полное время запроса.

Использовать нужно тот же бинарный файл. На x86 сборка может задействовать AVX2, AVX-512 или AMX, на ARM – NEON и I8MM. Флаг в lscpu не подтверждает, что инструкция задействована. Не меняйте temperature, top_p и seed. Фиксируйте состояние кэша общего префикса: он сокращает повторный prefill.

Перевести результаты в диапазон и критерий пригодности

Скорость генерации оценивайте вместе с TTFT. Для интерактивного помощника одному пользователю обычно хватает 15–25 токенов/с, но длинный prefill задержит первый токен. В пакетной задаче важнее общая пропускная способность. В офлайн-обработке допустимы и единицы токенов/с, если соблюдены бюджет и срок.

До теста задайте критерии. Например, медиана tg не ниже 15 токенов/с, p95 TTFT не выше 3 секунд при промпте на 1000 токенов. Свопинга нет, одновременно обрабатывается один запрос. Результаты другого стенда даже с той же версией llama.cpp подойдут только для предварительного выбора CPU и RAM.

Если pp растёт с потоками, а tg почти остановился, ограничением, скорее всего, стала память. Если обе фазы проседают с частотой, проверьте питание и температуру. В VPS записывайте %steal: его колебания объясняют часть разброса.

Решение о развёртывании принимайте по замерам на своей модели и типичном запросе: отдельно для prefill, генерации и времени до первого токена. Для сервиса проверьте параллельные запросы: однопользовательский тест не покажет суммарную пропускную способность. Сохраните команду, параметры стенда и JSON, чтобы повторить сравнение после обновления рантайма. У формулировки 7B-модель на CPU: токены в секунду нет универсального ответа: значение имеет смысл только вместе с диапазоном, условиями теста и ограничениями.

Ссылка на публикацию в официальной группе Народный фронт - Томская область в ВК: https://vk.ru/nf_tomsk?w=wall-138148647_24450 (зарегистрирована в Роскомнадзоре).

Прошло ещё несколько лет (5-6). Создавались различные группы, списки, группы и так по кругу, тех кто желает подключиться. Отдавались в Ростелеком, местному провайдеру, но всё никак. Потом в отдалённых посёлках (30, 20, 15 км) начал появляться провайдер, который шёл со стороны Краснодара, не со стороны города. Опять собрались люди в группу человек 600.. и обратились к этому провайдеру. Провайдер вроде как оказался не против. Стали ждать.
буквально неделю-две и новости. Этот провайдер к нам не потянет, будет Ростелеком. Которые сейчас обещают протянуть линии по всем улицам посёлка. Люди начали ждать. В личном кабинете появлялись заявки с датой подключения. В основном конец ноября. Но заявки со временем переросли в нет технической возможности. В итоге зима, весна. И вот в апреле начали тянуть оптику.
Качество линий это отдельная история. Кольцо и кольцу так называемый "чулок" - это когда алюминиевая проволока сложенная пополам одевается на кольцо, а далее накручивается на кабель. В итоге я видел очень много оборванных и провисших до земли линий от РТ, хоть в городе, хоть в посёлке. Заявки, по восстановлению, кстати, тоже выполнялись 1+ месяца.

В мае вроде как окончили тянуть. И начались недели ожидания. Якобы подрядчик не сдаёт линию в эксплуатацию.

Июнь. Всё, ждите звонка, будут звонить с городского, начнут подключать. И вот в группе (группа по РТ уже 400+ человек, но там много в списках, кто и не состоит в группе), отписались за неделю 2 человека, что им позвонили и назначили дату подключения. Все гадают правда или нет))) также гадают, почему только двоим? Звучат предположения, что линия похоже до сих пор не сдана в эксплуатацию. Так как если позвонить в РТ и оставить самому заявку, по прежнему звучит, что нет технической возможности.

У меня в заявке значится 200 Мбит, винк, сим карта. При этом я этого даже не выбирал. Надеюсь что смогу отказаться от всего лишнего, когда мне позвонят... Я всё ещё надеюсь, что позвонят хотя бы летом🤣

При этом я уверен, что если бы была конкуренция, они бы сделали это всё на много быстрее.

Также в процессе прокладки линии активизировались разные личности. В чате посёлка одно мелькало, позвоните тому или тому, только он гарантирует что вас подключат, если ему не позвонить, то и не мечтайте о подключении и всё в таком духе. В общем какая-то суета, кто кому только не звонил. И как итог, потом людям перезванивали и звучали разные суммы подключения, кому-то 2500, кому-то 8000, кому-то 13500. В общем неразбериха полная.

Мне же интересно узнать ценообразование. Видимо всё зависит от того на сколько доп услуг тебя удалось развести. Такая и цена. Так как там где озвучивали подключение 2500, был тариф за 1500р в месяц, без возможности изменить его 2 года. Ну и интересно узнать, может есть какая услуга от РТ, чтобы стать одним из первых на подключение, в очереди из 600+ абонентов 🤣

Есть может на Пикабу работники Ростелеком и как-то прокомментируют сей цирк... ? Да заодно подскажут, как избежать покупки ont терминала от Ростелеком? Я видел варианты в Ютуб, но там вбивался серийник с терминала уже купленного. Переводился в мост (bridge). А я не хочу покупать роутер от РТ, чтобы потом его заменить терминалом за 1500 и своим роутером... Хотелось бы сразу, минуя лишние траты.