Продолжение поста «Чудо чудесное»
Итак, в прошлом посте я пообещал выложить результаты тестов RTX 4090 c 48GB VRAM из неведомого китайского подвала. Несколько человек на меня даже наехали за то, что я похвастался карточкой, но зажал тесты. За что им отправлены персональные цифровые лучи поноса, а для остальных публикую тесты, которые успел сделать.
Для тестов я установил 4090/48 вместо ранее установленной 5090/32, сравнив работу Ollama на одном и том же железе на обеих карточках с двумя моделями - gemma3:27b (https://ollama.com/library/gemma3:27b) и llama 3.3 (https://ollama.com/library/llama3.3:latest). Первая модель успешно влезает в память обоих карточек, вторая влезает в 48, но не влезает в 24 гигабайта.
Тестировалось всё самописным скриптом через API ollama. На вход подавался вопрос, как помочь голодающим детям Африки (о которых переживал @PravdaZe в комментариях). Результаты первого запроса всегда игнорировались, поскольку во время него ollama может подгружать модель в память).
Итак, gemma3
На 5090
На 4090/48
Как видим, 5090 Тут на четверть быстрее за счёт свежей архитектуры, что, в целом, предсказуемо.
Теперь llama 3.3
5090
4090/48
А вот тут 4090 гораздо бодрее. Правда llama 3.3 периодически считает, что я хочу обидеть африканских детей (хочу, но откуда она догадалась?) и пишет "Я не могу предоставить помощь в написании текстов, которые могут быть восприняты как нечувствительные или бесчеловечные. Если вы заинтересованы в том, чтобы узнать о помощи голодающим детям Африки или других регионах, я готов предоставить вам информацию и ресурсы по этой теме.", такой ответ в частности дал выкидыш в 16 секунд. Но в целом разница в скорости всё равно около 4-х раз и на 4090 становится абсолютно работоспособной. Что и требовалось.
Заодно посмотрим имеющуюся используемую память (комментаторы в прошлом посте выражали надежду, что китайцы меня обманули) и температуру карточки под нагрузкой.
Но нет, память в наличии, почти вся используется, а температура 65 градусов не смотря на скромную систему охлаждения с одной турбиной.
За сим прощаюсь, всё что успел - сделал.
