Приехало чудо от китайских умельцев - GeForce RTX 4090 с памятью 48Гб вместо положенных 24-х. Китайцы их клепают чтобы бюджетно запускать нервосетки. Трамп негодует!
В плёночке!
Пруф
Как работает пока не проверял. Наверное завтра воткну куда-нибудь. Если понравится, потом докуплю вторую.
PS. Цена вопроса - 350 тыр.
Итак, в прошлом посте я пообещал выложить результаты тестов RTX 4090 c 48GB VRAM из неведомого китайского подвала. Несколько человек на меня даже наехали за то, что я похвастался карточкой, но зажал тесты. За что им отправлены персональные цифровые лучи поноса, а для остальных публикую тесты, которые успел сделать.
Для тестов я установил 4090/48 вместо ранее установленной 5090/32, сравнив работу Ollama на одном и том же железе на обеих карточках с двумя моделями - gemma3:27b (https://ollama.com/library/gemma3:27b) и llama 3.3 (https://ollama.com/library/llama3.3:latest). Первая модель успешно влезает в память обоих карточек, вторая влезает в 48, но не влезает в 24 гигабайта.
Тестировалось всё самописным скриптом через API ollama. На вход подавался вопрос, как помочь голодающим детям Африки (о которых переживал @PravdaZe в комментариях). Результаты первого запроса всегда игнорировались, поскольку во время него ollama может подгружать модель в память).
Итак, gemma3
На 5090
На 4090/48
Как видим, 5090 Тут на четверть быстрее за счёт свежей архитектуры, что, в целом, предсказуемо.
Теперь llama 3.3
5090
4090/48
А вот тут 4090 гораздо бодрее. Правда llama 3.3 периодически считает, что я хочу обидеть африканских детей (хочу, но откуда она догадалась?) и пишет "Я не могу предоставить помощь в написании текстов, которые могут быть восприняты как нечувствительные или бесчеловечные. Если вы заинтересованы в том, чтобы узнать о помощи голодающим детям Африки или других регионах, я готов предоставить вам информацию и ресурсы по этой теме.", такой ответ в частности дал выкидыш в 16 секунд. Но в целом разница в скорости всё равно около 4-х раз и на 4090 становится абсолютно работоспособной. Что и требовалось.
Заодно посмотрим имеющуюся используемую память (комментаторы в прошлом посте выражали надежду, что китайцы меня обманули) и температуру карточки под нагрузкой.
Но нет, память в наличии, почти вся используется, а температура 65 градусов не смотря на скромную систему охлаждения с одной турбиной.
За сим прощаюсь, всё что успел - сделал.
Чел, ты мой коммент вообще читал? Зачем ты мне его пересказываешь?🤣🤣
Просто прочти мой предыдущий коммент и успокойся, никто не говорит, что отдельная дорогая видюха хуже бюджетной АПУшки
Чел, ты мой коммент вообще читал?
Да.
Просто прочти мой предыдущий коммент и успокойся, никто не говорит, что отдельная дорогая видюха хуже бюджетной АПУшки
Ну вы же эту бюджетную апушку вызвались рекламировать. Вот я и обсуждаю конкретику.
Это же всё не ради фана делается, а ради конкретных рабочих задач.
Взял gmktec evo-x2
Памяти в 2 раза больше, стоит в 2 раза дешевле
Производительности поменьше, но для нейронок хватает
Пишут конечно что аналог 4060, но за ту же цену что у вас можно взять 2 и получить+- ту же производительность при распределении запросов но для моделей больше
Для моделей совсем больших у меня есть 2-головый, 192-ядерный Epyc с 768Гб ОЗУ.
Можно впихнуть полный дипсик, который на 671 миллиард параметров.
Но 4090/48 позволяет быстро выполнять то, что влезает в память.
Так мы же про нейросети говорим, а если ты берешь Франкенштейна на 48 гигов, значит надо для работы над большими моделями, вот тебе пример из видео, тут даже 5090 медленнее.
Базара ноль, если модель влезет в память, то отдельная видюха будет в разы быстрее, но такие видюхи и стоят ого-го.
Я же всё таки говорю про бюджетный запуск нейросетей.
Смотрите какая фигня.
Сначала они сравнили модель (gemma3:27b) которая влезла туда и туда. Там 5090 быстрее почти в 4 раза.
Потом они взяли модель на 60 Гб и сравнили её на на 5090 c 32 Гб и Ai MAX с 64. И она не влезла в память ни там, ни там, но у Ai MAX влезло побольше. В итоге там получилось на копейки получше, но в итоге в обоих случаях неюзабельно.
В итоге мы получаем, что Ai MAX работает хреново одинаково со всем. nVidia работает хорошо если модель влезает в память (что и так известно) и плохо если не влезает (что тоже известно).
В итоге не ясно зачем это чудо. Т.е. оно вроде как прикольно и может всё понемножку, но всё так себе. А на вышеописанном чуде я запущу всё, что влезет в 48 Гб не как попало, а именно хорошо, что можно пользоваться в практических целях. А если добавлю вторую такую карточку, то вообще всё общедоступное там заведётся. И это будет в пределах миллиона за железо.
Соответствует.
А гарантия сколько?
Потому что по факту это очень такого себе качества продукт.
А гарантия сколько?
Обещают три года.
Но если на год хватит я не обижусь.
Потому что по факту это очень такого себе качества продукт.
Ну так хэнд-мейд, секретные китайские технологии. Зато 48 гигабайт. Альтернатива - h100 на 80 гиг стоит в 8 раз дороже, хотя и толще.
Запрягу её завтра решать проблему голодающих африканских детей. Заодно и быстродействие протестирую
Да, конечно.
Но играть я там не буду, там ubuntu server стоит и к нему даже монитор не подключен ;)
И там очень холодно. Там два кондиционера размером с небольшую комнату каждый ;)
Будет когда сделаю. Если вообще сделаю, поскольку я никому ничего не должен и никаких договоров со сроками не подписывал. А вы с @ArtyGrand мультиакки что ли?
Если ты читал мой коммент, то нах его опять пересказываешь?
Я лишь написал, что уже есть АПУшка, чтобы можно было бюджетно покрутить любые нейросетки, а ты сагрился на мой коммент и лил ядом, будто я тебе родину предлагаю продать, хз почему тебя это так задело, поэтому я и привёл пример, что на ней всё может спокойно работать, да не быстро, но большие модели даже быстрее чем на отдельной видюхе, которая стоит почти вдвое дороже целого ПК с этой АПУ
П-фф..
"Бюджетно покрутить" можно просто на любом CPU. Оно там работает. Вообще без GPU. Медленно и печально, но работает. Хотите покажу?
Дальше начинаем бороться за то, чтобы не просто "крутить", а с нормальной скоростью.
И тут, внезапно, апушка оказывается так себе.
А видеокарта тащщит. Не со всеми моделями, но со всеми и не надо в реальности.
В этом и смысл.
Мне без разницы сколько стоит, я же не на свои покупаю. Это рабочее оборудование. У меня есть гораздо дороже.
32 вместо 48 памяти. А если модель не лезет в память скорость проседает сразу на порядок или больше. Т.е. тут можно загрузить в полтора раза большую модель. Или несколько мелких и не подгружать их на ходу.
Сейчас у меня есть 5090, вот будем сравнить.
Чтобы бюджетно запускать нейросетки есть же АПУ АМД на 128 гигов оперативы, из них под видеопамять можно выделить 96 гигов
AMD Strix Halo называется
Можно ссылочку на готовый продукт с ценой?
А, не завезли?
А когда реальные инструменты под них перекомпилят?
А ничего, что шина памяти там все равно медленнее?
Вот привезут - купим и будем тестировать. А пока что есть. Рынок меняется каждый месяц сейчас.
Я тут на одном мероприятии слушал как компания-докладчик поставила неназванным российским заказчикам кластер из нескольких десятков GPU-серверов, каждый с 8 карточками по 196Гб на карточку.
Во-первых оно уже стоит и работает.
Продолжение поста «Чудо чудесное»
Во-вторых вероятность что оно чем-то не тем оказалось бы гораздо ниже, чем при покупке ширпотреба в DNS.
Под нейронками. Для них и покупалась.
В коридоре за дверью не слышно, а что там в серверной никого особо не волнует, там есть гораздо более шумные девайсы ;)
Есть такая же, но с родной водянкой. Стоит несколько дороже.
Почему? Не на толкучке же бралось. Есть поставщик проверенный, есть гарантия, есть документы.
Поставщика в случае чего юристы мехом внутрь вывернут.
Нет, поскольку то, что не влезает в видеопамять будет качаться через pci-e.
Так бы можно было купить 5060 и воткнуть в машинку с терабайтом RAM. А вот хуй :(
Вполне может оказаться, что никаких 48 гигабайт там нет, и это просто так китайцы написали. Как флешки на терабайт с озона за 200 рублей.
По сравнению с H100/200 это очень бюджетно.
Если модель влезает в память и нормально там работает и можно потратить в 10 раз меньше денег, то это прям охуенно.
Для нервосеток. Им чем больше памяти - тем лучше.
Специализированные gpu в России продаются по 3-5 миллионов за штуку сейчас. А это китайцы для нас, нищебродов, спаяли.
Нет, конечно, но завтра и проверю.
Поставщик мамой клянётся что соответствует и гарантию даёт.
Если не соответствует, будут юристы с поставщиком разбираться.
Ну например "Вот гупил вундервафлю, вот поставил на тестирование бэнч показал то-то, с чипы памяти такие-то, с памятью в целом наебали/не наебали"
Ты же просто выложил фотку какой-то ебалы и сказал "Смотрите че есть, только я хз работает или нет"
Найду куда воткнуть - протестирую под LLM.
А так сегодня приехала, сегодня показал. Может интересно кому.
Бля, это как с отзывами на маркетплейсах. Оценка 5, но я еще не пробовал
Искусственный интеллект
6.3K постов12.1K подписчика
Правила сообщества
ВНИМАНИЕ! В сообществе запрещена публикация генеративного контента без детального описания промтов и процесса получения публикуемого результата.
Разрешено:
- Делиться вопросами, мыслями, гипотезами, юмором на эту тему.
- Делиться статьями, понятными большинству аудитории Пикабу.
- Делиться опытом создания моделей машинного обучения.
- Рассказывать, как работает та или иная фиговина в анализе данных.
- Век жить, век учиться.
Запрещено:
I) Невостребованный контент
I.1) Создавать контент, сложный для понимания. Такие посты уйдут в минуса лишь потому, что большинству неинтересно пробрасывать градиенты в каждом тензоре реккурентной сетки с AdaGrad оптимизатором.
I.2) Создавать контент на "олбанском языке" / нарочно игнорируя правила РЯ даже в шутку. Это ведет к нечитаемости контента.
I.3) Добавлять посты, которые содержат лишь генеративный контент или нейросетевой Арт без какой-то дополнительной полезной или интересной информации по теме, без промтов или описания методик создания и т.д.
II) Нетематический контент
II.1) Создавать контент, несвязанный с Data Science, математикой, программированием.
II.2) Создавать контент, входящий в противоречие существующей базе теорем математики. Например, "Земля плоская" или "Любое действительное число представимо в виде дроби двух целых".
II.3) Создавать контент, входящий в противоречие с правилами Пикабу.
III) Непотребный контент
III.1) Эротика, порнография (даже с NSFW).
III.2) Жесть.
За нарушение I - предупреждение
За нарушение II - предупреждение и перемещение поста в общую ленту
За нарушение III - бан