Железо для нейросетей на локалке май 2025⁠⁠

Уже накопилось порядком оборудования для запуска нейросетевых проектов на локальном железе без серверной составляющей (там пока вне зависимости от предпочтений фанатов старенького zenon и Китая лидируют монстры типа Н100 собираемые на фабрике в Тайване про это сейчас расскажу подробнее).

Информация в свободном доступе, она не ищется с полпинка. Тесты на реальном оборудовании/синтетике. За исключением информации о пропускной способности шины памяти, она номинальная, то есть реальное КПД 20-90% от поставленной задачи). Ну и да на любом железе запустится Герои Меча и Магии 3 , чтобы хоть как-то отбить свободное время.

Неплохо еще бы обрисовать цены и объем доступной памяти, но в таблице места не хватало, поэтому напишу тут.

Каждый год этот американский Ford из NASDAQ выдает лучшее, что они могут. Mac Studio Ultra 96-512GB 4000-15000$, фанаты Mac берут обязательно по верхней категории. Но к чести Мас - это пока единственный вариант получить коробку с 512GB, которая будет их выдавать без существенных тормозов или почти. Процессор можно брать любой М1-М3 по сути ничем не отличаюся, обещанный модуль NPU как нестранно в нашем случае не срабатывает и все 4 поколения 90 ЦПУ и примерно 30 GPU процессоров отрабатывают честь по чести в том числе благодаря архитектуре, оптимизации и широкой шине памяти.

Mac Mini та же самая коробочка казалось бы и процессор новый современный, памяти от 24GB, а это как минимум RX7900XT - что в принципе и выходит. Но дальше все по современным меркам печально, из-за урезанной шины производительность проседает в 2-4 раза от возможной. Но на этом железе отлично чувствует себя Stable Diffusion, ставить Win или Linux - не имеет смысла. Все железо ARM. (И вот тут вот корейцы и китайцы дышат в спину).

Из интересного ждем Кубик от Куртки который он обещал в начале года, но AMD выпустила раньше. Только сейчас начались отгрузки и мы получили реальные тесты на свежих драйверах обещали 120 AI TOPS в принципе они есть. Поскольку платформа одна и та же, но у зеленых, явное преимущество в софте, обещают 1000 AI TOPS за счет Cuda, посмотрим ценник, конкурировать они явно хотят с Mac. Пока явно какие-то проблемы, потому что релиз на топовом чипе Blackwell на нем построена rtx 5090 сильно затянулся.

Немного тезисов маркетологов подтвержденных тестами:

RX7900xt работает не хуже 3090|4090 c Deep Seek

RX5090 в 2 раза быстрее RX7900xt в Deep Seek

Можно найти условия при которых Ryzen AI 395+ будет быстрее связки 2x RTX 4090

Табличка нескучная ни одно творения Мака 96GB пока не показало результат лучше AMD Strix Halo даже шина памяти тут не помогает, но все остальные в пролете на 256-512GB Mac (цены я уже указал). Посмотрим чем ответят зеленые.

Если для моделей нам достаточно 32GB, то RTX 5090 уделает всех и не важно какая сборка тут фанаты даже старого Zenon могут себе ни в чем не отказывать. Либо внешка.

Интересный момент на 24GB если нужен Stable Diffusion то это любая коробочка Mac M4 от 600$ оставит позади RTX 4090 засчет хорошей оптимизации. А модели LLM на 24gb в принципе тяжело загрузить и получить что-то путное, чтобы разница была заметна, между сборками (кроме процессорных и серверных сборок).