5

Ответ Redanix в «Помогите новичку собрать бюджетный домашний сервер для локального ИИ (до 50к)»

Коллеги, право, эта серия постов пытается охватить всё! И видюхи — минимальные от 1660 до Теслы!

Всё же на моё нахуй никому не нужное мнение — для творчества (и тем более видео!) проще подписка на жырные здоровые AI. На это обращали внимание многие камрады. Подразумевается, что получаемый продукт многократно окупает затраты. Ну сложновато одиночке тягаться с транснациональными AI-гигантами!

Однако для узкоспециализированных задач — вполне себе норм. Из плюсов — всё рядом, можно быстро докрутить / проверить идею и так далее.

2690v3, 32ddr4, 2 * RTX3060 12Gb, nvme, ssd, hdd, Кот. Win10 / Убунта.

Модели фич на 30 .. 40 щёлкает и ещё просит. Недавно майнили Pearl с 90TH/s. Это с обычной работой компа — вообще не заметно.

Охлаждение — только воздух, две на вдув, одна на выдув. Корпус открыт. Вертушки видюх выкрутил к лету на максимум, они недорогие, температура GPU 61 — 70 градусов с полной нагрузкой. Та, на которой мониторы — теплее.

Здесь ещё вертушки притушены

Здесь ещё вертушки притушены

И, конечно, когда много считаем — Котов расплющивает фхлам. Как только слышат звук раскрутки — наперегонки!

Конфигурация собиралась постепенно, по мере осознания потребностей. Успел собрать до ебанутости с ценами на память. Сейчас такое собрать — ну... Что-то можно было бы изменить, конечно. Больше бы оперативы взял, однозначно. Хотя бы 64. Ну, если бы да кабы...

Так что прежде всего нужно определиться с задачами, для которых собираем.

Кстати, за советы как на этой конфигурации запустить жырные LLMки чтобы не по символу в секунду печатала, а быстрее — буду благодарен!

Всем успехов и Жырных Котов!

Ура.

Показать полностью 4
697

Ответ на пост «Помогите новичку собрать бюджетный домашний сервер для локального ИИ (до 50к)»

Ну задачку поставил конечно. В целом, влезть можно, но это будет сборка компромиссов.

Во первых - забудь по ддр4. Она сожрет большую часть твоего бюджета но профита при этом особо не даст.

Во вторых - материнку нужно брать что бы была возможность установить две или больше карты. В лимит видеопамяти упрешься очень быстро при экспериментах.

В третьих - если хочется хорошо и при этом уложится в бюджет - тебя ждет секс. Причем нормальный такой, с БДСМ, насилием, депрессией и фантомными болями потом. Что бы он прошел хорошо - нужна довольно высокая техническая квалификация и руки прямые.

Значит, смотри.

Проц:

2666v3. Твой топ. Цена в районе 1.5к рублей. 10 ядер, 20 потоков. Старый зион, но много линий pci-e и четырех канал, поддержка ddr3. 2 штуки - 3к руб

Материнская плата. Тут вопрос - сложный, если честно.

Huananzhi x99-TD3 - один сокет, 4 слота озу, цена в районе 5к рублей

Machinist x99 MD8-3 - два сокета, ddr3, 8 слотов для памяти, 3 слота для установки видеокарт. Цена 6к рублей. Более предпочтительное решение, но оно тянет за собой 2 проца, 2 кулера, более дорогой бп.

Память

Ддр3 еcc reg 16gb 1600 или 1333. В районе 1500р модуль. 8 модулей - 12, 128гб озу. Более чем. Если выберешь первый вариант материнки, то естественно режь пополам, т.е 4 модуля и 64гб в сумме и 6к в деньгах.

Блок питания

Хороший бп с майнинга дергай. На 850вт минимум, лучше - на 1квт. Можно найти в районе 3-4к рублей на авите. Всякие хунсунлонги - нахрен. Бери evga. Coguar, inwin, powerman, corsair, antec, ascot. Deepcool. zalman В общем любой пристойный бренд. Следи что бы было 2 выхода под питание процессора и достаточное колво pci-e под минимум две карты.

Корпус - eatx. Любой в целом, у ардора(который бренд ДНС) были недорогие коробки под еатх. 3.5к

Охлаждение процессорное

Любой кулер на 4-5-6 трубок с амд креплением - скобы которые на ушки накидываются, плюс два переходника кольца с 2011-3 на amd. По цене - 3к за оба

Диски

Не подскажу. Ситуация с ними сейчас сложная. Что найдешь под бюджет и успеешь выхватить.

Охлаждение в корпус

120мм вентили arctic cooler p12 value pack. На том же вб можно выхватить за 1.5к рублей. Разветлитель что бы подключить все 5шт - еще рублей 300.

Видеокарты.

Тут очень сложно.

Вообще я бы смотрел в сторону 2080ти 22гб, но давай сначала посчитаем что у нас выходит по бюджету.

Процессоры - 6к

Материнская плата - 6к

128ГБ ДДР3 - 12К

Кулера для процессоров - 3к

Блок питания - 4к

Корпус - 3.5к

Кулера в корпус - 1.5к

Это у нас выходит 36к. Остается - 24к что маловато для 2080ти 22гб

Есть амд карты mi50 на 16гб. Под них есть форк llama.cpp. Сами mi50 стоят по 9500, плюс по 1200 кожух с турбиной, и перепрошивка биоса + переходник с mDP на hdmi или DP.

В целом округлим до 11к за штуку - 22к и 2к на какой нибудь диск.

Будет 32гб hbm2. У меня такая карта есть, в целом хорошо тащит, уровень 3060 по моще. Можно взять одну - будет проще.

Показать полностью

Помогите новичку собрать бюджетный домашний сервер для локального ИИ (до 50к)

Народ, всем привет!

Ребят, очень нужна ваша помощь и опыт. Я относительно недавно в теме самостоятельной сборки серверов и ИИ, поэтому не судите строго, если где-то ляпну новичковое 😅

Хочу собрать свой домашний сервер под проект AICore — полностью независимую экосистему на базе локальных моделей. Чтобы не зависеть от облаков, цен и возможных блокировок.

Бюджет примерно 50 тысяч рублей максимум. На большее пока не тянет.

Что примерно присмотрел:

Xeon E5-2690 v4

RTX 3060 12 ГБ

32 ГБ ECC-памяти

Планирую тянуть DeepSeek-7B в кванте Q4_K_M.

Но я понимаю, что это может быть не самый оптимальный вариант по цене/качеству. Поэтому очень прошу помощи:

Какое железо лучше взять в этом бюджете, чтобы максимально выжать производительность из LLM?

Где сейчас выгоднее всего искать комплектуху (Авито, барахолки, конкретные группы/каналы)?

Стоит ли смотреть б/у материнки на LGA 2011-3 или есть более интересные варианты?

Какую ОС лучше поставить новичку: Ubuntu Server, Proxmox, или что-то ещё полегче и удобнее?

Буду благодарен за любые советы по конфигурации, экономии и подводным камням. Особенно интересно мнение тех, кто уже запускает локальные модели дома.

Если у кого-то завалялось ненужное железо (проц, память, корпус и т.д.) — тоже отзовитесь, готов забрать.

Планирую постепенно выкладывать весь процесс сборки и запуска. Буду рад, если поддержите лайком или репостом — это очень мотивирует продолжать ❤️

Спасибо, что дочитали! Жду ваших комментариев, очень рассчитываю на вашу экспертизу.

Показать полностью
Отличная работа, все прочитано!

Темы

Политика

Теги

Популярные авторы

Сообщества

18+

Теги

Популярные авторы

Сообщества

Игры

Теги

Популярные авторы

Сообщества

Юмор

Теги

Популярные авторы

Сообщества

Отношения

Теги

Популярные авторы

Сообщества

Здоровье

Теги

Популярные авторы

Сообщества

Путешествия

Теги

Популярные авторы

Сообщества

Спорт

Теги

Популярные авторы

Сообщества

Хобби

Теги

Популярные авторы

Сообщества

Сервис

Теги

Популярные авторы

Сообщества

Природа

Теги

Популярные авторы

Сообщества

Бизнес

Теги

Популярные авторы

Сообщества

Транспорт

Теги

Популярные авторы

Сообщества

Общение

Теги

Популярные авторы

Сообщества

Юриспруденция

Теги

Популярные авторы

Сообщества

Наука

Теги

Популярные авторы

Сообщества

IT

Теги

Популярные авторы

Сообщества

Животные

Теги

Популярные авторы

Сообщества

Кино и сериалы

Теги

Популярные авторы

Сообщества

Экономика

Теги

Популярные авторы

Сообщества

Кулинария

Теги

Популярные авторы

Сообщества

История

Теги

Популярные авторы

Сообщества

Недвижимость и ремонт

Теги

Популярные авторы

Сообщества