ИИ на персональном компутере с минимум vram (или даже без видеокарты)
Приветствую всех доброящеров!
Долгия годы даже не трогал ИИ. Думал, что всё это сложно, шо писец в забайкалье.
Читал статьи/смотрел ролики и там, ска, "умные люди" очень "умно" про всё это писали/говорили.
Становилось просто страшно за свой не окрепший и тронутый алкоголем мосх!
Что имеем в итоге:
1. Та мля у вас аще может и не быть видюхи или ппц какая допотопная.
Оно может работать и на обычном процессоре с обычной памятью.
НО! Тут опять ограничение!
Нужны определённые инструкции процессора.
2. Есть куча моделей влезающих хоть куда (хоть видео память, хоть в аудио)
3. Смотрим параметр 12B, 22B, 1B, 275M - это примерно сколько вам нужно будет памяти в Гигабайтах (B(эээ) на Гигабайт).
Моя система:
Параметры системы
4. Загрузил LM Studio (ну все рекомендую для .... таких, как я). Там уже есть модели на все случаи жизни!
5. Загрузил первым делом Gemmа (от Гугл). Вроде данных у них овердохуя и т.п.
Короче, что 4B, что 12B постоянно прикидывается блондинкой на детских задачах!
"Ой, я ошиблась, но я только учусь! Спасибо, что поправили!"
Mistralai пока норм на тех же запросах!
6. Есть рассуждающие сети (пробовал от Майкрософт). Мляяяяяяяяя, если покурить или выпить, то весело!
"Смотрите, тут берём то то, складываем, затем ... (на страницу) и потом "Ой, не то!" и так 5-10 страниц А4. Любите читать буйню? Тогда к Майкрософт!
Естественно все модели ужаты и прочее!
НО! Что прям поразило - ЭТО ГУГЛ или ЯНДЕКС, но без сети!
Т.е. вся сеть в вашем кармане!
Может пригодится, когда нет интернета!
Всем доброящеров!
З.Ы.: Пост про то, как всё просто, но без инструкций! Всё просто!
