NeonRoute
Моя цель была сделать своего личного ассистента, который будет помогать в повседневных задачах, даже при перебоях с интернетом, и при этом обеспечивать полную автономность без захода в сеть, способного рисовать картинки и подсказать по документам, сделать простенькую программу и развивать её вместе со мной. РП чат я внес опционально, но со временем он перерос в отдельный режим.
NeonRoute — это личный ИИ-комбайн «всё в одном» на вашем компьютере. Он объединяет текстового помощника, генератор картинок, ролевые игры и программиста-помощника в одном красивом окне — бесплатно, без подписок, с полной приватностью (ваши переписки и файлы не уходят на чужие сервера).
По сути в нем я решил следующую проблему:
На компьютерах с 8 ГБ видеопамяти нельзя одновременно общаться с умной моделью генерации и рисовать качественные картинки — компьютер либо зависает, либо начинает работать в 10–20 раз медленнее. NeonRoute сам работает как регулировщик: когда вы просите картинку, он аккуратно освобождает место на видеокарте, рисует её, а потом возвращает текстового помощника обратно.
Я постарался оптимизировать комбаин не в 8ГБ, а под любую видеокарту.
Важная оговорка: оптимизация, это не значит, что вы текстовую модель (или модель генерации изображений) на 20 ГБ сможете засунуть на видеокарту с 5 ГБ ВРАМ, Оптимизация занимается тем, чтобы качественно выставлять параметры настроек под видеокарту. (Например у вас 4 ГБ ВРАМ и 32 РАМ и вы хотите использовать модель уровня 12B, весом 9 ГБ. Оркестратор разделит через LM сервер слои таким образом, чтобы и видеокарта была забита и часть слоёв было переброшена на CPU, а когда вы ещё подключите SDFroge скажет какие чекпоинты лучше будут работать на вашем железе).
К ассистенту прикрутил векторную память межчатовую, а также векторный поиск, чтобы она могла анализировать документы.
Буду иногда рассказывать о ходе разработки и что получается, а что нет. Спасибо, что прочитали.
Скриншот из приложения:
Скачать можно на 4pda, https://4pda.to/forum/index.php?showtopic=1129680
P.S. Перед скачиванием обязательно прочитайте дисклеймер, чтобы не превышать свои ожидания.


Лига программистов
2.4K постов12K подписчиков
Правила сообщества
- Будьте взаимовежливы, аргументируйте критику
- Приветствуются любые посты по тематике программирования
- Если ваш пост содержит ссылки на внешние ресурсы - он должен быть самодостаточным. Вариации на тему "далее читайте в моей телеге" будут удаляться из сообщества