1

NeonRoute⁠⁠

Моя цель была сделать своего личного ассистента, который будет помогать в повседневных задачах, даже при перебоях с интернетом, и при этом обеспечивать полную автономность без захода в сеть, способного рисовать картинки и подсказать по документам, сделать простенькую программу и развивать её вместе со мной. РП чат я внес опционально, но со временем он перерос в отдельный режим.

NeonRoute — это личный ИИ-комбайн «всё в одном» на вашем компьютере. Он объединяет текстового помощника, генератор картинок, ролевые игры и программиста-помощника в одном красивом окне — бесплатно, без подписок, с полной приватностью (ваши переписки и файлы не уходят на чужие сервера).

По сути в нем я решил следующую проблему:

На компьютерах с 8 ГБ видеопамяти нельзя одновременно общаться с умной моделью генерации и рисовать качественные картинки — компьютер либо зависает, либо начинает работать в 10–20 раз медленнее. NeonRoute сам работает как регулировщик: когда вы просите картинку, он аккуратно освобождает место на видеокарте, рисует её, а потом возвращает текстового помощника обратно.

Я постарался оптимизировать комбаин не в 8ГБ, а под любую видеокарту.

Важная оговорка: оптимизация, это не значит, что вы текстовую модель (или модель генерации изображений) на 20 ГБ сможете засунуть на видеокарту с 5 ГБ ВРАМ, Оптимизация занимается тем, чтобы качественно выставлять параметры настроек под видеокарту. (Например у вас 4 ГБ ВРАМ и 32 РАМ и вы хотите использовать модель уровня 12B, весом 9 ГБ. Оркестратор разделит через LM сервер слои таким образом, чтобы и видеокарта была забита и часть слоёв было переброшена на CPU, а когда вы ещё подключите SDFroge скажет какие чекпоинты лучше будут работать на вашем железе).

К ассистенту прикрутил векторную память межчатовую, а также векторный поиск, чтобы она могла анализировать документы.
Буду иногда рассказывать о ходе разработки и что получается, а что нет. Спасибо, что прочитали.

Скриншот из приложения:

Это скриншот из чата ассистент.

Это скриншот из чата ассистент.

Скачать можно на 4pda, https://4pda.to/forum/index.php?showtopic=1129680

P.S. Перед скачиванием обязательно прочитайте дисклеймер, чтобы не превышать свои ожидания.

Лига программистов

2.4K постов12K подписчиков

Правила сообщества

- Будьте взаимовежливы, аргументируйте критику

- Приветствуются любые посты по тематике программирования

- Если ваш пост содержит ссылки на внешние ресурсы - он должен быть самодостаточным. Вариации на тему "далее читайте в моей телеге" будут удаляться из сообщества

Автор поста оценил этот комментарий

Чёт как-то вот так при попытке скачать:

Иллюстрация к комментарию
раскрыть ветку

Темы

Политика

Теги

Популярные авторы

Сообщества

18+

Теги

Популярные авторы

Сообщества

Игры

Теги

Популярные авторы

Сообщества

Юмор

Теги

Популярные авторы

Сообщества

Отношения

Теги

Популярные авторы

Сообщества

Здоровье

Теги

Популярные авторы

Сообщества

Путешествия

Теги

Популярные авторы

Сообщества

Спорт

Теги

Популярные авторы

Сообщества

Хобби

Теги

Популярные авторы

Сообщества

Сервис

Теги

Популярные авторы

Сообщества

Природа

Теги

Популярные авторы

Сообщества

Бизнес

Теги

Популярные авторы

Сообщества

Транспорт

Теги

Популярные авторы

Сообщества

Общение

Теги

Популярные авторы

Сообщества

Юриспруденция

Теги

Популярные авторы

Сообщества

Наука

Теги

Популярные авторы

Сообщества

IT

Теги

Популярные авторы

Сообщества

Животные

Теги

Популярные авторы

Сообщества

Кино и сериалы

Теги

Популярные авторы

Сообщества

Экономика

Теги

Популярные авторы

Сообщества

Кулинария

Теги

Популярные авторы

Сообщества

История

Теги

Популярные авторы

Сообщества

Недвижимость и ремонт

Теги

Популярные авторы

Сообщества