Серия «NeonRoute»

2

Как я учил локальную нейросеть рисовать по обычному русскому запросу без шаманства с промптами (модуль «Арт-директор» в NeonRoute)⁠⁠

Серия NeonRoute

Всем привет! Продолжаю рассказывать про разработку своего локального ИИ-комбайна NeonRoute. Сегодня хочу показать одну из самых любимых моих фич — встроенного «Арт-директора».

Когда начинаешь пользоваться локальной генерацией картинок (через тот же SD WebUI Forge), быстро упираешься в одну проблему: чтобы получить что-то внятное, недостаточно просто написать «нарисуй киберпанк-улицу под дождём». Приходится лезть в справочники тегов, переводить всё на английский, вспоминать правильные сэмплеры, дописывать километровый негативный промпт, чтобы у персонажа не выросло по шесть пальцев на руке, а потом ещё и вручную переключать чекпоинты: один под аниме, другой под реализм, третий под широкий кадр.

Мне хотелось от этого уйти. Чтобы можно было просто общаться с ассистентом или сидеть в ролевом чате и сказать по-русски: «Нарисуй это» или «Сделай то же самое, но ночью и в полный рост» — а всю техническую кухню программа брала на себя.

Вот как это в итоге устроено в NeonRoute:

  • Перевод идеи на язык генератора. Вы пишете запрос обычным человеческим языком на русском, а текстовая модель сама разворачивает его в структурированный английский промпт с нужными деталями, светом и композицией.

  • Умный выбор модели по триггерам. В настройках под каждый чекпоинт можно прописать свои ключевые слова-триггеры (например, под фэнтези — одну модель, под фантастику или аниме — другую). Дальше работает векторный поиск: перед ответом он подтягивает подходящий чекпоинт под контекст запроса. Если стоит режим «Арт-директор (авто)», программа сама переключает модель на лету без перезапуска Forge. А если хочется рисовать конкретным чекпоинтом — можно выбрать его вручную в один клик.

  • Понимает отрицания и правки в диалоге. Если написать «без очков» или «убери оружие», «Арт-директор» не впишет слово glasses в основной запрос (из-за чего нейросети как раз и рисуют очки), а аккуратно отправит это в негативный промпт. И так же в диалоге можно докручивать уже готовую картинку — менять время суток, ракурс или детали, не переписывая весь запрос с нуля.

  • Автоматическая страховка от «кривых» рук и лиц. Программа сама подхватывает ADetailer для правки лиц и кистей рук, а для SD 1.5 при необходимости подключает нужные детализирующие LoRA.

  • Связка с ролевым чатом. В РП-режиме «Арт-директор» смотрит не только на последнюю фразу, но и на текущую сцену: локацию, одежду персонажей, инвентарь и эмоциональный фон — поэтому кнопка «Арт сцены» рисует картинку ровно по тому, что сейчас происходит по сюжету.

По сути, для меня это стало главным отличием между «игрушкой, где надо полчаса настраивать ползунки ради одного кадра» и нормальным повседневным помощником, который понимает тебя с полуслова.

Проект по-прежнему делаю в формате открытой беты (при активной помощи нейросетей Google Antigravity и Gemini). Актуальную версию, инструкции и готовые наборы моделей под разное железо (от 2 до 8+ ГБ VRAM) можно посмотреть в моей теме на 4PDA (NeonRoute - локальный оркестратор). Перед скачиванием обязательно гляньте дисклеймер, чтобы не завышать ожидания от локальных моделей.

Простой запрос: Нарисуй фентези война

Простой запрос: Нарисуй фентези война

Простой запрос: Нарисуй девушку на скалистом берегу

Простой запрос: Нарисуй девушку на скалистом берегу

А как вы обычно генерируете картинки локально — любите вручную выстраивать сложные пайплайны и веса тегов или тоже предпочитаете, чтобы рутину брал на себя ИИ?

Показать полностью 2
1

NeonRoute⁠⁠

Серия NeonRoute

Моя цель была сделать своего личного ассистента, который будет помогать в повседневных задачах, даже при перебоях с интернетом, и при этом обеспечивать полную автономность без захода в сеть, способного рисовать картинки и подсказать по документам, сделать простенькую программу и развивать её вместе со мной. РП чат я внес опционально, но со временем он перерос в отдельный режим.

NeonRoute — это личный ИИ-комбайн «всё в одном» на вашем компьютере. Он объединяет текстового помощника, генератор картинок, ролевые игры и программиста-помощника в одном красивом окне — бесплатно, без подписок, с полной приватностью (ваши переписки и файлы не уходят на чужие сервера).

По сути в нем я решил следующую проблему:

На компьютерах с 8 ГБ видеопамяти нельзя одновременно общаться с умной моделью генерации и рисовать качественные картинки — компьютер либо зависает, либо начинает работать в 10–20 раз медленнее. NeonRoute сам работает как регулировщик: когда вы просите картинку, он аккуратно освобождает место на видеокарте, рисует её, а потом возвращает текстового помощника обратно.

Я постарался оптимизировать комбаин не в 8ГБ, а под любую видеокарту.

Важная оговорка: оптимизация, это не значит, что вы текстовую модель (или модель генерации изображений) на 20 ГБ сможете засунуть на видеокарту с 5 ГБ ВРАМ, Оптимизация занимается тем, чтобы качественно выставлять параметры настроек под видеокарту. (Например у вас 4 ГБ ВРАМ и 32 РАМ и вы хотите использовать модель уровня 12B, весом 9 ГБ. Оркестратор разделит через LM сервер слои таким образом, чтобы и видеокарта была забита и часть слоёв было переброшена на CPU, а когда вы ещё подключите SDFroge скажет какие чекпоинты лучше будут работать на вашем железе).

К ассистенту прикрутил векторную память межчатовую, а также векторный поиск, чтобы она могла анализировать документы.
Буду иногда рассказывать о ходе разработки и что получается, а что нет. Спасибо, что прочитали.

Скриншот из приложения:

Это скриншот из чата ассистент.

Это скриншот из чата ассистент.

Скачать можно на 4pda, https://4pda.to/forum/index.php?showtopic=1129680

P.S. Перед скачиванием обязательно прочитайте дисклеймер, чтобы не превышать свои ожидания.

Показать полностью 1
Отличная работа, все прочитано!

Темы

Политика

Теги

Популярные авторы

Сообщества

18+

Теги

Популярные авторы

Сообщества

Игры

Теги

Популярные авторы

Сообщества

Юмор

Теги

Популярные авторы

Сообщества

Отношения

Теги

Популярные авторы

Сообщества

Здоровье

Теги

Популярные авторы

Сообщества

Путешествия

Теги

Популярные авторы

Сообщества

Спорт

Теги

Популярные авторы

Сообщества

Хобби

Теги

Популярные авторы

Сообщества

Сервис

Теги

Популярные авторы

Сообщества

Природа

Теги

Популярные авторы

Сообщества

Бизнес

Теги

Популярные авторы

Сообщества

Транспорт

Теги

Популярные авторы

Сообщества

Общение

Теги

Популярные авторы

Сообщества

Юриспруденция

Теги

Популярные авторы

Сообщества

Наука

Теги

Популярные авторы

Сообщества

IT

Теги

Популярные авторы

Сообщества

Животные

Теги

Популярные авторы

Сообщества

Кино и сериалы

Теги

Популярные авторы

Сообщества

Экономика

Теги

Популярные авторы

Сообщества

Кулинария

Теги

Популярные авторы

Сообщества

История

Теги

Популярные авторы

Сообщества

Недвижимость и ремонт

Теги

Популярные авторы

Сообщества