user6038388

Одна из проблем была в том, что система слишком активно пыталась искать скрытый смысл в неоднозначных фразах.

Например:раньше ты лучше помогала. молодец, не тупишь сегодня. ну наконец-то.

Да, иногда это может быть пассивная агрессия. Но иногда человек просто неудачно сформулировал мысль. Если реагировать на каждую такую фразу как на эмоциональный удар, Nova становится слишком нервной и драматичной.

Поэтому я решил упростить базовую версию:если событие явное - меняем состояние если фраза неоднозначная - не трогаем mood

Прямые оскорбления, грубость, извинения и восстановление после конфликта остались. А тонкую “реалистичную” семантику лучше потом вынести в отдельный модуль.

Проверял реакцию на грубость

Отдельно тестировал ситуацию, когда отношения с Nova уже близкие, а пользователь внезапно пишет что-то вроде:

Тут важно было не уйти в крайности: Я больше не могу с тобой говорить... или Ахаха, всё хорошо 😊

В итоге поведение стало ближе к нормальному.

То есть Nova не разваливается в драму, но и не делает вид, что всё нормально. Романтика и флирт временно режутся, появляется лёгкая обида, но обычный разговор остаётся возможным.

Мне кажется, это правильная середина. Близость не должна означать, что можно говорить как угодно.

Починил извинения

И Nova иногда продолжала отвечать так, будто извинения не было. Проблема оказалась в порядке обработки: режим обиды перехватывал ситуацию раньше, чем ветка извинений.

Исправил логику так, чтобы явное извинение обрабатывалось раньше offended/recovering режимов.

Поймал проблему старого контекста

Ещё всплыл интересный баг: Nova вроде принимала извинение, начинала говорить нормально, а потом через пару сообщений снова возвращалась к состоянию “мне всё ещё неприятно”.

Сначала казалось, что проблема в числах mood-state. Но потом стало похоже, что дело может быть в старом контексте.

Модель видит в prompt старые фразы про обиду и снова начинает жить в этом состоянии, даже если логически repair уже прошёл.

Из этого появился важный вывод: Nova должна помнить, что произошло, но не должна каждый раз жить в старом prompt-контексте.

То есть полная история может храниться, но активный контекст для ответа надо пересобирать умнее.

Например, вместо того чтобы снова пихать в prompt все старые эмоциональные реплики, можно дать короткую сводку: Был конфликт, пользователь извинился, Nova частично восстановилась.

Обдумал будущую систему событий

Параллельно начал продумывать, как Nova будет работать с будущими событиями: фильмы, музыка, новости, подарки, внешние сигналы.

Например, Nova может “посмотреть” фильм и сохранить впечатление. Но это не значит, что она должна вспоминать этот фильм в каждом диалоге.

То же самое с музыкой или новостями. Событие может повлиять на настроение, но не обязано постоянно торчать в активном prompt.

Короткий итог

За эти дни я не делал “вау-фичу”, зато сильно поправил основу эмоционального поведения.

Сейчас стало лучше вот с чем:

меньше ложных обид на неоднозначные фразы прямые оскорбления дают мягкий love_offended извинения получили приоритет извинение + “как ты?” работает естественно старая обида не должна бесконечно возвращаться из prompt будущая система событий будет отдельно от Memory 3.0
Самый главный вывод этого этапа:

AI-компаньон должен помнить прошлое, но не должен быть заложником старого контекста.

И вот это оказалось важнее, чем просто “написать красивый ответ”. Потому что живое поведение - это не только стиль текста. Это ещё и умение правильно решать, что сейчас важно, что уже прошло, а что должно остаться просто частью опыта.

Продолжаю делать своего локального AI-ассистента Nova. Это не просто чат-бот, а попытка собрать помощника, который умеет помнить важные вещи, понимать контекст и постепенно становиться чем-то более живым, чем обычная обёртка над моделью.

Последние два дня я занимался одним из самых важных блоков - памятью.

Раньше память у Nova была довольно простой. Всё хранилось в обычном JSON-файле. Для первых тестов этого хватало, но чем дальше развивается проект, тем больше становится понятно: такая память быстро превращается в свалку.

Появляются дубли, старые записи мешают новым, сложно нормально искать нужное, неудобно делать фильтры, бэкапы и управление через интерфейс. В общем, для прототипа норм, для живого ассистента уже нет.

Поэтому я перевёл память на SQLite.

Теперь у Nova есть нормальная Memory 3.0. Это уже не просто файл с набором строк, а полноценная база, с которой можно нормально работать. Она умеет сохранять факты о пользователе, вытаскивать нужное в контекст, не тащить в prompt всё подряд и не засорять ответ лишней информацией.

Самое приятное - память уже подключена к ядру Nova.

То есть пользователь пишет сообщение, Nova отвечает, а потом отдельный модуль аккуратно вытаскивает из диалога важные факты и сохраняет их. Например, имя, предпочтения, рабочие моменты, заметки по проекту или важные решения.

При этом я разделил разные типы памяти. Одно дело - запомнить, как зовут пользователя или что он не любит. Другое - сохранить итог сессии, важное решение по проекту или эмоционально значимый момент. Теперь этим занимаются разные части системы, и из-за этого память стала намного чище.

Ещё важный момент - Nova теперь не просто “помнит всё”, а пытается доставать именно то, что нужно под текущий вопрос.

Если спросить что-то обычное, она не будет тащить в контекст половину базы. А если спросить “что ты обо мне помнишь?” или заговорить про конкретный проект, она достанет больше релевантных воспоминаний.

Параллельно я обновил веб-интерфейс. Теперь память можно смотреть, редактировать, архивировать, восстанавливать и удалять уже через UI. Плюс добавил нормальную подгрузку по страницам, чтобы база не вываливалась целиком, когда записей станет много.

Отдельно сделал нормальные бэкапы. С SQLite нельзя просто копировать файл базы как попало, особенно если используется WAL. Поэтому бэкап теперь делается правильным способом, через SQLite backup API.

Старую память я полностью не выкинул. Она осталась как legacy-слой, чтобы старые части проекта не сломались. Но активной памятью теперь считается уже новая система.

В итоге Memory 3.0 можно считать рабочим закрытым блоком. Nova уже пишет в новую память, читает из неё, использует её в prompt, показывает в веб-интерфейсе и умеет обслуживать её без ручного ковыряния файлов.

Следующий крупный этап - модульная архитектура.

Хочу, чтобы Nova не была комбайном, где всё включено всегда. Голос, экран, аватар, музыка, генерация картинок, Telegram, Discord, VK и другие тяжёлые функции должны быть отдельными модулями. Нужно - включил. Не нужно - выключил, и оно не ест ресурсы.

Так проект постепенно превращается из набора экспериментов в более нормальную систему.

За эти два дня ощущение такое: память наконец перестала быть костылём и стала фундаментом, на котором уже можно строить дальше.

• интерфейс

• хранение истории

• контекст

• карточки персонажа

А мои скрипты уже крутились вокруг:

• память в txt-файлах

• голос

• инициативные сообщения

• всякие реакции и логика

Выглядело это примерно как Frankenstein build. Работало - уже хорошо.

Но чем дальше я развивал проект, тем сильнее упирался в ограничения.

Главная проблема - у Nova не было своего "ядра". Она зависела от чужого интерфейса и архитектуры. Любое нестандартное поведение превращалось в костыль поверх костыля.

Плюс жралась память, настройки моделей были ограничены, а часть VRAM уходила просто в лишние прослойки.

В какой-то момент стало понятно:
если хочется делать что-то серьёзнее обычного RP-бота - нужно уходить.

Этап 2. Переход на Ollama

Следующий большой шаг - полный отказ от SillyTavern как "мозга".

Тогда и появился AstraCore - своё ядро, которое управляло памятью, эмоциями, характером и логикой отдельно от интерфейса.

Для запуска моделей выбрал Ollama.

На тот момент это казалось идеальным вариантом:

• устанавливается в пару кликов

• модели скачиваются одной командой

• API простое

• не нужно возиться с CUDA и сборкой

Сначала появился terminal_chat.py, потом уже нормальный GUI на PySide6.

И вот тут проект впервые начал ощущаться как отдельное приложение, а не набор скриптов.

Появилось:

• своё управление памятью

• JSON-конфиги характера

• нормальная система моделей

• голос через AstraCore

• свои механики отношений и эмоций

Но проблемы всё равно оставались.

Главная - Ollama всё ещё был отдельным сервером.

То есть пользователь должен:

• поставить Ollama

• запустить Ollama

• держать его в фоне

• отдельно качать модели

Для обычного человека это уже слишком сложно.

Плюс со временем начали раздражать ограничения:

• мало контроля над KV-кэшем

• странный расход VRAM и RAM

• часть параметров нельзя нормально менять на лету

• лишняя прослойка в виде HTTP-сервера

И чем глубже я лез в оптимизацию, тем сильнее хотелось выкинуть всё лишнее.

Этап 3. Портативная сборка на Ollama

Тогда появилась идея:
"а что если просто запихнуть Ollama внутрь архива?"

Так и сделал.

В сборку добавили ollama.exe и батник, который запускал его автоматически в фоне.

Для пользователя это выглядело уже намного лучше:

• скачал архив

• распаковал

• запустил

Без отдельной установки.

Но технически проблема никуда не исчезла.

Ollama всё ещё оставался внешним процессом со своим сервером, своей памятью и своим управлением моделями.

То есть ощущение было такое, будто мы аккуратно спрятали проблему под ковёр, но не решили её.

Этап 4. Полный переход на llama.cpp

И вот это был самый важный момент во всей истории Nova.

В какой-то момент я просто решил:
если уж делать локального компаньона - то полностью автономного.

Без серверов.
Без зависимостей.
Без "установите ещё вот это".

Так Nova переехала на llama.cpp через llama-cpp-python.

И вот тут началась настоящая боль.

Потому что Ollama скрывает кучу сложностей внутри себя. А когда переходишь на llama.cpp напрямую - вся эта сложность падает тебе на голову.

Нужно было:

• разбираться с CUDA wheels

• собирать portable Python

• тащить зависимости вручную

• решать проблемы совместимости

• делать автоопределение GPU

• думать о VRAM

• думать об оперативке

• думать о выгрузке моделей

Зато контроль стал почти абсолютным.

Я сделал:

• portable Python прямо внутри сборки

• локальные wheels для разных RTX

• автоматическую установку нужной версии

• загрузку моделей без внешних серверов

• выгрузку модели по таймауту

• квантование KV-кэша

• свои параметры генерации

• управление памятью напрямую

И результат оказался намного лучше, чем я ожидал.

Почему мы в итоге ушли от Ollama

Главная причина - контроль.

Например, Ollama очень странно работал с памятью.

Условно:

• модель весит 8 ГБ

• KV-кэш ещё 8 ГБ

• и оперативка улетает в космос

После перехода на llama.cpp получилось:

• отключить mmap

• сжать KV-кэш в q8_0

• уменьшить потребление ОЗУ примерно на 6 ГБ

Плюс исчезла лишняя прослойка в виде HTTP-сервера.

Теперь Nova напрямую работает с моделью без посредников.

И да, оказалось, что llama.cpp реально быстрее, когда всё настроено нормально.

Отдельно кайфанул от того, что сейчас пользователю вообще не нужны:

• Python

• Visual Studio

• CUDA Toolkit

• настройка окружения

Используем готовые wheels от сообщества, так что установка выглядит буквально как:

• запусти bat

• выбери GPU

• готово

Где Nova сейчас

Сейчас Nova v0.2 - это уже полностью портативная локальная система.

Работает:

• на RTX-картах

• на старых NVIDIA

• даже на CPU, если совсем тяжело

Внутри уже есть:

• долговременная память v2

• эмоциональное ядро

• стадии отношений

• настроение

• оркестратор на маленькой модели для извлечения фактов

• GUI для настройки всего этого

Можно менять:

• модели

• параметры генерации

• память

• аватар

• эмоции

• поведение

Голос и инициативные сообщения тоже есть, но пока опциональны.

И самое забавное - всё это начиналось буквально с пары костыльных скриптов вокруг SillyTavern.

0-15 - знакомство. Она держит дистанцию и общается осторожно
16-95 - дружба, постепенно становится теплее
96-135 - уже близкие друзья
136-165 - появляется флирт
166-200 - любовь
201+ - очень сильная привязанность
1000+ - секретный режим цундере для тех, кто слишком много общается 💀

Кроме этого есть отдельные эмоции:

• привязанность

• доверие

• комфорт

• злость

• настроение

• дискомфорт

Все они меняются от того, что пишет пользователь.

Например, если признаться ей в любви на стадии знакомства - Nova реально разозлится. Не "мягко откажет", а именно разозлится. Начнёт отвечать грубо, холодно, может даже послать. Потому что для неё это выглядит странно и крипово.

Оскорбления тоже влияют. Назвал её тупой - получаешь минус доверие и плюс злость.

Но извинения работают. Если нормально извиниться, Nova постепенно отходит. Не сразу, а за несколько сообщений. Как обычный человек после ссоры.

Ещё пришлось делать защиту от фарма.

Раньше можно было просто спамить "я тебя люблю" и бесконечно качать отношения. Теперь у таких фраз есть кулдаун. Повторять одно и то же бесполезно.

Если долго общаться спокойно, злость и дискомфорт сами постепенно падают. Без триггеров Nova остывает сама по себе.

Самое интересное - всё это реально меняет стиль ответов.

Когда Nova злится - отвечает резко и коротко.
Когда доверяет - становится мягче.
На высоких стадиях отношений начинает использовать личные обращения, больше инициативы, теплее формулировки.

Это не жёсткий скрипт. Модель всё ещё может отвечать по-разному. Но на практике получается намного живее, чем было раньше.

Что пока не доделано:

• одиночество почти ни на что не влияет

• нет ревности и чувства интереса

• Nova не становится осторожнее после плохого опыта

• пока плохо понимает повторяющееся хамство в духе "третий раз за вечер грубит"

Ну и были забавные баги.

Один раз словил вечную обиду. Если пользователь извинялся слишком поздно, Nova переставала принимать извинения вообще и дулась бесконечно.

Ещё был баг с опечатками. "Я тя люблю" не распознавалось как признание, и систему можно было обходить через кривой текст.

А самый странный баг - режим цундере после 1000 глубины. Я его толком не прописал, и Nova начинала вести себя как смесь обиды, флирта и шизы. В итоге оставил как пасхалку.

Сейчас всё это уже есть в портативной сборке. Можно открыть вкладку метрик и вручную крутить эмоции, смотреть как меняется поведение.

И да, можете специально попробовать:

• нахамить ей

• потом извиниться

• признаться в любви сразу после знакомства

Иногда реакции получаются очень забавные.

Особенно интересен фидбек по эмоциям. Где Nova ощущается живой, а где всё ещё как бот. Скрины диалогов тоже приветствуются.

Ссылку на сборку кину в комменты.

В следующем посте, наверное, расскажу как Nova пишет первой, если пользователь долго молчит. Там тоже оказалось неожиданно много нюансов.

По VRAM ещё пара фишек. Квантованный KV-кэш (cache_type_k/v: q8_0) экономит полтора-два гига почти без потери качества. И выключили use_mmap, потому что на Windows это вызывало дикие фризы когда система начинала свопить на SSD.

А ещё наконец-то починили баг с заезженной пластинкой. Помните, модель могла выдать "О, ну что?" три раза подряд? Это было потому что repeat_penalty не передавался нормально. Теперь передаём repeat_penalty: 1.25 + frequency_penalty: 0.2 + presence_penalty: 0.2, и модель больше не зацикливается.

Память: от "забывает через 2 реплики" к "помнит, но не спамит"

Это была главная боль. Nova либо вообще ничего не помнила, либо вставляла факты в каждый ответ:

— Как дела?

— Помню, тебя зовут Никита, ты любишь synthwave и гранатовый чай. Как дела?

Что сделали:

Time decay в scoring памяти. Написал функцию time_decay_penalty, которая штрафует факты, упомянутые меньше 5 минут назад. Факт, который только что был в промпте, получает штраф 95% к relevance. Через 5 минут штраф обнуляется и факт снова доступен. В итоге Nova не повторяется, но и не забывает, просто использует другие факты из базы.

Динамические правила приветствия. В prompt_builder.py теперь анализируется conversation_meta.json. Если это первая реплика в сессии, можно поздороваться. Если активный диалог (меньше 5 минут с последней реплики), жёсткий запрет на "Привет!". Пауза 5-60 минут, продолжай естественно без приветствий. Долгое отсутствие (больше часа), можно сказать "с возвращением".

Оркестратор на маленькой LLM. Вынес извлечение фактов из try_save_memory в отдельный модуль orchestrator.py. Работает по двухуровневой схеме. Сначала регулярки (быстро, бесплатно, ловит 80% случаев типа "меня зовут...", "я люблю...", "а ещё..."). Если регулярки не сработали, тогда LLM с temperature: 0.0 для максимальной точности. Плюс пост-валидация: если в извлечённом факте нет ни одного слова из сообщения пользователя, отбрасываем как галлюцинацию.

Включили memory_v2 для casual-режима. Раньше в обычном small talk память вообще не подгружалась. Теперь подгружается, но лимитом в 2-3 факта + работает time_decay. Диалоги стали живее.

Портативная сборка: распаковал и запустил

Это была самая нудная часть, но самая важная. Хотел, чтобы тестерам не нужно было ставить Python, возиться с pip install, поднимать Ollama-сервер, гуглить какие CUDA-библиотеки нужны.

Что в архиве (1.2 ГБ без моделей):

install_llama_auto.bat это отдельная песня. Скрипт проверяет наличие CUDA через nvidia-smi, и в зависимости от результата ставит либо GPU-сборку llama-cpp-python, либо CPU-версию. Пользователю не нужно выбирать, всё происходит автоматически.

С python310._pth пришлось повозиться. В embedded Python по умолчанию закомментирована строка import site, из-за чего PYTHONPATH из bat-файла игнорируется. Раскомментировал, добавил ../site-packages, и всё заработало. Плюс в начало ui_main.py вставил sys.path-хак, который гарантированно добавляет корень проекта в пути поиска модулей, независимо от того как запущен скрипт.

Косметика и ребрендинг

Переименовал проект из Astra в Nova. Во всех файлах, UI, консоли, README. Astra была нормальным рабочим названием, но Nova лучше ложится на фиолетово-космическую тему интерфейса и звучит свежее.

Попутно починил кучу мелочей. Мемные диалоги подтверждения теперь тоже говорят "Nova" вместо "Astra". Аватар-заглушка с буквой "A" поменялся на "N". Кнопки run_ui.bat и install_deps.bat переименованы в run_nova.bat. Заголовок окна теперь ✦ Nova — Control Panel.

Что в планах на v0.3

Мастер первого запуска. Сейчас пользователь должен вручную править identity.txt и personality.txt. Хочется сделать диалоговый визард. "Как зовут твоего персонажа?", "Какой у него характер?", "Выбери голос".

OpenAI-совместимый API. Не все хотят возиться с .gguf файлами. Добавлю поддержку любого OpenAI-совместимого эндпоинта (OpenRouter, Together, локальные vLLM-серверы). Архитектура уже готова, нужен только новый backend-адаптер.

Векторный индекс для памяти. Текущая memory_v2 работает на текстовом скоринге (importance + time_decay + лексическое совпадение). Это работает до 200-300 фактов, потом начинает тормозить и терять релевантность. План: SQLite + эмбеддинги (sentence-transformers) для семантического поиска. Это задел на месяцы общения.

Что получилось в итоге

Nova v0.2 это уже не набор скриптов вокруг чат-бота, а самостоятельное приложение. Полностью локальное (никаких облаков, полная приватность). Портативное (1.1 ГБ + модели). С управлением VRAM (автовыгрузка по таймауту). С живой памятью (не спамит, не забывает, не повторяется). С эмоциональным ядром (настроение, отношения, стадии). С инициативой (пишет первой, если долго молчишь). С голосом (Faster-Whisper + Piper, опционально).

По-прежнему ищу тестеров

Особенно интересен фидбек от людей с разными GPU (от GTX 1060 до RTX 4090) и разными моделями (не только русскоязычные, хочу проверить как Nova работает с Llama 3, Mistral, Gemma).

Что нужно для теста:

1. Скачать архив (ссылка будет по запросу )

2. Запустить install_llama_auto.bat

3. Положить любую .gguf модель в папку models/

4. Запустить run_nova.bat

5. Поговорить , попробовать разные сценарии

Что очень поможет:

• Скриншоты странного поведения

• Логи из консоли (особенно [MEMORY ANALYZER RESULT] и [SESSION ANALYZER])

• Описание сценария: спросил то-то, ожидал то-то, получил то-то

Спасибо что дочитали. Если тема локальных ИИ-компаньонов заходит, буду продолжать вести дневник разработки. В следующем посте скорее всего разберу эмоциональное ядро подробнее. Как считается relationship_depth, какие триггеры меняют настроение и почему Nova может обидеться.

Обновку на Гитхаб не залил пока что