Чат бот оффлайн. Версия для андроид
Засилье AI не обошло стороной и меня, и среди прочего очень уж мне хотелось что бы мой личный нерво-ассистент жил в моем телефоне, а не только на компе.
Взял я свою любимую модель RWKV-5, ту что о 0.4B немного её пофайнтюнил, убедившись, что для продолжения эксперимента работает вменяемо начал думать как запустить её на андроид. Варианта было ровно два - ggml и onnx. К счастью некие китайцы уже запустили rwkv v4 в виде onnx. Поэтому, вместо дебрей NDK мне пришлось лезть всего-то в дебри onnxruntime. На Java, которую я не очень люблю и не работал с ней уж пару лет.
В итоге завести удалось, пока есть куча проблем, но в целом уже работает как в меру тупой чат бот
Роудмап ака список хотелок:
* Вынесение работы с нервосетями в бэкграунд сервис
* Заметки - написание заметок в приложении, автоматическое тегирование и категоризация. Работа с заметками как с базой знаний (RAG)
* Голосовые заметки (все то же самое, расшифровка из голоса локально)
* Работа с календарем, как на создание событий, так и на поиск
* Работа с контактами
* Доступ к поисковику - тут вариантов не много, нужен с бесплатным API, а это только уткауткаиди
* Не убиться об стену пиля все это под Андроид
Планы по нервосетям:
* Дообучить rwkv на вызов функций
* Прикрутить whisper или аналогичную сеть
* Прикрутить какой-нибудь маленький bert для эмбеддингов на русском и английском