«Сделал ИИ-редактор, который не сливает текст в облако. ИИ помогал, я страдал»
Привет, Пикабу!
Сделал программу. Ну как сделал — писал не сам, писал с ИИ. В смысле, я формулировал задачу, ИИ генерил код, а я потом героически исправлял его ошибки. Неделю чинил баги, половину которых создал уже я сам, пытаясь починить то, что натворил ИИ. Зацените.
Что это вообще такое
Приватный ИИ-редактор текста. Работает прямо в браузере, ничего никуда не отправляет. То есть ваш текст не улетает в облако к доброму дяде Сэму, а обрабатывается локально. Звучит как заговор, но на самом деле просто мне лень регистрироваться в очередном сервисе.
Что умеет
Сокращать, перефразировать, анонимизировать, исправлять грамматику, менять тон с "делового" на "дружелюбный" и обратно. Можно перевести на пару языков — русский, английский, немецкий, французский... есть даже японский, если вдруг решите написать хокку про свой проект.
Как работает
Есть два режима:
Через LM Studio — это если у вас уже стоит локальный ИИ. Подключаете, проверяете, работает. Кнопка "Проверить" периодически врёт, что всё хорошо, даже когда на самом деле нет — но это же нюансы.
Прямо в браузере — через WebGPU. Скачиваете модель (от 350 мегабайт до 7 гигабайт, не благодарите), и она работает прямо на вашей видеокарте. Если видеокарты нет или она расстроена — переключается на процессор. Это как ехать на велосипеде с квадратными колёсами, но едет же.
Фишки
— Анонимизация: заменяет имена, телефоны, адреса на [ИМЯ], [ТЕЛЕФОН] и прочее. Удобно, когда надо отправить начальнику письмо "как есть", но не хочется сдавать коллег.
— История на 20 операций, хранится локально. Можно забыть, что вы там делали, и порыться.
— Сравнение до/после — показывает, как модель переврала ваш текст. Дифф как в гите, только вместо кода — ваши гениальные мысли.
— Пресеты для своих промптов. Можно сохранить "сделай текст умнее" и тыкать.
Подводные камни
Если открыть через file:// — часть функций не заработает. Нужен локальный сервер. Я полтора часа пытался понять, почему не качает, пока не прочитал собственный же тултип. Разработчик уровня "сделал и забыл".
Модель на WebGPU грузится пару минут при первом запуске. Потом браузер кеширует, и всё шустро. Первое впечатление как у дизельного генератора: тарахтит, но потом работает.
Зачем
Потому что я параноик и не хочу, чтобы мой текст про мои мысли о смысле жизни после третьей "чашки кофе" улетал в дата-центр. А если серьёзно — просто хотелось потыкать локальные модели. Получилось.
Потестить можно тут: ссылки в шапке профиля (Boosty/Dalink/GitHub). Звёздочек на гитхабе не прошу — код не идеален, но работает. Иногда даже так, как задумано.
Вопросы в комментах, конструктив и лучи поноса от перфекционистов приветствуются.