1

Помогите сделать ассистента

Всем привет. Хочу сделать на компе своем что-то типа "Джарвиса". Попробую вкратце объяснить задачи данной приколямбы. По сути это:
1) голосовое управление пк (можно макросные варианты, пока вроде нет такого уровня машиного понимания)
2) возможность перевода текста по скриншоту (для чатов игр различных. Мой инглиш вери бед)
3) спросить какая погода за окном (ну что-то вроде как у алисы) и прочую дичь
4) ответы нейронки озвучиваются приятным голосом.
вероятнее всего это - войсмакрос + надиктовывалка текста связанная как-то (API) с условным дикпиком дипсиком, выдающим ответ на вопрос текстом, а текст зачитывает читалка с приятным голосом (не виндовс войс Ирина). Ну и как-то завязать чтобы выделенное место на экране переводилось тем же дипсиком.
Понимаю что звучит как бред, возможно. Точно знаю что всего в данном посте не учел, но на то это и пост с комментами, чтобы разогнать тему и довести до ума)

В общем, знающие люди, помогите советом пожалуйста. Пробовал от нейронок добиться инструкции. +- какие-то решения выдавались, но по сути языковые модели часто ошибаются, особенно в длинных инструкциях. Не очень я еще доверяю ответам от нейронок, всегда надо их проверять.

Да и в целом, присоединяйсь к теме все, кому может быть интересно. Возможно на Пикабу появится первый русскоязычный гайд, как что-то такое либо подобное сделать. Было бы здорово.

Если не затруднит, поднимите пост вверх пожалуйста. Тег без рейтинга поставил.

1
Автор поста оценил этот комментарий
Ставишь lm studio (или аналог, но эта проще всего), ищешь там модель, которая у тебя будет адекватно работать (на 3060 либо gemma 12b, либо qwen 3 июльские быстрые, либо gpt-oss 20b, но будет медленно). Тестируешь, донастраиваешь, можно системные промпты задать. Опционально выбираешь модель с машинным зрением/инструментами. Запускаешь в режиме сервера. Ну а дальше прикручиваешь инструменты - решения для поиска в интернете/микрофон и т.д. чтобы работало в режиме агента.
Плюсы - это работает локально без интернета, можно найти модель без цензуры, это бесплатно. Минусы - на 3060 это довольно медленно работает и модели туповатые (хотя зависит от задачи). К новому году выйдет 5080ti, вот на ней будет всё хорошо работать.

Если лень возиться - просто поставь какой-нибудь perplexity на мобилу в режиме голосового помощника.
раскрыть ветку (1)
0
Мятный КремлеБот
Автор поста оценил этот комментарий
Огромное спасибо, буду пробовать
1
Автор поста оценил этот комментарий

Ну алиса по сути для разговора. Управление компьютером лаитис.

раскрыть ветку (1)
0
Мятный КремлеБот
Автор поста оценил этот комментарий
Спасибо за подсказку. Сколько искал инфу, что только не попадалось, а лайтиса не было. Видимо интент не тот был, хотя куда уж проще.
0
Автор поста оценил этот комментарий

Знаний и умения. Есть, ты на сайте вон пользуешься бесплатной у дипсика ) Вот её можно вытащить.

раскрыть ветку (1)
0
Мятный КремлеБот
Автор поста оценил этот комментарий
Эх. Была бы коробочная версия того что я хочу)).. Ды даже при всех отслеживаниях моих действий, я не против, дайте мне такую штуку, и следите пожалуйста.
показать ответы
1
Автор поста оценил этот комментарий

Можно но как минимум для запуска нейронки и адекватной скорости нужна будет видеокарта среднего бюджета ( и не старая), во 2 управление будет хреновым из-за низкого уровня интеллекта локальной сети (закрыть окно можно, щелкнуть кнопку в окне браузера низя - никто не даст доступ внутрь браузера, а визуальное распознавание элементов это сильно сложно).

Ну и плюс всё это взаимодействие требует достаточно мощный микрофон, отсев шумов, отлаживание, приятные TTS (текст в речь) стоят денег, бесплатные фальшивят.

Ну и интеграция с нейронкой, которая может лазить в сеть или свои плагины для локальной нейросети - для получения там температуры и прочая.

Сделать - можно.

Работать будет - хреново.

Требуется достаточно много знаний и понимания происходящего - мне лично идея нравится и я могу реализовать, но мне лень )

раскрыть ветку (1)
0
Мятный КремлеБот
Автор поста оценил этот комментарий
Комп соедний. 3060 народная на 12гб, камень 5 12400, 32 озу 4, м2 диски. А вообще есть бесплатные апишки в природе? Вроде даже у дикпика платная
показать ответы
0
Автор поста оценил этот комментарий

купи алису

раскрыть ветку (1)
0
Мятный КремлеБот
Автор поста оценил этот комментарий
Ну задача с "погодой" будет закрыта, а остальные нет
0
Аватар пользователя DELETED
DELETED
Автор поста оценил этот комментарий

Иди на курсы по питону, дальше разберешься по ходу. Без понимания азов ты нихуя не сделаешь.

раскрыть ветку (1)
0
Мятный КремлеБот
Автор поста оценил этот комментарий
Понимание азов есть, разберусь думаю

Темы

Политика

Теги

Популярные авторы

Сообщества

18+

Теги

Популярные авторы

Сообщества

Игры

Теги

Популярные авторы

Сообщества

Юмор

Теги

Популярные авторы

Сообщества

Отношения

Теги

Популярные авторы

Сообщества

Здоровье

Теги

Популярные авторы

Сообщества

Путешествия

Теги

Популярные авторы

Сообщества

Спорт

Теги

Популярные авторы

Сообщества

Хобби

Теги

Популярные авторы

Сообщества

Сервис

Теги

Популярные авторы

Сообщества

Природа

Теги

Популярные авторы

Сообщества

Бизнес

Теги

Популярные авторы

Сообщества

Транспорт

Теги

Популярные авторы

Сообщества

Общение

Теги

Популярные авторы

Сообщества

Юриспруденция

Теги

Популярные авторы

Сообщества

Наука

Теги

Популярные авторы

Сообщества

IT

Теги

Популярные авторы

Сообщества

Животные

Теги

Популярные авторы

Сообщества

Кино и сериалы

Теги

Популярные авторы

Сообщества

Экономика

Теги

Популярные авторы

Сообщества

Кулинария

Теги

Популярные авторы

Сообщества

История

Теги

Популярные авторы

Сообщества

Недвижимость и ремонт

Теги

Популярные авторы

Сообщества