Итак, любопытство возобладало и я решил проверить съедобность своей находки
Вот видеоотчет на Ютубе и ВК, кому как удобнее
За качество и звук больно не ругайте, я не шибко то и монтажёр
Все же хочется поделиться своими "рукоделиями" с народом. Я бывает страдаю всякой всячиной, чтобы мозги не заржавели. Вот и решил я тут сделать бота в Телеграм. Даже сам бот брал свое начало как эксперемент, а не как готовый проект. Плюс ко всему мне любопытно изучать способы практического применения нейросетей и машинного обучения. Сначала я просто привязывал к боту всякие разные мелкие модели нейронок, просто как служебные, TTS (текст в голос) и наоборот, голос в текст. Изучал всякие подходы к тренировке или дообучению, и наконец просто пробовал всякое на своем боте. Сейчас наверное ботов "интерфейсов" для нейронок много, но я и не хотел "просто интерфейс", как я уже писал я хочу понять возможности практического применения.
Первый "звоночек" о том что я получил что-то интересное у меня случился когда я прикрутил интерфейс DeepSeek. Я сразу решил, что раз у меня есть возможность переводить текст в голос и голос в текст, то надо это замутить с DeepSeek. (напомню, я делал это все просто по приколу). И вот я в какой-то момент смотрю, что я предпочитаю просто ГОВОРИТЬ с чат ботом. Про всякое, то про музыку, как выбрать треки для прослушивания на основе того что я предпочитаю (я реально описываю эмоции, описываю настроение и все такое, и он предлагает то что надо). Так вот, я просто иду по улице и записываю голосовухи для бота, и бот мне отвечает. Со стороны похоже что я просто общаюсь с человеком. Это прикольно и удобно, я этого сам не ожидал.
Неожиданным плюсом стало то, что я могу отправить голосовуху и не ждать пока бот сгенерирует ответ (классическое приложение потухает при блокировке экрана и не генерирует ничего) а тут просто отправил голосовуху, и хоть блокируй телефон, все делается в фоне.
Я все-же не особо представлял четкий путь развития, только что-то абстрактное, типа Практическое применение.
Ну и совершенно не ясным мне образом, я решил что мне надо прикрутить нейронку идентификатор растений. Убил неделю на обучение. Это был прикольный опыт. Поняв что на имеющихся мощностях мне обучение не светит, я арендовал сервер с специальными вычислителями от Nvidia. Помаялся там несколько дней, и понял что за разумные сроки я не смогу обучить нейронку хотя-бы на 90 миллионов параметров. Подумал что потратить 60-90К на эксперемент я пока не готов😁 и отложил это дело на попозже. довольствуясь обученными моделями. В итоге прикрутил две нейронки, обученные на двух крупных датасетах. и оно заработало... Прикольно, весело. Я сфоткал все клумбы в округе, а когда выбирались на всякие шашлындосы или типа того, я тоже фоткал и идентифицировал все что попадалось незнакомое)
А потом пришло осознание - надо подключать DeepSeek к идентификации. Ну точнее чтобы он рассказал мне про растение. Я представлял себе это как что-то типа википедии. Помаявшись вечерок-другой, я наконец получил рабочий вариант, и то что получил, оказалось даже лучше моих ожиданий.
Я тестировал бот на растениях найденных при недавней поездке на морские посиделки
Интересный экземпляр
И вот немного переписки
Обратите внимание, при необходимости бот дублирует текст в голосовом сообщении
Итак, зная что БЯМы (большие голосовые модели) могут по приврать, я подумал что это очередной глюк про съедобность. На википедии я не нашел про это инфу. Но я решил загуглить именно Oysterleaf. И что в итоге, да, есть куча статей не в русском сегменте о выращивании и сборе листьев для салата... Меня это поразило, потому что, как я писал уже, на вики этого нет. А я видел это растение с самого детства, и не догадывался даже. Сейчас правда я не совсем у моря живу, надо часик-другой ехать, и пока я не собираюсь на то побережье где растут эти растения... но еще не вечер, так что если поддержите пост лайками, я сделаю из него салат и запишу об этом видос (блин, да я походу и так запишу, мне капец как любопытно)
ПОМНИТЕ - Нейронные сети могут ошибаться. Проверяйте информацию!
Зачем же собственно я пишу это все. Да просто потому что во-первых хочу поделится, а во-вторых, для развития бота в направлении Практического использования, нужно не только мое мнение, нужно опыт использования разных людей. Ну и плюс, бот возможно реально будет полезен
P.S. Я планирую еще прикручивать штуки, к примеру запланировано прикрутить GPT и сделать бесшовную смену БЯМ прямо в диалоге, возможно даже устроить тройничок в диалоге, чтоб все участвовали, и пользователь, и DeepSeek и GPT, но пока не знаю как это распределить, обдумываю. Ну а т.к. для работы с GPT нужно VPN, то я еще и его сделал на WireGuard. По просьбам трудящихся могу еще какой протокол прикрутить...
