🎵 Друзья, вы готовы к настоящей революции в мире аудио? В этом видео я покажу вам три невероятные нейросети, которые перевернут ваше представление о работе со звуком! MM-Audio создаст потрясающие звуковые эффекты для ваших видео и игр всего за пару кликов, Fish Speech поразит вас качеством клонирования голоса по минутному образцу, а LatentSync идеально синхронизирует сгенерированную речь с любым видео.

Я покажу все хитрости настройки, поделюсь личным опытом и научу пользоваться каждым инструментом. А самое крутое - все они доступны в удобных портативных версиях! 🚀

Альтернативный плеер YouTube:

Ссылки из видео:

🎨 MM-Audio - генерация звуков

• Скачать портативную версию: https://t.me/neuroport/119

• Исходный код: https://github.com/hkchengrex/MMAudio

• Онлайн демо: https://huggingface.co/spaces/hkchengrex/MMAudio

🗣️ Fish Speech - клонирование голоса

• Скачать портативную версию: https://t.me/neuroport/134

• Исходный код: https://github.com/fishaudio/fish-speech

• Онлайн демо: https://huggingface.co/spaces/fishaudio/fish-speech-1

🎬 LatentSync - синхронизация губ

• Скачать портативную версию: https://t.me/neuroport/129

• Исходный код: https://github.com/bytedance/LatentSync

• Онлайн демо: https://huggingface.co/spaces/fffiloni/LatentSync

🛠️ Полезные инструменты:

• Whisper для транскрибации: http://github.com/Const-me/Whisper

• Ultimate Vocal Remover: https://github.com/Anjok07/ultimatevocalremovergui

• Audacity для редактирования: https://www.audacityteam.org

• База голосов для TTS: https://t.me/neuroportchat/6633

📱 Мои ссылки:

• Поддержать донатом: https://www.donationalerts.com/r/nerual_dreming

• Основной Telegram: https://t.me/neuro_art0

• Эксклюзивы на Boosty: https://boosty.to/neuro_art

• Курс по нейросетям: https://fooocus.ru

• Клуб "Нейро-музыка": https://neuromusic.club

• Все Telegram каналы: https://t.me/addlist/LQ-fUTyhVjEzYjIy

Буду рад вашей подписке и поддержке. Всех обнял и удачных генераций.

Привет, Пикабу!

Наверное ни для кого не секрет, что в последнее время усиливаются как интеграционные, так и дезинтеграционные процессы у нас в стране и вокруг неё. Вот, например, в метро можно увидеть вот такую рекламу (затёр логотипы):

Понятно, что нынче Пикабу состоит из баянов, розжига, сисек, срачей про мигрантов и бездомных собак (вы сами знаете всё остальное), но остались же тут адекватные люди, кто ещё верит в дружбу народов и всё подобное, хотя бы в рамках нашей страны?

В этом году мы делаем проект Фонда Бортника по разработке модели синтеза речи языков России и СНГ. Возможно, вы знаете нас через одного популярного бота для озвучки в Телеграме.

Наша основная задача - сделать удобный, быстрый, устойчивый, качественный и нетребовательный к вычислительным ресурсам синтез на самых популярных у нас в стране и в ближайшем зарубежье языках.

По итогу проекта планируется публикация общедоступных моделей синтеза языка под свободной лицензией (MIT). Мы бы хотели покрыть как минимум 10 популярных языков. Всего популярных языков (более 100 тысяч носителей) 30+, так что, в принципе, тут есть, где разгуляться.

Поэтому ищем людей, у которых два родных языка (русский и второй родной), которые бы помогли нам с рядом вещей:

• Помощь в поиске актуальных текстов на родном языке;

• Запись голоса (как на русском, так и на втором родном языке);

• Минимальные консультации по фонетике, ударениям и грамматике.

✉️ Контакты для связи, условия участия оговариваем в каждом случае отдельно.

Главные особенности

Бот предлагает два основных режима работы:

• Синтез речи из текста с использованием готовых голосов

• Клонирование голоса из аудиозаписи

Что касается качества синтеза речи - оно на достойном уровне. Особенно порадовало, что бот очень понятно взаимодействует с пользователем и даже имеет встроенный индикатор, который показывает, достаточно ли аудиоматериала для качественного клонирования голоса.

Личный опыт использования

Из личного опыта по клонированию: минимально достаточный объем аудио - около 2 минут, но для действительно качественного результата лучше использовать 3-4 минуты записи. Бот сам подсказывает с помощью специального индикатора, хватает ли материала для создания качественного клона голоса.

К сожалению, технические ограничения Пикабу не позволяют прикрепить аудио непосредственно в пост, чтобы продемонстрировать результаты. Поэтому оставлю ссылку на аудио-результат гугл драйв, сможете прослушать, что у меня получилось :)

Заключение

Технология действительно впечатляет своими возможностями. Думаю, она будет особенно полезна для:

• Создателей видеоконтента

• Разработчиков обучающих материалов

• Тех, кто занимается озвучкой текстов

Буду рад ответить на ваши вопросы в комментариях!

Open AI опять решили подразнить обычных пользователей и предоставили ограниченный доступ к своей новой нейросети для преобразования текста в голос - Voice Engine. Она позволяет скопировать голос человека из 15-секундной аудиозаписи:

Подробнее в блоге OpenAI

Технология как и ElevenLabs поможет компаниям, преподавателям и инфлюенсерам обращаться к аудитории на любом языке собственным голосом, причем сохранив родной акцент.

Доступ к ней получили пока только серьезные компании HeyGen, Age of Learning и Dimagi.

HeyGen вообще красавчики - используют технологии как ElevenLabs, так и OpenAI, чтобы предложить своим пользователям более широкие возможности при создании видео с искусственным интеллектом.

Так вот, тестирование Voice Engine показало как можно использовать технологию во благо в различных отраслях. Вот несколько ранних примеров: перевод контента, помощь в чтении и поддержка лиц, не способных говорить, восстановление голоса людям с нарушениями речи, улучшение обслуживания в отдаленных районах.

Хотите узнавать первыми о полезных сервисах с искусственным интеллектом для работы, учебы и облегчения жизни? Подпишитесь на мой телеграм канал НейроProfit, там я рассказываю, как можно использовать нейросети для бизнеса.

Open AI показали нейросеть, которая может клонировать голос — Voice Engine.

Именно Voice Engine дал «голос» ChatGPT, а теперь еще и умеет клонировать чужие голоса по 15 секундам аудио образца.

Open AI заявляет, что Voice Engine может помочь детям и взрослым, которые не умеют читать, воспринимать текстовый контент. По словам разработчиков, модель не только сотрёт языковые барьеры, но и позволит блоггерам и компаниям общаться с аудиторией на любом языке собственным голосом. Также этот инструмент будет полезен людям, которые по каким-либо причинам потеряли голос или столкнулись с нарушением речи.

Простым смертным модель всё ещё нельзя попробовать, пока ее тестируют it - компании. И не спроста пока ее не выпускают в широкие массы, Open AI серьезно подстраховываются.

Меры против мошенничества

Тем, кто беспокоится о мошенничестве,  Open AI серьезно позаботилось о безопасности. 

Во-первых, партнеры, тестирующие Voice Engine, согласились с их  политикой использования, которая запрещает выдавать себя за другое физическое лицо или организацию без согласия или законного права.

Во-вторых, все должны получить согласие первоначального докладчика, и мы не разрешаем разработчикам создавать способы для отдельных пользователей создавать свои собственные голоса. 

В-третьих, партнеры должны сообщать своей аудитории, что голоса, которые они слышат, генерируются искусственным интеллектом. 

В-четвертых, Open AI внедрили ряд мер безопасности, включая водяные знаки для отслеживания происхождения любого звука, генерируемого Voice Engine.

В-пятых, в США уже запретили звонки с использованием сгенерированных голосов из-за случая спам-звонков от Байдена )) Остальные страны тоже подтянутся в стремлении ограничить неэтичное использование голосовых технологий ИИ. 

Подписывайтесь на ИИшница 🍳 - тут все самое интересное из мира новых технологий и нейросетей 🤖