Озвучание сериала нейросетью Silero
Приветствую всех. Думаю все знают, что прогресс не стоит на месте, время идёт, все меняется. Несколько лет назад мы не могли представить, что с помощью нейросетей можно будет создавать картинки по любому запросу в высоком разрешении, делать дипфейки в видео, вести диалог с неким чатом "gpt" и качественно изменять, а также синтезировать голос. О последнем я и хочу сегодня рассказать. Однажды, я наткнулся на сообщество в телеграме под названием "silero". В нем можно было синтезировать голос из текста, ничего особенного вроде, ведь подобных сервисов много, которые используются в том числе в контакте и на ютуб каналах, всем известные голоса как "бот Максим" и "бот Лена". Но было одно отличие у Силеро, которое меня заинтересовало, а именно то, что выбор голосов был обширен, из разных игр и вселенных, например - Warcraft. Приобретя пробную подписку, чтобы снять ограничения на символы, я сделал пробный видео-прикол для друга на тему Матрица, так как голоса из официального русского дубляжа Морфеуса (Владимир Вихров), Тринити (Елена Соловьёва) и Нэо (Всеволод Кузнецов) уже были в данном боте. Было интересно, но я понимал, что все равно слышно, что голос не живого человека, где-то проговоры плохие, где-то интонации не те. В общем, сделал, посмеялся и забыл. Чуть позже, у силеро вышло обновление - добавили новые голоса и сделали первую версию ревойса(переозвучка). Попробовал переозвучку, она получилась очень сырая, больше слышно мой голос, чем голос персонажа, будто наши голоса просто соединили и все. Результат не удивил и я забыл про этот ревойс. Ещё чуть позже, у силеро вышло ещё одно обновление, в котором добавили голоса из спанч боба и улучшили качество ревойса. Записав голосовое сообщение чисто по приколу на ревойс, результат меня удивил. Те слова, которые я говорил своим голосом, произнёс голос Спанч боба, практически с теми же интонациями, с которыми сказал и я. А ещё тем временем у силеро и новость вышла, что всем, кто скинет им материалы для добавления в их бот новых голосов, получит пожизненную бесплатную подписку. Тогда мне и пришла мысль, а сможет ли бот озвучить целый фильм? Тем более в наше время, когда в Российские кинотеатры почти ничего не доходит. Сам раньше занимался озвучкой, со звуком работать умею, почему нет? В общем, отправил админам силеро множество чистых голосов (в соответствии с требованиями) для их бота из различных вселенных (из каких - спойлерить не буду, но уверен, предстоящее обновление будет бомба) я решился на эксперимент, который представляю сейчас вам. Вся работа была проделана одним человеком - мной. Сведение, озвучка, перевод. Ну, как мной? Ещё и нейросетями. Перевод, аудио дорожка, озвучка, это все различные нейросети. Я лишь все это озвучил своим бездарным голосом и смонтировал. То есть, поскольку, как я ранее сказал, я занимался озвучкой, у меня был студийный микрофон, с помощью которого я и записал все фразы из представленной серии сериала Асока, а Силеро изменило мой голос на те голоса, которые я выбрал. Трудно ли это? Честно, да, трудно. Все-таки нейросеть ещё не идеальна. Не до конца считывает интонации, громкость, крик, шёпот, может где-то проявляться картавость, шепелявость, не проговоры. Но лично меня уже даже такой результат поражает. А что дальше? Озвучивать, монтировать, переводить, теперь будет не студия, а один человек? А может будет голос оригинального актёра звучать на всех языках мира при локализациях? Возможно нейросети будут сами снимать фильмы всего-лишь по нашему описанию? Актёры озвучания больше не понадобятся? Это интересное подспорье, к тому же, к сожалению, актёры дубляжа не защищены законодательно никак, ведь данная ситуация не попадает под интеллектуальное право.
В общем, пишите свои мысли на данный счёт. Всё это, это благо, прогрес? А может это наоборот, несет исключительно негативные последствия и нарушает чьи-либо права? Лично я буду и дальше придумывать различные видео\аудио-приколы или же делать правильный перевод к различным видео. (возможны спойлеры, при просмотре видео-презентации сериала "Асока").
Ссылка на само видео, озвученное нейросетью - https://dzen.ru/video/watch/64ea1bbbca11056e26e837cb