Как я сделал видеосказку с озвучкой от Стивена Фрая с помощью нейросетей⁠⁠

На связи Роман. Сегодня расскажу, как легко делать видеоуроки, презентации и другой контент с закадровой озвучкой на примере видеосказки про кролика Оливера, которую написала нейросеть.

Шаг 1: пишем сценарий в ChatGPT

Текст сказки нам напишет ChatGPT вот по такому промпту (промпт — это запрос к нейросети):

Я хочу озвучить свою сказку голосом Стивена Фрая, который записывал аудиокниги по Гарри Поттеру, поэтому русский текст я перевожу на английский таким промптом: «Can u rewrite your story in british english?».

Если у вас нет прямого доступа к ChatGPT, можно воспользоваться вот этими вариантами:

Poe

Forefront Chat

Perplexity AI

Merlin Chat (расширение для Google браузера)

Шаг 2: рисуем иллюстрации в Midjourney

Чтобы нарисовать хорошие иллюстрации через Midjourney, нужны хорошие промпты. Если просто написать «нарисуй мне кролика в волшебном лесу», результат будет каждый раз разный, плюс не будет стиля детской сказки. Поэтому я открыл платную базу промптов и пошел в раздел fantasy:

Я советую использовать именно базы промптов — это самый быстрый способ получить желаемый результат. Вот бесплатные базы:

https://www. blueshadow.art/midjourney-prompt-commands

https://prompthero.com/midjourney-prompts

https://aituts.com/midjourney-v5

Чтобы нарисовать кролика Оливера, я выбрал вот этот промпт:

ginger bunny in a jeans jacket exploring a magical forest, by Thomas Kinkade, Ellen Jewett, Jason Felix and Cedric Peyravernay, Ligne Claire featured on artstation, 8k, dslr, hyperreal --ar 16:9

Он содержит имена художников, которые влияют на стиль картинки. Обратите внимание — нигде в промпте не указано, что кролик должен быть в рюкзаке. Видимо слово «exploring» намекает нейросети, что без рюкзака в лес нельзя. В конце я добавил флаг --ar 16:9, чтобы изображение было не квадратное.

Дальше по сюжету Оливер встречает белую олениху и надо сгенерировать ее лицо. С этим пришлось немного помучаться:

В новых версиях Midjourney стал платным, поэтому держите альтернативы:

Кандинский

Stable Foundation

Unstability AI

Шаг 3: озвучиваем голосом Стивена Фрая

Тут я советую один из лучших нейросетевых генераторов речи на данный момент — Elevenlabs. Русский не поддерживается, но за деньги есть немецкий, польский, испанский, итальянский, французский, португальский и хинди. Для синтеза русской речи можно использовать например voicebot.

Введите в elevenlabs свой текст и понажимайте на разные демо-голоса — почти нет «роботических» пауз и автотюна, местами интонацию не отличить от человеческой. А главное — за 5$ в месяц можно создать уникальный голос на основе своего семпла.

Этим мы и займемся. Находим на Ютьюбе аудиокнигу, озвученную Стивеном Фраем, скачиваем аудиодорожку и «скармливаем» её нейросети. Теперь полученным голосом можно озвучивать любой текст

Встает вопрос легальности использования голоса. Когда мы загружаем семпл, то ставим галочку, что не делаем голос для мошенничества. Но легально ли озвучить например свою аудиокнигу чужим голосом? Конечно, не указывая, что это Стивен Фрай.

В принципе, если твой голос похож на Филиппа Киркорова, никто не запретит тебе петь, пока ты не выдаешь себя за него. Поэтому пока прецедентов о запрете использования нейросетевого голоса мы не нашли — напишите, если знаете такие.

Шаг 4: собираем все вместе

Открываем бесплатный редактор Сlipchamp и прямо в браузере монтируем ролик. Добавляем аудиодорожку, фоновую музыку из библиотеки, делаем плавные переходы и наезды картинки.

В результате получился вот такой эпизод из сказки о кролике Оливере:

Можно поэкспериментировать с эффектами на видео, добавить паузы в озвучку, можно использовать «сиды» для генерации картинок. Но для часа работы в одиночестве результат неплохой.

Еще пару лет назад для подобного ролика потребовались бы:

• Сценарист

• Художник-иллюстратор

• Диктор

А сегодня можно в одиночку собрать по этому методу видеоинструкцию, презентацию, урок для курса и другой контент.

Надеюсь, вам было полезно :)
Источник подборок нейросетей: Нейросекта