Человек-паук с Томом Крузом в главной роли? Давайте посмотрим
Ютуб формат, можно включить высокое разрешение:
https://youtu.be/hkbD1Qc8jcI
Тот же фрагмент, но ..
Человек-паук с Джейсоном Стэтхэмом в главной роли.
Ютуб вариант:
https://youtu.be/n4s661qcQQY
История о том, как Илон Маск бросил все дела ради работы новостным ведущим в России
А ещё выучил русский язык и переехал в РФ, чтобы работать на YouTube канале 42CHANNEL. А теперь расскажу, чего можно добиться с помощью доступных DeepFake технологий.
Введение
Deepfake — конкатенация слов «глубинное обучение» и «подделка», методика синтеза изображения, основанная на искусственном интеллекте. Она используется для соединения и наложения существующих изображений и видео на исходные изображения или видеоролики. Как гласит Википедия.
Ещё одна полезная технология современного мира - стриминг видео контента.
И наконец, синтез речи - программная конвертация печатного текста в «неотличимый от человеческого» речевой сигнал.
Закинув все это в блендер и залив контентом в виде новостей, я получил:
42CHANNEL - YouTube канал, круглосуточно транслирующий самые актуальные мировые новости, с Илоном Маском в роли ведущего.
Переходите на трансляцию и смотрите, что из этого вышло своими глазами:
https://www.youtube.com/channel/UCKn3nIsbXSbOxvmiDfCYLmg/live
История
Если вкратце - замысел был беспощадно «украден» у Никиты Колмогорова, а реализация кровожадно сперта у десятка разработчиков по всему миру.
Так как все нужные мне технологии уже были разработаны, мне оставалось их соединить воедино. Сейчас опишу используемые инструменты, так что можете переходить к следующей части статьи.
Для создания дипфейк видео взял Wav2Lip, который довольно прост в использовании, но ввиду кривизны моих рук, пришлось изрядно попотеть, чтобы установить зависимости на моём ПК.
Демонстрация работы Wav2Lip.
Путем множественных тестов, для синтеза речи был выбран SOVA TTS. А итоговое видео создается через FFmpeg и через него же транслируется на YouTube.
Часть кода, отвечающая за генерацию видео, крутится на моём стационарном ПК с видеокартой 2060 Super. Подходящий сервер с GPU неоправданно дорогой для текущей стадии.
Кому это нужно?
Кому это нужно?
Хотелось бы верить, что вообще всем. Моя задача - создать и предложить, остально дело за зрителями. С другой стороны, кто откажется под кружечку чая смотреть, как Илон рассказывает о мировых проблемах.
Какие есть проблемы?
Самая главная проблема - кривое произношение, иногда сложно понять, что сказал ведущий, особенно на аббревиатурах.
Кроме того, на текущем этапе разнообразие происходящего на трансляции оставляет желать лучшего. В планах добавить больше динамики, разные ракурсы ведущего и видео вставки.
Заключение
На самом деле, моя главная цель - вдохновить крупные компани автоматизировать все процессы в мире, лишить людей работы, устроить кризис на рынке труда и подорвать экономику. Ведь, как мы все прекрасно понимаем, с этого момента ведущие больше не нужны. Как вариант, компания Яндекс может взять проект за основу и развить его до чего-то революционного и не имеющего аналогов в мире.
И ещё кое что. Если трансляция прервется по техническим причинам, ссылка на неё изменится, поэтому, чтобы не утратить стрим, вы можете либо подписаться на канал, либо сохранить постоянную ссылку, которую я указал выше.
С любовью, tgaru.
Дисней, тебе есть чему поучиться у этих людей!
В общем, те кто смотрели Мандалорца, помнят появление Люка Скайуокера. Некоторым понравился этот момент, другим нет - из-за явного графона в сцене, но не суть.
Суть в том, что людям с канала Corridor Crew удалось почти с нуля сделать ту сцену, при этом у их Люка вышла куда более живая мимика благодаря технологии deepfake (ИИ). И это удивительно!) Так же удивительно, как то, что у Диснея так не вышло)
А теперь к примерам:
Оригинальный кадр
Просто улучшение этой же сцены (без съёмки с нуля) другого фаната (Shamook)
Кадр из видео Corridor Crew
Я восхищаюсь современными технологиями!
https://youtu.be/861gfPVmgdc - оригинал видео на английском. Результат где-то с 15-ой минуты
https://youtu.be/0jZncI9wIXA - перевод этого видео на русский