Все мы любим гифки, они веселые, эмоциональные, у каждого из нас в телеграме сохранена добрая пачка таких анимаций из любимых фильмов и сериалов.

Но что, если вы сами будете главным героем этих сцен? Я попробовал и мне очень понравилось, уверен, что к концу этой статьи вы тоже захотите пак собственных уникальных гифок. Приступим к магии.

Нам понадобится приложение FaceFusion, вы можете скачать его из официального гита разработчика , но установка мягко говоря геморойная. Есть версия для Google Collab.

Я использую локально портативную версию FaceFusion от моего товарища с канала Neurogen, так же советую поступить и вам, архив достаточно распаковать в любую удобную папку, больше ничего не требуется. Важно: в путях и названиях файлов не должно быть кириллицы!

После распаковки, кликаем start_portable_nvidia.bat

Откроется окно терминала, дождитесь пока в нем появится строка Running on local URL: http://127.0.0.1:7860, выделите адрес, скопируйте нажав ctrl + c, вставьте в адресную строку вашего браузера. Готово

А почему нельзя было сделать, чтобы адрес открывался сам? Ответ вы знаете.

Вот так все это выглядит, но пугаться не стоит, все достаточно просто, сейчас расскажу.

Поскольку мы будем работать с гифками, они как правило имеют низкое разрешение, поэтому ставим все три галочки. Они позволяют отдельно использовать разные компоненты, замену лица, улучшатель лица и улучшатель кадра. Но вы имейте ввиду, что каждый компонент можно запускать отдельно, например, чтобы только улучшить видео, без замены лица.

Дальше у нас идут настройки потребления ресурсов. И они вот вообще не очевидные.

Если у вас видеокарта NVidia, то поздравляю, все пройдет легко и безболезненно. Мои настройки для видеокарты RTX 4090 на скрине выше, если у вас карта по слабее, просто понизьте все настройки в два раза и повышайте понемногу, пока не начнут появляется ошибки Out of memory. Выявить максимальные настройки для лучшего быстродействия можно только экспериментальным путем.

Если у вас слабая видеокарта, можно попробовать режим CPU, но это будет значительно медленное чем на хорошем видеоадаптере.

Дальше идут настройки сохранения временных кадров и видео.

Тут все просто, ползунки ставим на 100, остальное можно не трогать. Галки внизу отвечают за поддержание того же фпс, как в оригинале, следующая за сохранение скорости видео, и последняя позволяет пропустить аудио и не добавлять его в итоговый файл. Идем дальше.

В центре страницы три больших окошка, в первое - Source мы загружаем наше лицо, ну или то лицо, на которое будем менять.

Второе - Target, это видеофайл с которым мы работаем.

Третий - Output появится по завершению работы программы.

В OUTPUT PATH указываем адрес папки сохранения итоговых видео.

Теперь самое интересное, настройка замены лиц, ведь менять можно как все лица в видео на одно и тоже, так и только определенные. Для примера я выбрал отрезок из известного художественного фильма.

В Preview мы уже видим предпросмотр того, что получится, навигация по кадрам осуществляется с помощью ползунка PREVIEW FRAME.

С помощью ползунков TRIM FRAME START и END можно обрезать начала или конец видео. Но это еще не все, дальше будет блок с анализом и заменой лиц.

У нас есть два режима замены лиц, режим many - заменит все лица в кадре, но вы можете указать пол и возраст лиц, которые будут проанализированы с помощью FACE ANALYSER AGE и FACE ANALYSER GENDER, например так можно менять только лица взрослых мужчин. Но работает это не идеально, бывают сбои.

В режиме reference мы мы двигаем ползунок PREVIEW FRAME и кликаем на те лица, которые нужно заменять в REFERENCE FACE. Если в процессе видео лицо которое мы заменяем перемещается в кадре слишком сильно или пропадает - отслеживание может сбиваться, поэтому прокрутите ползунком все кадры и проверьте везде ли лицо определяется правильно.

Единственное что я так и не понял, это как снять выделение у уже выбранного лица, можно только переключить на другое. Поэтому если в кадре несколько лиц и одно потом исчезает из кадра, то самое которое мы заменяли. То, чтобы алгоритм не перепрыгнул на соседние лицо автоматически можно отрегулировать REFERENCE FACE DISTANCE, это расстояние до лица, лица которые ближе или дальше будут игнорироваться. Это легко подобрать опытным путем ориентируясь на превью.

Вроде разобрались. Ура, у нас все готово к работе, но где взять сами гифки?

Мне понравились сайты giphy.com и gifer.com, тут без особых сложностей можно найти любую гифку и зачастую они идеально закольцованы.

Найдите гифку которая нравится, кликайте на неё правой кнопкой мыши и выбирайте сохранить видео, так анимация сохранится в формате mp4, и работать с ней будет немного удобнее чем с gif.

Ну а как действовать дальше вы уже знаете, запускаете и уже буквально через минуту получаете гифку с вашим лицом.

Что будет работать плохо или не будет работать вообще?

• Если лицо в кадре не полностью, или слишком близко, обрезан лоб или подбородок, такие лица чаще всего плохо определяются или не определяются совсем.

• Лица на которых есть очки будут заменяться плохо, особенно если на вашем фото очков нет. Кадры где что-то закрывает лицо, например рука или какие-то объекты, тоже будут давать артефакты.

• Быстрые смены ракурса, плохое освещение, дым, вспышки, могут приводить к артефактам.

• Лицо с бородой заменять на лицо без бороды, тоже плохая идея, касается и лысых.

• Естественно лицо белого гетеросексуального мужчины средних лет плохо ляжет на персонажа другой расы, телосложения, гендера и, возможно, ориентации.

Где еще взять классные гифки для экспериментов? Конечно в телеграм, и они сразу в удобном формате mp4, сохраняйте и экспериментируйте.

К сожалению любимые всеми анимированные гаччи стикеры не подойдут, их придется пере конвертировать из формата webm в mp4. Я для этого использую бесплатный онлайн конвертор загрузите в него скаченный из телеги анимированный стикер и на выходе получите мп4, с которым уже можно работать.

Сконвертировать mp4 в гифки, если они вам по какой-то причине нужны, можно там же на сайте в секции MP4 в GIF. Большинство мессенджеров и социальных сетей сами переводят короткие мп4 без звука в гиф, и проигрывают автоматически.

Друзья, а на этом у меня все, теперь вы знаете как создать классные мемные гифки со своим лицом с помощью DeepFake нейросети FaceFusion и станете грозой всех чатов и комментариев.

Но помните, что только на вас лежит ответственность за использованием таких технологий, не применяйте их во вред, соблюдайте нормы этики и морали и просто будьте людьми.

Скидывайте то что у вас получится в наш чатик и в комментарии, а если что-то осталось непонятно, то приходите на стрим, разберемся, ближайший пройдет уже в пятницу, 13 октября на Бусти в 20:00, вход как и всегда свободный.

А в следующий раз расскажу как можно создавать вот такую уникальную анимацию самому, а не использовать готовые гифки, а потом наложить сверху свое лицо.

Еще я рассказываю про нейросети у себя на YouTube, в телеграм, на Бусти, подписывайтесь, будет интересно.

Посмотрите на это забавное видео-дипфейк с актрисой Даниэлой Мельхиор, танцующей под веселую музыку! Используя передовые технологии синтеза видео на основе ИИ, я наложил выражения лица и движения Даниэлы, чтобы создать иллюзию, что она танцует в ритм запоминающихся мелодий. Получилось веселое и игривое видео, демонстрирующее шуточную сторону талантливой актрисы.

Конечно, это видео-дипфейк было создано исключительно в развлекательных целях и не имеет отношения к реальным танцевальным навыкам Даниэлы. Я использовал технологию генерации видео в шуточном ключе и не хочу вводить зрителей в заблуждение или проявить неуважение к Даниэле. Она - невероятно талантливая артистка! Мне просто показалось забавным увидеть, как она танцует в этой легкомысленной, беззаботной манере.

Дайте мне знать, что вы думаете об этом экспериментальном видео-дипфейке! Я всегда стремлюсь совершенствовать свои навыки создания ИИ-видео. И обязательно посмотрите настоящие работы Даниэлы - она потрясающая! Это просто шуточное творение фанатов, созданное для смеха с помощью технологии дипфейков. Абсолютно не имеется в виду оскорбить кого-либо. Наслаждайтесь этим веселым танцевальным видео!

Приготовьтесь посмеяться над этим веселым видео, в котором актриса Дженна Ортега танцует под песню k-pop "Kidding Isegye Idol"! Используя передовую технологию синтеза искусственного интеллекта, я отобразил мимику и движения Дженны, чтобы создать иллюзию того, что она подпевает запоминающейся мелодии. В результате получилось веселое и энергичное видео, в котором комедийная актриса дает волю чувствам.

Конечно, этот deepfake был сделан исключительно в развлекательных целях и не предназначен для представления реальных танцевальных навыков Дженны. Я использовал генерацию видео с использованием искусственного интеллекта в беззаботном духе и не хочу вводить зрителей в заблуждение или проявлять какое-либо неуважение к Дженне. Она невероятно талантливая исполнительница! Я просто представил, как забавно было бы видеть, как она танцует в такой игривой, беззаботной манере.

Дайте мне знать, что вы думаете о моем экспериментальном создании deepfake! Я всегда стремлюсь улучшить свои навыки работы с видео с искусственным интеллектом. И обязательно ознакомьтесь с настоящей актерской работой Дженны и ее талантами - она правит! Это просто глупая фанатская пародия, предназначенная для смеха, использующая возможности deepfake. Мы не хотим никого обидеть ни по отношению к Дженне, ни по отношению к кому-либо еще. Наслаждайтесь этим веселым танцевальным видео!