Обзор FaceFusion - перевоплощение популярного дипфейка Roop. Портативная версия в конце статьи
FaceFusion - это продукт одного из разработчиков популярного дипфейка Roop. Дело в том, что у них произошел разлад, проект Roop закрался, а команда разошлась.
В целом, FaceFusion - это тот же самый Roop, только с интерфейсом на базе Gradio, который многие знают по Stable Diffusion от Automatic1111
Тем не менее множество функций тут вынесены из командной строки в интерфейс.
FRAME PROCESSORS - этот модуль отвечает за обработку кадров.
face_swapper - просто замена лица
face_enhancer - улучшение лица (через GFPGAN)
frame_enhancer - новая опция, апскейлит весь кадр.
EXECUTION PROVIDERS - тут вы выбираете ваш бэкенд, через что будет идти обработка. На видеокартах Nvidia это Cuda либо TensoRT, на AMD это DirectML (DML), если запускать на Windows.
Остальные же параметры в блоке EXECUTION отвечают за скорость обработки. Больше потоков - больше скорость, больше потребление видеопамяти. Поэтому выставляйте в меру, большое количество потоков может привести к вылету либо к замедлению работы.
MAX MEMORY - лимит потребления оперативной памяти.
OUTPUT VIDEO ENCODER - через какой енкодер будут собраны кадры в видео, после замены лица. Для видеокарт Nvidia можно использовать NVENC, так как он базируется на аппаратном ускорении.
KEEP FPS, KEEP TEMP, SKIP AUDIO - Отвечают за то, чтобы Сохранить фпс оригинального видео, оставить временную папку с раскадровками и пропустить аудио.
Средний блок отвечает за выбор файлов с которыми мы будем работать.
SOURCE - фото с лицом, на которое будем менять
TARGET - фото или видео, в котором будем менять лицо
OUTPUT PATH - где будет сохранено видео. Также в Output появится итоговое видео
Третий блок содержит в себе:
PREVIEW - Тут вы можете посмотреть как будет выглядеть замена.
FACE RECOGNITION - выбор распознавания лиц. Либо на основе референса, либо все лица.
REFERENCE FACE - тут как раз и будут лица, распознанные на кадре из превью. Выбирая их, вы выбираете какое лицо будет меняться в кадре.
Оставшиеся параметры отвечают за настройки анализа лиц.
Что касается скорости работы - я не заметил разницы с последней версией Roop. Все примерно точно так же, шустро, но можно и шустрее (Refacer и Rope тому примеры)
Как обычно, я сделал портативную версию с запуском в 1 клик. Пока что готова версия для Nvidia, версия для AMD будет позже, ссылку на нее оставлю у себя в Телеграм канале.
Скачать портативную версию можно по ссылкам:
Мое облако | Яндекс Диск
Особенности портативной сборки:
- Запуск в 1 клик, не надо ничего устанавливать
- Удалена 18+ цензура.
- Обновлены библиотеки CUDA (Cudnn 8.9.4)
После открытия программы, откройте в браузере адрес, который будет написан в консоли (обычно http://127.0.0.1:7860)
Последующие обновления, а так же другие дипфейки можно найти у меня в Телеграм канале, а пообщаться на тематику всего, что связано с нейронками - можно в нашем чате.
DeepFake Swap Mukham - результаты новичка, пример
Здравствуйте. Наткнулся вчера вечером, на любимом пикабу, на пост гражданина neurogenerated. Там он показывал софт, который умеет в DeepFake прямо, что называется, "из коробки". Мол, ты только, дорогой, скачай, да распакуй, плюс мышкой по экрану минуту поводи - проще некуда! Софт умеет работать как с процессором, так и с гпу. Ну здорово же, подумал я, наконец то! И принялся качать. Забегая вперед скажу - neurogenerated не обманул! :)
Буду максимально краток. Вот чего мне удалось добиться...
Итак, все мы знаем старый-добрый мем про "Кандибобер". Берем оригинал ролика с ютуба, скачиваем, ищем фото знаменитости, пусть будет Марго Робби, и скармливаем это всё нашей софтине. Результат на видео ниже:
Использовал это фото:
Как видим есть и артефакты, и даже, местами, проскакивает отвратительная харя из оригинального "кандбибобера". Но для меня это первый опыт. Будем дальше ковыряться в настройках.
Кстати, всё действительно заработало, что называется, "из коробки". Минутный ролик 720p обрабатывает около 1 минуты. Ryzen 3800x+32gb ddr4 3550Mhz+rtx 4080 16gb.
Оригинальное видео с youtube:
Ссылка на гражданина neurogenerated и его оригинальный пост с гайдом по софту и ссылками на автора: DeepFake Swap Mukham - всё в одном. Универсальный DeepFake
Буду рад увидеть Ваши попытки в данном направлении.
DeepFake Swap Mukham - всё в одном. Универсальный DeepFake
Тут есть замена лиц в видео, фото и даже пакетная обработка. Работает на Nvidia, AMD и CPU.
Подробный обзор функционала в данном видео:
Ну а в этом посте мы кратко пробежимся по ключевым особенностям:
GitHub оригинального проекта. Я убрал NSFW цензуру и добавил ряд оптимизаций.
Большой список определения лиц: по полу, возрасту, положению в кадре, по сходству.
Тонкие настройки маски: Вы можете контролировать какие части лица менять, а какие оставить.
Поддержка улучшителей лица: GFPGAN, GPEN, CODEFORMER, RESTOREFORMER
Скачать портативную версию, не требующую установки и доп. программ и зависимостей можно тут и с Яндекс Диска.
Ну, а будущие обновления, а также портативные версии roop, refacer и других полезных нейронок можно найти в моем телеграм канале.
Deep Fake для всех желающих
DeepFake видео, коррекция фото и видео, удаление лишних объектов на фото и видео, работа в дипфейк фотошоп афтер эффектс. Можно заменить лица на фото, на постерах даже в фильме в разумный срок, на видео итд. Стоимость зависит от объема. Интересно пишите в личку или в комментарии.
DeepFake Rope или Roop на максималках с заменой нескольких лиц. Портативная версия c запуском в 1 клик
Rope - это форк популярного дипфейка roop, но серьёзно переработанный автором. Во-первых, он заточен и оптимизирован под видеокарты Nvidia. Во-вторых, у него абсолютно новый подход к графическому интерфейсу, который теперь позволяет реал-тайм выбрать замену нескольких лиц в видео, а также следить за процессом за окном предпросмотра. Кроме этого, все настройки вынесены из командной строки в интерфейс.
Поясняющая картинка от автора программы:
Оригинальный код проекта можно найти на GitHub.
Портативную версию с запуском в 1 клик можно скачать либо с Яндекс Диска либо с Облака.
Более подробный обзор я сделал в видео на YouTube, ибо для понимания некоторых аспектов лучше показать, чем рассказать, а тут пробежимся по основным аспектам работы с программой.
Для начала нам надо выбрать папку с лицами для замены, папку, где лежат видео, где мы будем менять лицо и папку куда будет все сохраняться. Лучше подготовить для этого отдельные папки. Затем нажать Загрузить модели.
После чего выбираем нужное нам видео и проматываем его на тот фрагмент, где находится лицо которое мы будем менять. Нажимаете Найти лица и оно появляется в списке.
Затем выбираем лицо из загруженных и сопоставляем его с нужным нам лицом: нажимаем сначала на одно потом на другое. После чего нажимаем кнопку SWP и произойдет замена лица.
Чтобы обработать видео, нажмите SWP, REC а затем PLY. В процессе реального времени будет идти замена лица, и когда видео закончится, оно сохранится в папку, которую вы выбрали ранее.
Также, вы можете активировать улучшатель лица GFPGAN, нажав галочку рядом с ним. Справа вы можете отрегулировать степень влияния на картинку.
Рядом же вы можете настроить параметры маски для замены лица.
Количество потоков влияет на скорость работы, но учтите, что 8-9 потоков потребляют около 20-24 гигабайт видеопамяти, поэтому будьте аккуратны с данным параметром.
В целом, программа выглядит достаточно интересно и будем надеяться, что в будущем в ней появится еще больше полезного функционала.
Ну а будущие обновления, а также портативные версии roop, refacer и других полезных нейронок можно найти в моем телеграм канале.
Сможете найти на картинке цифру среди букв?
Справились? Тогда попробуйте пройти нашу новую игру на внимательность. Приз — награда в профиль на Пикабу: https://pikabu.ru/link/-oD8sjtmAi
ЧТО, если бы в Охотниках за привидениями снимались актеры 2010х годов
Кому ты собираешься звонить? Совершенно новые охотники за привидениями! В этом переработанном трейлере снимается культовая cверхъестественная комедия 1984 года с участием современных комедийных звезд. Джек Блэк исполняет невозмутимую роль доктора Питера Венкмана, первоначально сыгранного Биллом Мюрреем. В роли доктора Рэя Станца Пол Радд привносит свой приятный юмор вместо напористости Дэна Эйкройда. Доктор Эгон Шпенглер покойного Гарольда Рамиса становится социально неловким Сетом Рогеном. Терри Круз исполняет роль Уинстона Зеддемора, которого в оригинале сыграл Эрни Хадсон.
Самое большое изменение - Кристен Уиг в роли Даны Барретт, заменившая Сигурни Уивер. Мелисса Фумеро из Brooklyn Nine-Nine fame заменяет Энни Поттс в роли эксцентричной секретарши Джанин Мельниц. А Энди Сэмберг появляется в роли бухгалтера Луиса Талли, которого ранее играл Рик Моранис. С таким потрясающим актерским составом комедия буквально сходит с экрана. Поклонники будут в восторге от новых комедийных ракурсов, привнесенных этими современными исполнителями.
Это ностальгическое путешествие в Нью-Йорк 1980-х годов со свежим слоем краски. Кто знает - эта переделка может породить совершенно новую франшизу! Дайте фантомам разгуляться с этим изобретательным трейлером.
Огромное спасибо за просмотр, лайки, комментарии, подписки!