Обзор FaceFusion - перевоплощение популярного дипфейка Roop. Портативная версия в конце статьи
FaceFusion - это продукт одного из разработчиков популярного дипфейка Roop. Дело в том, что у них произошел разлад, проект Roop закрался, а команда разошлась.
В целом, FaceFusion - это тот же самый Roop, только с интерфейсом на базе Gradio, который многие знают по Stable Diffusion от Automatic1111
Тем не менее множество функций тут вынесены из командной строки в интерфейс.
FRAME PROCESSORS - этот модуль отвечает за обработку кадров.
face_swapper - просто замена лица
face_enhancer - улучшение лица (через GFPGAN)
frame_enhancer - новая опция, апскейлит весь кадр.
EXECUTION PROVIDERS - тут вы выбираете ваш бэкенд, через что будет идти обработка. На видеокартах Nvidia это Cuda либо TensoRT, на AMD это DirectML (DML), если запускать на Windows.
Остальные же параметры в блоке EXECUTION отвечают за скорость обработки. Больше потоков - больше скорость, больше потребление видеопамяти. Поэтому выставляйте в меру, большое количество потоков может привести к вылету либо к замедлению работы.
MAX MEMORY - лимит потребления оперативной памяти.
OUTPUT VIDEO ENCODER - через какой енкодер будут собраны кадры в видео, после замены лица. Для видеокарт Nvidia можно использовать NVENC, так как он базируется на аппаратном ускорении.
KEEP FPS, KEEP TEMP, SKIP AUDIO - Отвечают за то, чтобы Сохранить фпс оригинального видео, оставить временную папку с раскадровками и пропустить аудио.
Средний блок отвечает за выбор файлов с которыми мы будем работать.
SOURCE - фото с лицом, на которое будем менять
TARGET - фото или видео, в котором будем менять лицо
OUTPUT PATH - где будет сохранено видео. Также в Output появится итоговое видео
Третий блок содержит в себе:
PREVIEW - Тут вы можете посмотреть как будет выглядеть замена.
FACE RECOGNITION - выбор распознавания лиц. Либо на основе референса, либо все лица.
REFERENCE FACE - тут как раз и будут лица, распознанные на кадре из превью. Выбирая их, вы выбираете какое лицо будет меняться в кадре.
Оставшиеся параметры отвечают за настройки анализа лиц.
Что касается скорости работы - я не заметил разницы с последней версией Roop. Все примерно точно так же, шустро, но можно и шустрее (Refacer и Rope тому примеры)
Как обычно, я сделал портативную версию с запуском в 1 клик. Пока что готова версия для Nvidia, версия для AMD будет позже, ссылку на нее оставлю у себя в Телеграм канале.
Скачать портативную версию можно по ссылкам:
Мое облако | Яндекс Диск
Особенности портативной сборки:
- Запуск в 1 клик, не надо ничего устанавливать
- Удалена 18+ цензура.
- Обновлены библиотеки CUDA (Cudnn 8.9.4)
После открытия программы, откройте в браузере адрес, который будет написан в консоли (обычно http://127.0.0.1:7860)
Последующие обновления, а так же другие дипфейки можно найти у меня в Телеграм канале, а пообщаться на тематику всего, что связано с нейронками - можно в нашем чате.
DeepFake Swap Mukham - результаты новичка, пример
Здравствуйте. Наткнулся вчера вечером, на любимом пикабу, на пост гражданина neurogenerated. Там он показывал софт, который умеет в DeepFake прямо, что называется, "из коробки". Мол, ты только, дорогой, скачай, да распакуй, плюс мышкой по экрану минуту поводи - проще некуда! Софт умеет работать как с процессором, так и с гпу. Ну здорово же, подумал я, наконец то! И принялся качать. Забегая вперед скажу - neurogenerated не обманул! :)
Буду максимально краток. Вот чего мне удалось добиться...
Итак, все мы знаем старый-добрый мем про "Кандибобер". Берем оригинал ролика с ютуба, скачиваем, ищем фото знаменитости, пусть будет Марго Робби, и скармливаем это всё нашей софтине. Результат на видео ниже:
Использовал это фото:
Как видим есть и артефакты, и даже, местами, проскакивает отвратительная харя из оригинального "кандбибобера". Но для меня это первый опыт. Будем дальше ковыряться в настройках.
Кстати, всё действительно заработало, что называется, "из коробки". Минутный ролик 720p обрабатывает около 1 минуты. Ryzen 3800x+32gb ddr4 3550Mhz+rtx 4080 16gb.
Оригинальное видео с youtube:
Ссылка на гражданина neurogenerated и его оригинальный пост с гайдом по софту и ссылками на автора: DeepFake Swap Mukham - всё в одном. Универсальный DeepFake
Буду рад увидеть Ваши попытки в данном направлении.
DeepFake Swap Mukham - всё в одном. Универсальный DeepFake
Тут есть замена лиц в видео, фото и даже пакетная обработка. Работает на Nvidia, AMD и CPU.
Подробный обзор функционала в данном видео:
Ну а в этом посте мы кратко пробежимся по ключевым особенностям:
GitHub оригинального проекта. Я убрал NSFW цензуру и добавил ряд оптимизаций.
Большой список определения лиц: по полу, возрасту, положению в кадре, по сходству.
Тонкие настройки маски: Вы можете контролировать какие части лица менять, а какие оставить.
Поддержка улучшителей лица: GFPGAN, GPEN, CODEFORMER, RESTOREFORMER
Скачать портативную версию, не требующую установки и доп. программ и зависимостей можно тут и с Яндекс Диска.
Ну, а будущие обновления, а также портативные версии roop, refacer и других полезных нейронок можно найти в моем телеграм канале.
Deep Fake для всех желающих
DeepFake видео, коррекция фото и видео, удаление лишних объектов на фото и видео, работа в дипфейк фотошоп афтер эффектс. Можно заменить лица на фото, на постерах даже в фильме в разумный срок, на видео итд. Стоимость зависит от объема. Интересно пишите в личку или в комментарии.
Сможете найти на картинке цифру среди букв?
Справились? Тогда попробуйте пройти нашу новую игру на внимательность. Приз — награда в профиль на Пикабу: https://pikabu.ru/link/-oD8sjtmAi
DeepFake Rope или Roop на максималках с заменой нескольких лиц. Портативная версия c запуском в 1 клик
Rope - это форк популярного дипфейка roop, но серьёзно переработанный автором. Во-первых, он заточен и оптимизирован под видеокарты Nvidia. Во-вторых, у него абсолютно новый подход к графическому интерфейсу, который теперь позволяет реал-тайм выбрать замену нескольких лиц в видео, а также следить за процессом за окном предпросмотра. Кроме этого, все настройки вынесены из командной строки в интерфейс.
Поясняющая картинка от автора программы:
Оригинальный код проекта можно найти на GitHub.
Портативную версию с запуском в 1 клик можно скачать либо с Яндекс Диска либо с Облака.
Более подробный обзор я сделал в видео на YouTube, ибо для понимания некоторых аспектов лучше показать, чем рассказать, а тут пробежимся по основным аспектам работы с программой.
Для начала нам надо выбрать папку с лицами для замены, папку, где лежат видео, где мы будем менять лицо и папку куда будет все сохраняться. Лучше подготовить для этого отдельные папки. Затем нажать Загрузить модели.
После чего выбираем нужное нам видео и проматываем его на тот фрагмент, где находится лицо которое мы будем менять. Нажимаете Найти лица и оно появляется в списке.
Затем выбираем лицо из загруженных и сопоставляем его с нужным нам лицом: нажимаем сначала на одно потом на другое. После чего нажимаем кнопку SWP и произойдет замена лица.
Чтобы обработать видео, нажмите SWP, REC а затем PLY. В процессе реального времени будет идти замена лица, и когда видео закончится, оно сохранится в папку, которую вы выбрали ранее.
Также, вы можете активировать улучшатель лица GFPGAN, нажав галочку рядом с ним. Справа вы можете отрегулировать степень влияния на картинку.
Рядом же вы можете настроить параметры маски для замены лица.
Количество потоков влияет на скорость работы, но учтите, что 8-9 потоков потребляют около 20-24 гигабайт видеопамяти, поэтому будьте аккуратны с данным параметром.
В целом, программа выглядит достаточно интересно и будем надеяться, что в будущем в ней появится еще больше полезного функционала.
Ну а будущие обновления, а также портативные версии roop, refacer и других полезных нейронок можно найти в моем телеграм канале.