DeepFake Rope или Roop на максималках с заменой нескольких лиц. Портативная версия c запуском в 1 клик

DeepFake Rope или Roop на максималках с заменой нескольких лиц. Портативная версия c запуском в 1 клик Нейронные сети, Гайд, Обзор, Deepfake, Face swap, Монтаж, Видеоредактор, Длиннопост, Видео, YouTube

Rope - это форк популярного дипфейка roop, но серьёзно переработанный автором. Во-первых, он заточен и оптимизирован под видеокарты Nvidia. Во-вторых, у него абсолютно новый подход к графическому интерфейсу, который теперь позволяет реал-тайм выбрать замену нескольких лиц в видео, а также следить за процессом за окном предпросмотра. Кроме этого, все настройки вынесены из командной строки в интерфейс.

Поясняющая картинка от автора программы:

DeepFake Rope или Roop на максималках с заменой нескольких лиц. Портативная версия c запуском в 1 клик Нейронные сети, Гайд, Обзор, Deepfake, Face swap, Монтаж, Видеоредактор, Длиннопост, Видео, YouTube


Оригинальный код проекта можно найти на GitHub.

Портативную версию с запуском в 1 клик можно скачать либо с Яндекс Диска либо с Облака.

Более подробный обзор я сделал в видео на YouTube, ибо для понимания некоторых аспектов лучше показать, чем рассказать, а тут пробежимся по основным аспектам работы с программой.

Для начала нам надо выбрать папку с лицами для замены, папку, где лежат видео, где мы будем менять лицо и папку куда будет все сохраняться. Лучше подготовить для этого отдельные папки. Затем нажать Загрузить модели.

После чего выбираем нужное нам видео и проматываем его на тот фрагмент, где находится лицо которое мы будем менять. Нажимаете Найти лица и оно появляется в списке.

Затем выбираем лицо из загруженных и сопоставляем его с нужным нам лицом: нажимаем сначала на одно потом на другое. После чего нажимаем кнопку SWP и произойдет замена лица.

Чтобы обработать видео, нажмите SWP, REC а затем PLY. В процессе реального времени будет идти замена лица, и когда видео закончится, оно сохранится в папку, которую вы выбрали ранее.

Также, вы можете активировать улучшатель лица GFPGAN, нажав галочку рядом с ним. Справа вы можете отрегулировать степень влияния на картинку.

Рядом же вы можете настроить параметры маски для замены лица.

Количество потоков влияет на скорость работы, но учтите, что 8-9 потоков потребляют около 20-24 гигабайт видеопамяти, поэтому будьте аккуратны с данным параметром.

В целом, программа выглядит достаточно интересно и будем надеяться, что в будущем в ней появится еще больше полезного функционала.

Ну а будущие обновления, а также портативные версии roop, refacer и других полезных нейронок можно найти в моем телеграм канале.

Видеомонтаж

890 постов5.6K подписчик

Добавить пост

Правила сообщества

Критикуй, мамкин оператор.

1
Автор поста оценил этот комментарий
Ха! 4гига. У меня 1. Была какая то сборка. Она работала с 1 гигом. Но надо было обучать. Что очень долго. И старая. Года 15го. Свежее даже не запускается. Ругается множеством ошибок.
раскрыть ветку (1)
9
Автор поста оценил этот комментарий
Ну не, для современных нейросетей это очень мало. Так что без шансов
показать ответы
Автор поста оценил этот комментарий

Да ничего оно не запускается в один клик. На маке.

раскрыть ветку (1)
7
Автор поста оценил этот комментарий
Ну потому что портативка для windows? Да и смысл запускать на маке если программа для Nvidia?
показать ответы
Автор поста оценил этот комментарий
подскажите, а существует что то подобное для видеокарт amd?
раскрыть ветку (1)
2
Автор поста оценил этот комментарий
roop если только, но там возможностей чуть меньше.
показать ответы
Автор поста оценил этот комментарий
Допустим пост действительно полезный. А слабо без ссылки на телегу публиковать?
раскрыть ветку (1)
2
Автор поста оценил этот комментарий
Да.
Автор поста оценил этот комментарий

Я это тоже увидел. Ну, доработают - посмотрим. Пока что в roop появилась возможность назначать конкретное лицо.

раскрыть ветку (1)
Автор поста оценил этот комментарий
Но там слетает почему то захват, качество захвата упало в целом.
показать ответы
Автор поста оценил этот комментарий

Вот roop есть смысл запускать, так как есть onnx под apple-silicon. В rope движок грубо говоря тот же, но в интерфейсе что-то несовместимое используется.

раскрыть ветку (1)
Автор поста оценил этот комментарий
Не тот же, тут привязка к торчу есть у модели распознавания лиц, где принудительно device стоит cuda, ну и в коде местами провайдер жестко указан. Это из того что поверхностно увидел.
показать ответы
1
Автор поста оценил этот комментарий

И как он в сравнении с refacer в плане конечного результата? Хуже/лучше/так же?

раскрыть ветку (1)
Автор поста оценил этот комментарий
Могу точно сказать что медленнее, ибо он реалтайм видео рендерит. Пока не разобрался, можно ли заставить без предпросмотра на обработку отправить. Но при этом настроек больше и больше файлы переваривает
показать ответы
7
Автор поста оценил этот комментарий

Какие требования? Слабые видюхи потянут? Хотя бы очень медленно. А то что не скачаешь, так даже запускаться не хочет!

раскрыть ветку (1)
Автор поста оценил этот комментарий
Вроде бы должно на 4 гигах работать, но с 1 потоком и без улучшения лиц.
показать ответы