Я пропал немного с виду. Но не просто так, эти два дня я разбирался и выполнял заказ на синхронизацию движений губ в видео с рекламным текстом.
Сложность в том, что нужно было не просто оживить статичное фото и наложить звук - с выходом Hedra это сделать можно за пару минут - а заменить озвучку и синхронизировать рот на уже готовом видео с достаточно активной динамикой и сменой планов.
Такие сервисы тоже есть, но чаще всего платные, и не особо дешевые. Например, в Di-D водяной знак убирают только если заплатишь 100$)
И я пошел шерстить просторы интернета в поисках подходящей программы. Потом вспомнил, что я уже упоминал такую, но не разобрался как она тогда работает - Wav2Lip.
Это программа с открытым исходным кодом и с большим количеством вариантов запуска ее - очень много людей сделали на ее основе блокноты в Google Colab, но почти все они уже не работают.
Многие платные сервисы под капотом у себя имеют именно эту программу, кто-то улучшенную, а кто-то чистую. Где-то, в пробном варианте платной нейросети результат у меня получался даже хуже, чем в итоге в этой бесплатной.
В итоге я нашел работающий блокнот, сделал тесты и приступил к работе. Почти весь день сегодня шаманил над роликом. Дополнительно у меня еще попросили еще движения рук персонажа состыковать со смыслом текста, поэтому пришлось делать дополнительный монтаж.
Само видео не буду сюда загружать, потому что его собираются использовать в рекламе, но завтра сделаю для Вас демонстрацию. Пока что можете сами попробовать разобраться в блокноте этой программы - по этой ссылочке.
Доброй ночи всем)
P.S. Пойду себе макарошки с сыром приготовлю.