Похоже теперь любого человека можно заставить говорить все, что угодно. Проект VideoReTalking, представленный на конференции SIGGRAPH Asia 2022, предлагает систему для редактирования видео с говорящими головами в реальном времени на основе входного аудио.
VideoReTalking позволяет создавать видео высокого качества с синхронизацией движения губ даже при изменении эмоций, то есть так, чтобы человек на нём говорил заданный текст с учетом синхронизации движения губ и эмоций, соответствующих звучанию. Технология использует сложные алгоритмы машинного обучения и обработки изображений для достижения реалистичного результата без необходимости ручного вмешательства пользователя.
Процесс
Процесс включает в себя три этапа: генерация видео лица с каноническим выражением, синхронизация движения губ с аудио и улучшение фотореалистичности лица. Все этапы выполняются автоматически без вмешательства пользователя с использованием обучаемых подходов
Достаточно загрузить речь нужного человека и на выходе получить видео, где он говорит ваш текст.
Хоть синтезированный голос отличается, все равно открываются новые возможности для редактирования видеоконтента, но также поднимает вопросы этики и правомерности использования подобных технологий... Что думаете? 😬
Хотите узнавать первыми о полезных сервисах с искусственным интеллектом для работы, учебы и облегчения жизни? Подпишитесь на мой тг НейроProfit, там я рассказываю, как можно использовать нейросети для бизнеса