На GitHub появилась ИИ-модель с открытым исходным кодом Loopy, которая позволяет генерировать реалистичные видео
Вы когда-нибудь замечали, что цифровые персонажи иногда делают неестественные движения при разговоре?
Loopy - это диффузионная модель с открытым исходным кодом, призванная решить эту проблему, используя только аудио для создания видео с говорящими или поющими персонажами.
В отличие от традиционных моделей, Loopy фиксирует длительное движение, благодаря чему получается более плавная и естественная анимация.
Она улучшает мимику и аудиовизуальную синхронизацию, обеспечивая более реалистичное восприятие цифровых персонажей и виртуальных взаимодействий.
Я заметил, что эта модель создает вполне реалистичные видео, так как движения головы, выражения лица и движения губ выглядят максимально естественно.
Источник: ТГ-канал про нейросети