Вышла новая модель для генерации видео Wan-Dancer
Разработана новая модель Wan-Dancer (https://huggingface.co/Wan-AI/Wan-Dancer-14B), генерирующая длинные (более 20 с), ритмически синхронизированные, высококачественные (720p и 30fps) танцевальные видео непосредственно из музыки и, в отличие от существующих диффузионных моделей, не ограничена короткими окнами, не страдает от временного дрейфа, потери идентичности и повторяющихся движений.
Предложенным методом стала иерархическая архитектура, разделяющая процесс. Глобальное планирование ключевых кадров по полному музыкальному контексту формирует разреженную структуру танца, задавая долговременную когерентность, а локальное временное уточнение интерполирует промежуточные кадры вокруг ключевых, восстанавливая высокую частоту кадров и детали.
Динамическая адаптация FPS обеспечила внедрение временных меток в позиционные эмбеддинги (RoPE с привязкой ко времени), позволяя генерировать ключевые последовательности под произвольную длительность музыки. Функция потерь на основе оптического потока усилила непрерывность движений и подавила смазывание при быстрых жестах. Контроль скорости движения сгруппировал данные по скорости (медленно, средне, быстро) и управлял темпом через текст.
Дополнительно добавили кастомизацию хореографии через LoRA-адаптацию по нескольким (около 16) примерам, позволяя воспроизводить конкретный танец без полного переобучения. К тому же есть поддержка мультимодальной направляемости, охватывающей аудио, текст и референсное изображение.
Обучение прошло на собственном наборе данных с примерно 200 часов видео 720p (5 жанров, включая китайский классический, K-Pop, латина, чечётка и стрит-дэнс). Двухстадийный процесс начали с предобучения на низком разрешении (320×544), затем приступили к файнтюнингу на нативных 720p с использованием USP-параллелизма (128 GPU A100), применив унифицированный пайплайн тренировки глобальной и локальной моделей за счёт маски ключевых кадров.
В результате метода стабильно генерируются видео длительностью до 160 с (преодолён барьер около 20 с), превосходящие X-Dancer и MusicInfuser по всем метрикам (качество танца, видео и соответствие промту). Абляции подтвердили важность каждого компонента (глобальное планирование, функция потерь на основе оптического потока, динамический FPS и стратификация скорости). Также было продемонстрировано разнообразие при смене музыки, референса или зерна шума, приводящее к разным, но согласованным танцам.
