Как ИИ-модели генерируют видео⁠⁠

Вы когда-нибудь задавались вопросом, а как ИИ генерирует такие фантастические ролики, что за «магия» происходит в этих моделях в результате, которой мы получаем настолько реалистичное видео. Ребята из MIT Technology Review простым языком рассказали как это происходит.

Если совсем коротко, модель не рисует ролик «пиксель за пикселем». Сначала она ужимает видео в скрытое представление — как бы в компактные «кирпичики» пространства-времени. Так модель смотрит сразу на картинку и на движение, а не теряется в миллионах пикселей.

Практически все современные системы генерации видео — гибриды. Они совмещают два подхода — диффузию (которая пошагово «проявляет» кадры из шума) и трансформер (следит за последовательностью этих «кирпичиков» во времени), чтобы и картинка была качественной, и сцена оставалась связной.

Что делает диффузия: Генерация идёт из «белого шума»: на каждом из десятков шагов модель слегка убирает шум, сверяясь с подсказкой (текст/референсы) и соседними моментами во времени. Так поэтапно чинятся форма, фактура и движение. В результате сцена выглядит более реалистично. Важный момент: модель работает не с пикселями, а в скрытом (latent) пространстве, что обеспечивает высокую скорость генерации и устойчивость результата.

Что такое «скрытый диффузионный трансформер». Диффузию скрещивают с трансформером — архитектурой, которая отлично держит длинные последовательности. Для этого видео «режут на кубики» по пространству и времени, с которыми можно обращаться как с последовательностью слов. Как метко сказал Тим Брукс (Sora): «Это как если бы у вас была стопка всех видеокадров, и вы нарезали её на маленькие кубики». В результате такой трансформер помогает сохранять целостность между кадрами: чтобы объекты не мигали, свет не прыгал, а действия развивались логично.

Такой гибридный подход сейчас является фактически де-факто стандарт в отрасли генерации видео. Да он не лишён недостатков и ресурсоёмок, но он позволяет получать фантастического качества видео, а в некоторых моделях позволяет получать видео сразу со звуком.

#ИИ #видеогенерация

Подписывайтесь на Telegram PromtScout.