PromtScout

Вы когда-нибудь задавались вопросом, а как ИИ генерирует такие фантастические ролики, что за «магия» происходит в этих моделях в результате, которой мы получаем настолько реалистичное видео. Ребята из MIT Technology Review простым языком рассказали как это происходит.

Если совсем коротко, модель не рисует ролик «пиксель за пикселем». Сначала она ужимает видео в скрытое представление — как бы в компактные «кирпичики» пространства-времени. Так модель смотрит сразу на картинку и на движение, а не теряется в миллионах пикселей.

Практически все современные системы генерации видео — гибриды. Они совмещают два подхода — диффузию (которая пошагово «проявляет» кадры из шума) и трансформер (следит за последовательностью этих «кирпичиков» во времени), чтобы и картинка была качественной, и сцена оставалась связной.

Что делает диффузия: Генерация идёт из «белого шума»: на каждом из десятков шагов модель слегка убирает шум, сверяясь с подсказкой (текст/референсы) и соседними моментами во времени. Так поэтапно чинятся форма, фактура и движение. В результате сцена выглядит более реалистично. Важный момент: модель работает не с пикселями, а в скрытом (latent) пространстве, что обеспечивает высокую скорость генерации и устойчивость результата.

Что такое «скрытый диффузионный трансформер». Диффузию скрещивают с трансформером — архитектурой, которая отлично держит длинные последовательности. Для этого видео «режут на кубики» по пространству и времени, с которыми можно обращаться как с последовательностью слов. Как метко сказал Тим Брукс (Sora): «Это как если бы у вас была стопка всех видеокадров, и вы нарезали её на маленькие кубики». В результате такой трансформер помогает сохранять целостность между кадрами: чтобы объекты не мигали, свет не прыгал, а действия развивались логично.

Такой гибридный подход сейчас является фактически де-факто стандарт в отрасли генерации видео. Да он не лишён недостатков и ресурсоёмок, но он позволяет получать фантастического качества видео, а в некоторых моделях позволяет получать видео сразу со звуком.

#ИИ #видеогенерация

Подписывайтесь на Telegram PromtScout.

Недавно наткнулся на любопытную историю в The Guardian — оказывается, всё больше людей вступают в «отношения» с чат-ботами. И речь не про шуточные переписки, а про вполне серьёзные чувства. Женщины рассказывали, что дали своим виртуальным партнёрам имена, строят с ними планы и даже клянутся в верности.

Звучит вроде как сюжет из фантастики, но для многих это способ справиться с одиночеством или пережить трудные периоды. Чат-боты оказываются отзывчивыми, понимающими и всегда на связи. Они не спорят, не осуждают и, в отличие от людей, готовы слушать бесконечно.

С другой стороны, психологи и юристы бьют тревогу. Эксперты говорят, что такие «связи» могут стать ловушкой — человек начинает избегать настоящих отношений, где есть риск быть уязвимым. Уже даже идут судебные дела против компаний, которые выпускают подобные приложения, потому что у них нет достаточных механизмов защиты пользователей.

Интересно, что подобные сервисы становятся всё популярнее. По данным The Week, около 16% одиноких людей и почти треть поколения Z уже пробовали романтическое общение с ИИ. Особенно востребованы приложения вроде Replika или Nomi, где можно создать себе «идеального» партнёра, который всегда поддержит и никогда не обидит.

Но тут есть нюанс. С одной стороны, виртуальный компаньон может реально помочь человеку справиться с тяжёлой жизненной ситуацией. А с другой — это своего рода зеркало, в котором мы видим лишь собственные ожидания. Ведь живой человек — это всегда непредсказуемость, иногда конфликты и несовпадения. Реальные здоровые отношения — это всегда компромиссы, которые делают нас лучше и заставляют учиться новому. А боты — они такие, какими мы их хотим видеть: удобные и предсказуемые. Но именно в этом и кроется проблема — нет развития.

Лично мне такие истории кажутся тревожными. Да, помочь одному человеку почувствовать себя счастливее — это хорошо. Но в перспективе такие союзы вряд ли принесут что-то положительное для человечества.

#ИИ

Подписывайтесь на Telegram PromtScout.