Привет, друзья! Сегодня хочу поделиться с вами невероятно крутой новинкой из мира нейросетей. Познакомьтесь с Step-Video-T2V – новым опенсорс видеогенератором из Китая, который буквально взрывает представления о том, как можно создавать видео по текстовым запросам.

🔥 Что это за зверь?

Step-Video-T2V – это текстово-видео модель с 30 миллиардами параметров , способная генерировать видео длиной до 204 кадров с разрешением 544x992 пикселей . Модель использует передовые технологии для сжатия видео и обработки данных, что делает её одной из самых мощных и эффективных на сегодняшний день.

🌟 Чем она отличается от конкурентов?

✅ Масштабируемость: Поддерживает как английский, так и китайский языки, что делает её универсальной для международного использования, даже русский как-то понимает.

✅ Глубокое сжатие видео (Video-VAE): Благодаря уникальной технологии Video-VAE, модель достигает сжатия видео в 16x16 пространственно и 8x временно , сохраняя при этом высокое качество воспроизведения.

✅ Direct Preference Optimization (DPO): В финальной стадии обучения применяется DPO – метод, основанный на предпочтениях пользователей, чтобы сделать видео более реалистичными и минимизировать артефакты.

✅ Высокая производительность: Для работы модели требуется 80 ГБ VRAM , но результаты того стоят: генерация занимает всего 743 секунды с использованием flash-attention.

🛠 Как начать использовать Step-Video-T2V?

Регистрация доступна прямо сейчас! Просто переходите на официальный сайт проекта:

→ Попробовать Step-Video-T2V онлайн

Для входа потребуется только ваш номер телефона (код приходит даже на российские номера через Telegram или SMS).

Если вы хотите использовать модель локально или интегрировать её в свои проекты, загрузите код и веса с GitHub или Hugging Face:

💻 GitHub: https://github.com/stepfun-ai/Step-Video-T2V

🤗 Hugging Face: https://huggingface.co/stepfun-ai/stepvideo-t2v

Ждем когда модель ужмут до 24 гигов, а пока насилуем китайский сервер, там очередь уже 200 человек каждый раз 👀

Скидывайте то, что у вас получается в комментарии к посту 👇

Источник – Nerual Dreming❤️

🎬Исследователи из Пекинского университета и Hedra Inc. представили новую модель для генерации видео, которая реально впечатляет. В чём фишка?

🔥 Особенности:

🟣 Создаёт видео длиной до 60 секунд

🟣 Работает молниеносно — генерация занимает всего минуту

🟣 Использует умный двухэтапный подход: сначала картинка, потом видео

🟣 Может работать всего за 4 шага (для сравнения, обычно нужно 50)

Главное преимущество Magic 1-For-1 перед конкурентами — способность создавать действительно длинные ролики. Если Pika и Runway генерируют короткие клипы по 4-8 секунд, то эта модель замахнулась на полноценную минуту! 🚀

Демо и примеры находятся тут: https://magic-141.github.io/Magic-141/

Как вам такой прогресс? Возможно, скоро нейросети смогут создавать полноценные фильмы? 🤔

Источник - Нейро-Пушка🎯