На рынке видеогенерации происходит интенсивная движуха, сравнимая с февралем этого года, когда Open AI показали Sora и ее возможности. Так как было раньше, уже не будет.
Китай активно допилил свои нейросети, похожие по уровню качества на Sora, типа Open-sora или Kling. Последний, кстати, очень похож на Sora, но рассчитан на внутренний рынок, во всех смыслах - все на китайском, требуется китайская сим-карта и местное приложение, к тому же ходит слух, что европейцев она сгенерировать не сможет.
Как все-таки попробовать Kling бесплатно:
Энтузиаст из X (бывший Twitter) выложил гайд.
Устанавливаем приложение KwaiCut - для IOS , для Android;
Нажимаем кнопку "AI creation" и "apply for experience", чтобы подать заявку;
Далее понадобится китайский номер телефона, можно взять здесь бесплатно;
Также нужен Kuaishou ID, чтобы его получить регистрируемся в приложении - для IOS, для Android - приложения нет в playmarket, отсюда качаем на свой страх и риск;
Далее вы получите смс или push-уведомление, если вам дадут доступ.
На всё уходит около часа. Если у вас есть WeChat и вы в нем зарегистрированы, тогда вы через него можете авторизоваться. Но все на китайском.
Больше полезного в моем телеграм канале, присоединяйтесь)
Dream Machine от Luma
Это то, что у меня получилось
Luma выпустила Dream Machine, свой обзор, видео, которые получились у меня и советы по генерации я изложила в этой статье.
Пока мой топ. Вот официальное видео:
Как сгенерировать видео лучшего качества в Luma Dream Machine
Для получения лучших генераций от Dream Machine есть специальный гайд, который учит:
• Генерация видео с текста: как описывать сцены, действия персов и камеры, изменение текстур и других объектов.
• Оживление изображений: движение камеры, раскадровка.
• Правильное использование Enhance prompt — улучшатель запроса.
Там описано даже как можно следить за героем с помощью Tracking shot.
Для удобства, есть GPTs бот для Dream Machine. Суть - загружаете изображение и бот генерирует промт, который Dream Machine использует для оживления картинки.
Нейросеть уже обновилась и генерирует непрерывные видео до 60 секунд.
А скоро можно будет редактировать каждую генерацию — менять задний фон, главного героя и анимации. Появится библиотека генераций для вдохновения, а у платных подписчиков не будет вотермарок.
Записаться в ранний доступ тут.
Runway GEN-3 Alfa
Непонятно, кто кого опередил - либо Dream Machine первым выкатил обновление, либо Runway захотел нанести ответный удар и представил Gen-3 Alpha, а Luma в ответ обновила Dream Machine. В интернете завирусилось сравнение двух нейросетей:
Факт, что прошлая и эта - прям недели видеогенераторов. Было логично, что Runway срочно что-то придумают. В прошлом они были лучшие в своем деле очень долго.
Заявлено, что модель GEN-3 генерирует ультра-реалистичные видео в два раза дольше до 10 секунд, чем его предшественник GEN-2. К тому же, в видео будет высокая детализация, более плавные и креативные переходы, и фотореалистичная генерация людей. К тому же, обещают, что появится обучение на своих стилях. Больше видео примеров работ GEN-3 на их сайте - посмотрите, не разочаруетесь.
Доступ обещают дать в скором времени
Видео можно будет генерировать по тексту, так и используя изображения, а в будущем добавят инструменты для точечного контроля кадра - более сложные смены сцен.
Что сейчас годного из видеогенераторов, которые можно пощупать. Мой личный топ:
Dream Machine - пока мой топ, подробнее про него в этой статье
Haiper - на втором месте, если загрузить изображение хорошего качества, получается очень реалистично. Подробнее про него и примеры моих генераций в этой статье
Stable Video - на третьем месте из-за того, что бесплатный, в этой статье видео - пример того, что я сгенерировала. Подробнее про него в этой статье
Kaiber - хорошо подходит для мультяшных видео в стиле аниме, генерирует всегда годноту, хорошо переделывает видео в разные стили, но платный, без бесплатного периода. Подробнее про него здесь, про обновления здесь.
Pika - раньше был бесплатный, сейчас платный, в нем много фишек - можно загрузить аудио и нейросеть подстроит липсинк так, что персонаж будет разговаривать как настоящий. Еще можно "растягивать" видео в разные стороны, и сервис сам дополнит пустые места - подробнее в этой статье и заменит объекты на видео в реальном времени - подробнее в этой статье. Но по уровню генерации далеко до Sora и Dream Machine, ждем серьезного обновления от Pika, ведь еще недавно они перегнали Runway GEN-2 и были лучшим видеогенератором, а Runway уже выкатил GEN-3. Так что счет идет на дни.
Хотите узнавать первыми о полезных сервисах с искусственным интеллектом для работы, учебы и облегчения жизни? Подпиcывайтесь на мой телеграм канал НейроProfit, там я рассказываю, как можно использовать нейросети для бизнеса.
