Выбрала те нейронки, где результат видео был не самый плохой, от лучшей к терпимым.

1 Krea
лучшая по морфингу (смешивает 2+ картинок в одно видео) в режиме experimental, мне понравилось больше прочих.

2 Leonardo
достаточно креативно делает сначала статику по вашему промту, из которой генерит динамику.

3 Pika
использует ваш реф+промт, может добавить звук, но видео так себе.

4 Fusion Brain
подписывает файлы как kandinsky, делает видео без рефа, только по промту, слабее предыдущих.

5 Runway
берёт ваш референс + промт, изменения вносит минимальные, не впечатляет.

У каждой из них есть лимит на несколько бесплатных генераций в день.

Видео-сравнение, образы монстра по 1 промту\референсу для каждой нейронки, идут в том же порядке, что перечислены в статье, на видео внизу слева логотипы той нейронки, в которой это сгенерено было.

P.S.: еще есть шедеврум, через приложение на телефон сгенерит даже с промтом на русском, нет элементов контроля, но понимает зато русскоязычный культурный код. Подойдёт для тех, кто не планирует серьезно заниматься нейронками, а просто поиграться.

Подписывайтесь!
нельзяграмм / линкедин / тг / тикток / беханс

Начну этот пост с захватывающего вступительного трейлера, демонстрирующего, что мы можем создать с помощью Pika 1.0.

Трейлер дает нам представление об удивительных видео, которые мы можем создавать с помощью Pika 1.0. Теперь давайте углубимся в то, как создавать подобные видео с помощью этого мощного ИИ-инструмента.

Еще больше полезностей про генерацию изображений - в моем хобби-канале Миджорниум и в канале про нейросети AiLife.

Обзор создания видеороликов с помощью Pika 1.0

Ознакомительный трейлер показал, что Pika 1.0 позволяет создавать высококачественные анимированные видеоролики с помощью простых текстовых промптов. Мы можем объединить несколько видеоклипов, созданных на основе промптов, чтобы создать полноценное видео.

Хотя в примере трейлера не использовались закадровый голос или переходы, мы можем поднять его на более высокий уровень, добавив закадровый голос, фоновую музыку, переходы между клипами и спецэффекты. Это дает нам возможность создавать видео, отвечающее нашим потребностям, - от простых анимационных роликов до более сложных кинематографических трейлеров.

В этом посте мы подробно рассмотрим Pika 1.0 - функции, способы написания эффективных промптов и шаги по созданию индивидуальных видео. Давайте начнем!

Начало работы с Pika 1.0

Получить доступ к Pika 1.0 очень просто - зайдите на сайт pika.art и авторизуйтесь. Для входа вы можете использовать свой аккаунт Google или Discord.

После входа вы увидите панель инструментов Pika 1.0. Здесь вы можете посмотреть примеры видео на странице Explore, сделанные другими людьми. В моей собственной библиотеке также есть несколько примеров видео, которые я создал, тестируя промпты.

Самый важный раздел - это панель промптов в верхней части с надписью "Describe your story". Здесь мы будем вводить текстовые промпты, чтобы указать Pika 1.0, какое видео мы хотим получить.

Нажав Enter или кликнув на значок звезды, мы создадим видео. Но прежде чем мы перейдем к промптам, давайте рассмотрим некоторые ключевые особенности Pika 1.0.

Основные функции

Под панелью промптов находятся опции для добавления образцов изображений/видео. Это позволяет подобрать для Pika 1.0 примеры, которые будут соответствовать стилю и содержанию создаваемого видео.

Далее следуют Video Options, такие как aspect ratio (соотношение сторон), FPS, and motion controls. Aspect ratio определяет ориентацию и соотношение сторон (16:9б 1:1 и др). Я рекомендую придерживаться стандартного значения 24 FPS.

Camera control (элементы управления движением) очень удобны - они позволяют управлять движением и углом наклона камеры в сгенерированном видео. Такие опции, как panning, tilting, zooming and rotating, дают возможность гибко управлять перспективой просмотра.

Strength motion (параметр силы) управляет скоростью движения. Более высокий показатель означает более быстрое движение. Это полезно, если вам нужно быстро увеличить или повернуть изображение.

Наконец, в параметрах есть такие дополнительные опции, как Negative prompt (отрицательные промпты) - фразы, которые указывают Pika 1.0, что НЕ нужно добавлять в видео. Это помогает избежать нежелательных элементов, таких как деформации.

Также можно точно настроить согласованность видео и задать пользовательский номер семпла. Опция сброса восстанавливает настройки по умолчанию.

Итак, Pika 1.0 предоставляет надежный набор инструментов для настройки анимированного видео. Теперь давайте начнем!

Создание первого видео

Я расскажу, как сгенерировать простой первый видеоролик с помощью Pika 1.0. Начнем с ввода промпта "a wolf under the moonlight".

Пока что мы будем использовать настройки по умолчанию. Когда все будет готово, нажмите Enter, чтобы сгенерировать видео.

Появится миниатюра, указывающая на то, что видео находится в процессе создания. Подождите некоторое время, чтобы оно обработалось.

Потрясающе, видео готово! Нажмите на значок расширения, чтобы лучше рассмотреть его. Как видите, получилась красивая сцена с волком под лунным небом. Промпт сработал отлично и не потребовал никаких других действий.

Вы можете скачать видео с помощью кнопки Download. Давайте рассмотрим и другие варианты.

Опции после создания видео

После создания видео у вас есть такие опции, как Retry, Delete, Info, Reprompt, Extend и Upscale.

При нажатии на Retry создается другая версия, которая может быть лучше оригинала. Давайте повторим видео с волком и посмотрим, получим ли мы лучший результат.

Теперь у нас есть две версии видео с волком, расположенные рядом друг с другом. Вторая попытка выглядит более мультяшно. Тем не менее фон выглядит потрясающе.

Негативные промпты могут помочь уменьшить искажения. Об этом я расскажу позже. А пока давайте загрузим видео с помощью кнопки загрузки.

Кнопка Delete удаляет видео навсегда, поэтому используйте ее осторожно! Info показывает параметры, использованные при создании видео.

Повторные генерации, ввод другого промпта и удаление видео

Reprompt автоматически копирует промпт и параметры, чтобы вы могли заново создать видео с теми же настройками. Полезно для повторения и тонкой настройки видео.

Также мы можем генерировать новые видео, например, с проиптом "a spacecraft traveling towards the sun". Pika 1.0 ставит в очередь несколько рендеров видео, завершая их один за другим.

Таким образом, повторный запрос, повторная попытка и удаление дают нам возможность лучше контролировать процесс создания высококачественных видео, соответствующих нашему видению.

Теперь давайте посмотрим на улучшение согласованности.

При нажатии на значок информации отображаются такие подробности, как промпт, отрицательные промпты, соотношение сторон, номер семпла и многое другое для сгенерированного видео.

Эта информация помогает понять, как было создано видео. Анализ этих данных позволяет уточнить промпты и настройки, чтобы улучшить будущие видео.

Например, мы можем понять, что определенный негативный промпт хорошо работает для конкретного стиля анимации. Мы можем использовать его повторно, чтобы сохранить последовательность во всех видео.

Функция Reprompt удобна для повторного создания видео, чтобы раз за разом улучшать его. При нажатии она автоматически заполняет промпт, параметры и ссылки, чтобы быстро переделать видео.

Таким образом, функции Info и Reprompt предоставляют ключевые сведения для последовательного создания видеороликов в течение долгого времени.

Эффективные промпты и стили для Pika 1.0

Теперь я расскажу про промпты, которые хорошо работают в Pika 1.0, а также про стили анимации, с которыми она эффективно справляется.

Один из стилей, в котором Pika 1.0 преуспела, - это анимация в духе Marvel Studios. Хотя они и не идентичны на 100 %, видеоролики получаются очень близкими по качеству.

Добавление "Marvel Studios animation style" поднимает его на новый уровень. То же самое можно сказать и о роликах в стиле Pixar, добавив фразу "Pixar style".

Pika 1.0 стала заметно лучше разбираться и в аниме. "Studio Ghibli style" - хорошее ключевое слово для промптов по аниме.

Анимационные ролики в стиле Диснея также хорошо работают. Главное - четко указать желаемый стиль в промпте. Это поможет Pika 1.0 генерировать видео, соответствующее этому жанру.

Также вы можете настроить видео, например, для влогера, снимающего на камеру, используя промпты типа "A man vlogging about his travel experiences". Более описательные промпты приводят к лучшим результатам.

Увеличение продолжительности видео в Pika 1.0

Изначально Pika 1.0 генерирует 3-секундные видеоклипы. Но мы можем продлить их до 7 секунд с помощью опции "Add 4 seconds".

Давайте посмотрим на это в действии. Мы используем видеоролик с волком и добавим к нему 4 секунды.

Нажмите кнопку Add 4 seconds. Теперь на панели промптов отображается оригинальный промпт, а первые 3 секунды используются в качестве ссылки для создания дополнительного 4-секундного ролика.

Мы можем изменить промпт для расширения - давайте добавим "The wolf is running through the forest". Нажмите кнопку Generate, чтобы создать более длинное видео.

И у нас есть полноценный 7-секундный ролик! Расширенная часть органично сочетается с оригинальными 3 секундами.

Это позволяет нам более гибко подходить к длине видео, чтобы донести историю или сообщение. Повторное удлинение до 4 секунд позволяет создавать более длинные видео из нескольких промптов.

Повышение разрешения видео

Pika 1.0 также позволяет повысить разрешение видео с помощью искусственного интеллекта.

Нажмите на кнопку "Upscale" на любом видео, чтобы Pika 1.0 повысила качество изображения и удалила артефакты.

Давайте увеличим масштаб видео с волком. Это создаст вторую увеличенную версию рядом с оригиналом.

Как и ожидалось, увеличенное видео с волком выглядит более четким и плавным. Более высокое разрешение улучшает впечатления от просмотра.

Повышение масштаба отлично помогает убрать все недостатки и создать видео лучшего качества, которое визуально выглядит более эффектно.

Использование негативных промптов

Теперь давайте обсудим технику опытного пользователя - негативные промпты - для устранения несоответствий в сгенерированных видео.

Некоторые видео могут иметь такие дефекты, как искаженные элементы или плохая анатомия. Негативные промпты содержат инструкции, позволяющие избежать этих проблем.

Например, такие промпты, как "bad anatomy" и "distorted", говорят Pika 1.0, что нужно избегать этих недостатков. Это повышает качество и согласованность.

Я продемонстрирую это на примере анимационного ролика с разъяренным Халком. Начальная 3-секундная сцена имеет некоторые искажения.

Давайте сначала увеличим ее до 7 секунд. Добавленная часть имеет видимые проблемы вокруг рта и зубов.

Теперь мы исправим это с помощью негативных промптов. Зайдя в "Параметры", я добавлю промпты типа “bad anatomy”, “distorted”, “deformed”, “blurry” и т. д.

Снова генерируем видео с этими негативными промптами... отлично, это помогло значительно уменьшить количество дефектов! Рот и зубы теперь выглядят более естественно.

Таким образом, негативные промпты дают нам больше возможностей контролировать ИИ, чтобы получить высококачественные результаты, соответствующие нашим стандартам.

Дополнительные функции, о которых еще стоит рассказать

Есть еще несколько функций Pika 1.0, о которых я расскажу в следующих постах:

• Использование эталонных изображений и видео

• Расширенные средства управления движением, такие как масштабирование и панорамирование

• Генерация видео из видео

• Увеличение размера холста

• Изменение областей видео

Изучение этих возможностей поможет нам освоить создание видео с помощью Pika 1.0. А пока давайте применим полученные знания на практике и создадим целый трейлер!

Создание трейлера

Пришло время объединить все, что вы узнали о Pika 1.0, и сгенерировать полноценный трейлер или интро.

Мы будем использовать шаблон сценария промпта, чтобы задать сцены, промпты и длительность. Скопируйте приведенный ниже промпт и используйте его в Claude AI или ChatGPT, чтобы получить сценарий трейлера.

Я хочу создать лаконичный одноминутный анимационный трейлер с помощью Pika Labs. Анимация будет вдохновлена характерным стилем Studio Ghibli. Pika способна генерировать сцены длительностью до 3 секунд, хотя возможно и большее расширение при сохранении того же сценария. Вот примеры эффективных промптов для Pika Labs:

1. A werewolf under the moonlight, Pixar-style.

2. A man aboard a train, Studio Ghibli-style.

3. A picturesque summer city landscape, Studio Ghibli-style.

4. A zebra navigating through a field, Studio Ghibli-style.

5. A woman at the beach, Studio Ghibli-style, captured in a close-up shot.

Мне нужно создать краткий сценарий для трейлера, вдохновленный комиксами Marvel. Кроме того, необходимо сформулировать промпты для каждой сцены с учетом длины ролика, создаваемого Pika.

Это дает Pika 1.0 основу для создания каждого ролика. При необходимости измените формулировки, чтобы настроить повествование, сюжет и стиль анимации.

Используйте негативные промпты, повторные попытки и повышение масштаба для тонкой настройки каждого видеофрагмента. Удлиняйте короткие клипы и соединяйте их в финальный трейлер.

Добавьте переходы, закадровый голос, звуковые эффекты и фоновую музыку в готовый ролик, чтобы вывести его на новый уровень!

Приложив немного творчества и усилий, вы сможете создавать потрясающие трейлеры, используя рассмотренные сегодня приемы. Возможности Pika 1.0 поистине безграничны.

Шаблон видео и концовки

В качестве бонуса я прилагаю шаблон трейлера, чтобы вы могли легко создавать свои собственные трейлеры для Pika 1.0. Вот ссылка на шаблон.

На этом я завершаю это подробное руководство по созданию видео с помощью Pika 1.0! В нем я подробно описал возможности, техники промпта и способы улучшения видео.

Следите за следующими статьями, а пока начните создавать свои собственные уникальные видео с помощью этих советов!

Еще больше полезностей про генерацию изображений - в моем хобби-канале Миджорниум и в канале про нейросети AiLife.

Оригинал статьи на английском - здесь.