Luma Ai dreaming machine - нейросеть которая оживляет фото⁠⁠

Luma Ai dreaming machine - нейросеть которая оживляет фото. В этом руководстве будет продемонстрирован процесс оживления неподвижного изображения в боте Telegram с использованием возможностей нейронной сети Luma. Заранее сообщим, что Luma имеет возможность создавать анимацию без исходного изображения, но этот метод мы рассматривать не будем, так как он не стабилен.

Для оптимального использования нейросети Luma dreaming machine крайне важно использовать оригинальные изображения высокого качества, соответствующие вашим ожиданиям, будь то фото, или изображения, созданные с помощью искусственного интеллекта, такого как Midjourney, Stable Diffusion или DALL-E.

На нашем канале в телеграм выложены множество примеров генераций (с промптами), которые были созданы с использованием нейросетей: Midjourney, Stable Diffusion и DALL-E 3.

анимация сгенерированной картинки в Luma Ai dreaming machine

Варианты оживления фото с помощью нейросети Luma Ai dreaming machine

1. Использование изображения с промптом (текстовый запрос) для оживления фото.

Этот метод широко распространен из-за его простоты и доступности.

• зайдите в бот @yes_ai_bot внутри Telegram;

• нажмите на кнопку «нейросети: [изменить]» в опциях нижнего меню;

• выберите вариант с надписью «Yes Video (для работы с видео)»;

• выберите функцию «Ani-Image», чтобы придать вашему изображению движение»;

• загрузите в чате с ботом изображение, убедившись, что его размерные параметры (высота и ширина) не превышают 2000 пикселей;

• в появившемся меню выберите нейронную сеть, обозначенную «🐠 Luma» (см. пример ниже)».

• чтобы добавить текстовый запрос (промпт), выберите кнопку «Prompt», а затем функцию «♻️ Изменить» (см. пример ниже);

• напишите в промпте краткое описание предполагаемого действия, изображенного на изображении. ИИ умеет вдохнуть жизнь в сцены с участием объектов, людей и существ, однако не стесняйтесь углубляться в более инновационные визуальные эффекты. Очень важно понимать, что Luma может не идеально выполнить анимацию, и некоторые аспекты вашего описания могут быть опущены;

• отправив готовый промпт, воспользуйтесь кнопкой «⬅️ Вернуться назад»;

• запустите анимацию, нажав на «🎞 Анимировать изображение».

В итоге вы получите 6 секундный анимированный видеоролик за пару минут.

Руководство по изготовлению промптов для Luma Ai №1: Краткая инструкция

Опишите характеристики объекта в сцене: его поведение, траекторию и т. д. В этом случае ИИ Лума попытается дополнить описанные вами особенности анимации, например:
Молодая девушка идет по улице.

Обратите внимание, что с помощью Yes Ai Bot вы можете отправлять промпты (текстовые запросы) на любом языке, включая русский.

Руководство по изготовлению промптов для Luma Ai №2: Подробная инструкция

Соблюдайте следующую процедуру:

• предлагайте подробные инструкции относительно компонентов сцены, включая процедуры, которые необходимо выполнить с ними, сюжетную линию главного героя и любые конкретные движения, такие как хореография;

• уточните маршрут камеры: определите, должна ли она фокусироваться (zoom in), отодвигаться (zoom out) или сдвигаться по горизонтали или вертикали. Уточните фон, игру света и дополнительные тонкости, например:
  девушка в лазурном платье идет по переулку, глядя вперед. Ветер поднимает ее шаль вверх. Сияющий солнечный свет подчеркивается по мере того, как камера медленно удаляется, позволяя солнечным лучам игриво мерцать на стеклах соседних построек.

Выбор сложного анимированного изображения требует тщательного рассмотрения различных компонентов, таких как персонажи, настройки и дополнительные атрибуты. Крайне важно определить не только предмет в каждом кадре, но и запланированные движения или взаимодействия между этими компонентами, включая такие действия, как прогулка, прыжки, выполнение танцевальных движений или полет.

Для достижения продвинутых результатов обычно требуется несколько попыток, поэтому крайне важно оттачивать свои способности создавать рекламные ролики и умело выбирать изображения. Решение об исходном изображении имеет решающее значение. Выбирайте четкие изображения или фото, на которых четко различимы объекты и люди. В противном случае, если изображения нечеткие или искаженные, анимация может быть с ошибками.

2. Использование изображения с финальным кадром для оживления фото.

Использование этого метода на практике проста, однако качество анимированного видеоролика во многом зависит от последовательности предоставляемых изображений.

Возьмем, к примеру, стартовый кадр, изображающий маневры уклонения Нео под градом пуль из «Матрицы», контрастирующий с финалом, где показан знаменитый портрет Моны Лизы работы Леонардо да Винчи. Становится очевидным, что создание анимации высшего качества будет трудной задачей, учитывая резкое несоответствие тематики этих двух изображений.

Когда начальный и финальный кадр изображают одинаковые или почти идентичные объекты под разными углами и точками обзора, шансы на создание бесшовной анимации значительно повышаются.

Ключевой принцип, которого следует придерживаться, прост: чем ближе сходство между исходными изображениями, тем более плавной и последовательной будет конечная анимация.

Чтобы начать процесс создания анимации с помощью нейросети Luma с двумя изображениями сделайте следующее:

• вернитесь к @yes_ai_bot и выберите нейросеть «Yes Video», после чего выберите «Ani-Image»;

• загрузите в чате с ботом изображение, которое станет отправной точкой для вашего анимационного эпизода;

• по запросу выберите в меню вариант «Финальный кадр», а затем нажмите «📥 Загрузить», как показано на скриншоте;

• загрузите в чате с ботом второе изображение (финальный кадр) которое должно изображать заключительную сцену вашей анимации;

• после отправки промпты выберите опцию «↖️ Вернуться назад», чтобы начать создание анимации.

Подумайте об тестировании различных художественных стилей, таких как фотореализм или аниме и других. Не забудьте продемонстрировать свои анимации, разместив их в специально отведенном разделе Luma в нашем сообщества Telegram.

3. Использование изображения с финальным кадром и с промптом для оживления фото.

Этот метод объединяет два вышеупомянутых подхода, позволяя вам определить как начальный, так и конечный кадр анимации, используя при этом текстовый запрос (промпт). Этот подход обеспечивает более последовательный результат для анимации.

Дополнительных разъяснений не требуется, просто следуйте рекомендациям, изложенным в предыдущих методах.

Важно отметить, что анимации, созданные с помощью Luma, имеют возможность продления, а именно, искусственный интеллект может продлить продолжительность существующих видео.

Инструкция по продлению ваших видео с помощью Luma Ai:

• cледите за оповещением о том, что предыдущая задача завершена;

• перейдите к настройкам видео под клипом, выберите «⏩️ Продлить видео», а затем «⏩️ Продолжить видео»;

• вам будет предложено создать текстовый запрос для предстоящего 5-секундного сегмента; убедитесь, что вы соблюдаете правила при составлении промпта;

• дождитесь завершения процесса продления анимации вашего видео.

Вы можете повторить этот метод несколько раз, чтобы включить 5-секундную анимацию в свой видеопроект. Каждый раздел видео можно оживить с помощью разнообразных промптов.

Если обнаружите, что анимация сгенерировалась не так как вы хотели, достаточно легко вернуться к более раннему этапу и продлить видео с помощью другого доработанного промпта.

4. Управление динамикой камеры в Luma 1.6

📅 [Обновление Luma до версии 1.6: 4 сентября 2024 г.]
Последняя версия нейросети Luma Dream Machine 1.6, предлагает пользователям возможность управлять углами камеры во время анимации изображений. Чтобы использовать эту новую функциональность, включите в промпт токен (слово-фраза), определяющий желаемое движение камеры.

Вот список токенов (слов), доступных для настройки камеры в Luma Dream Machine:

• camera move left (движение камеры влево)

• camera move right (движение камеры вправо)

• camera move up (движение камеры вверх)

• camera move down (движение камеры вниз)

• camera push in (приближение камеры)

• camera pull out (отдаление камеры)

• camera pan left (поворот камеры вокруг влево)

• camera pan right (поворот камеры вокруг вправо)

• camera orbit left (камера вращается вокруг объекта слева)

• camera orbit right (камера вращается вокруг объекта справа)

• camera crane up (камера вращается вокруг объекта вверх)

• camera crane down (камера вращается вокруг объекта вниз)

Делая новый запрос на анимацию с помощью Luma, убедитесь, что вы включили желаемый метод движения камеры в свои промпт, в телеграм боте @yes_ai_bot

Достижения нейронной сети Luma очевидны, особенно по сравнению с ее предшественником Stable Video Diffusion. Прогресс отмечен расширенным набором возможностей, интеграцией промптов и возможностью указывать как финальные, так и промежуточные кадры.

Хотя нейронная сеть Luma добилась заметных успехов, сохраняется ряд проблем:

• система может игнорировать прямые промпты, когда сталкивается с двусмысленностью интерпретации визуального контента;

• выражение лица человека может меняться на протяжении всего процесса анимации;

• некоторые действия, особенно связанные с передвижением, могут не передавать убедительного ощущения реализма.

Тем не менее, следует признать, что прогресс в технологии нейронных сетей происходит быстро, а это позволяет предположить, что возможности Luma будут значительно расширяться в ближайшем будущем.