Pixar-мульт своими руками
Введение
ИИ-инструменты развиваются с такой скоростью, что не успеваешь моргнуть - и уже новая волна: Veo 3, Kling 2.1, Runway References, свежие эффекты от Higgsfield… Всё хочется попробовать!Так и пришла идея: а что, если сделать трейлер к вымышленному фильму? Не просто ради фана, а с пользой - протестировать как можно больше инструментов, отработать операторские приёмы, выстроить рабочий процесс с последовательными персонажами и консистентными сценами. Плюс, конечно, хочется интересный сюжет и запоминающихся героев. Чтобы не усложнять реализацию, решил выбрать стиль, который хорошо ложится на нейросети - что-то в духе Pixar. Ярко, просто, узнаваемо.
Синопсис
Жил-был мальчик на ферме. И вот однажды вечером - бабах! - летающая тарелка похищает корову. Мальчик бросается её спасать… и сам оказывается на борту. Там выясняется, что инопланетяне - слегка чокнутые фанаты молока. Живут на далёкой планете Лактос. Мальчику обещают: "Вернём тебя домой при следующем рейде на Землю!" Один хулиганистый инопланетянин, которому поручили следить за малым, устраивает экскурсию по городу. Вроде бы всё мило и весело, но… внезапно начинается вторжение! На планету налетают хищные Кракосы — другие инопланетяне, которым подавай стейки. Они хотят украсть всех коров!Разворачивается борьба двух космических сил, и тут наш мальчик сыграет решающую роль...
Первый шаг
Пока сюжет настаивается, параллельно работаю над дизайном персонажей. После получения и редактирования первого изображения персонажа от ChatGPT, нужно создать новые картинки для полной базы персонажа. ChatGPT с этим не очень хорошо справляется - с каждой новой генерацией добавляет детали от себя. Поэтому я использую Dzine.ai. Там много функций, но мне понравилась одна - это редактирование изображений с указанием картинки-референса. Для комфортной работы нужно оформить подписку на 20$/месяц.
Вот так шаг за шагом, создается набор картинок с абсолютно одинаковым персонажем в мельчайших деталях.
А зачем этот набор картинок нужен? Для тренировки LoRA, чтобы при генерации персонаж из кадра в кадр был одним и тем же.Обучаю Lora на Replicate: количество картинок у меня вышло 20, стоимость 1$, время тренировки 1 час. Ее можно скачать отдельным файлом и использовать с нейросетью Flux в рабочем пространстве ComfyUI.
База картинок для нашего главного героя.
Кстати, обучить Lora можно на Dzine, но нельзя скачать. Что я сперва и сделал, но сами генерации выходили не такие сочные, как хотелось. Ниже приведу примеры генераций: Dzine и ComfyUI (Flux+Lora персонажа+Lora стиля)
Генерация в ComfyUI
Хотя, генерации от Dzine мне еще пригодились - я их использовал для получения карты глубины. Рабочий процесс для ComfyUI взял с видео OreX на Youtube.
ComfyUI это программа, где рабочее пространство представляет собой доску с нодами, которые в свою очередь позволяют конструировать любые рабочие процессы в зависимости от задач.
Эти быстрые исследования важны - мне нужно понимать, что я могу сделать, а что нет. Сюжет я буду подстраивать, в том числе, под мои технические возможности. Убедившись, что я могу справиться с технической стороной реализации, я возвращаюсь к творческой части: продумыванию идеи, дизайну персонажей.
Следите за проектом в моей Telegram
Приглашаю присоединиться к моему сообществу в Telegram, где я буду публиковать промежуточные результаты и делиться своими открытиями в области ИИ. Продолжение следует!
P.S. С именами для персонажей пока сложно. Приглашаю желающих накидать свои варианты для мальчика и его инопланетного товарища!
