Как я милого робота делал
Для лл: да, через нейронки, да для одного проекта.
У меня была задача, сделать такого милого робота, который будет помогать пользователям разбираться в сервисе ну и может иногда выступать в роли какого то публичного лица скажем так, грубо говоря Маскот. Поскольку я часто работаю с нейронками по основной своей сфере, решил попробовать полностью новый пайплайн только через них. Так то раньше я бы занялся сбором референсов, моделингом, риггингом, анимацией, светом, рендером, монтажем, постобработкой всего этого в афтер эффекте и валерьянкой от его вылетов, но в современную эру, можно все эти действия на недели 2-3 сократить до пары часов и получить приемлимый или очень хороший результат.
Что использовалось в задаче?
ChatGPT Image 2.0
Claude Opus 4.7
Seedance 2.0
After Effects 2026
А последовательность была такая.
Сначала, я в голове у себя придумал идеи деталей, мне важны были формы, какие уши будут, руки ноги, экраны + поискал похожее в интернетах. Попросил Клода (можно наверное и того же GPT) сгенерировать сначала структурированную идею из моих заметок, а потом промпт, для GPT (или себя же) что бы отрисовать в T-Pose (это важно) то, что мне нагенерировал. Ну и дальше все просто. Закинул этот промпт в GPT Image, получил на выходе вот такой результат.
T-Pose персонажа
Следующим промптом, я уже взял это изображение, и попросил сгенерировать этого же персонажа, только в профиль
Профиль персонажа
Ну и последним промптом для подготовки к основному действию, я попросил сгенерировать универсальную позу, для переходных состояний. Это та самая поза из которой начинается любое действие и ею заканчивается. Важно это зафиксировать именно в изображении, что бы у Seedance не было соблазна каким то образом выдумать это.
Idle состояние
Ну и в целом, подготовительная часть с визуалом робота - закончена. Дальше, мне надо было придумать небольшое количество сценок, для сервиса в целом.
Сцена с поездкой в отпуск
Сцена с кошельком
Сцена с получением большого количества данных
Сцена со скачиванием приложения или указанием персонажа на него, важно сохранить UI приложения внутри видео.
Сцена приветствия
3 Idle сцены, разной длины и характера.
Со всеми этими сценами, я снова пошел в Claude. Постарался расписать каждую из них максимально подробно и указал что мне на выходе нужен промпт, для Seedance. На выходе получил вот такое:
Ну и как видно, персонаж на всех видео получился консистентным и постоянным. Единственная ошибка - масштаб удаления персонажа от камеры, он немного разнится от видео к видео, но это не беда, так как дальнейшие действия в After Effects позволяют это исправить. Тк все равно нужен Keying/Маскирование и удаление фона. + небольшая цветокоррекция переходов.
Вот так выглядит откееный результат.
Основной секрет того, что бы персонажи были постоянными, четкими и никогда не видоизменялись, это референсы. При каждом упоминании в промпте слова персонаж, или какого то ссылания на него, я прикреплял через @Image нужное изображение которое является референсом, это помогло в каждом ролике сделать одного и того же персонажа не видоизмененным.
Мы можем указывать какие кадры использовать для начала и конца, это позволит нам дальше бесшовно соединить это в единую State Machine, для различных ситуаций.
Ну и конечно, сам промпт для Seedance (не существует магического промпта сделай красиво) - должен быть максимально подробным. Вот на примере стула, я указывал даже с какой стороны у стула спинка. Нейросеть - максимально прямолинейна, если это не указано - она выдумает(и не правильно), поэтому в своих промптах, расписывайте всё. Свет, ракурс, удаление от камеры, запрещайте спавнить предметы в кадре без анимаций (если так не нужно) и тд.
Финальный результат вот такой. Осталось полирнуть код, состояния переходов и прочие маленькие ньюансы. Но результат у современных нейросетей - впечатляющий.