Оживляем детские рисунки через Omni Google

Что вообще такое Omni

Это новая модель от Google. Особенность - она работает сразу с разными типами данных. Кидаешь ей текст - получаешь картинку. Кидаешь картинку - получаешь видео. Кидаешь голос - получаешь текст. Раньше для этого нужно было три-четыре разных нейросети связывать в пайплайн, теперь всё в одной.

Для оживления рисунков она подходит идеально - умеет распознавать что нарисовано, и сама добавляет движение, которое подходит персонажу. Кот будет облизываться, собака - вилять хвостом, человечек - махать руками.

Как сделать (по шагам)

1. Берёте обычный карандашный рисунок на бумаге. Главное - чёткий контур, чтобы линии были видны. Бледный набросок Omni часто понимает плохо.

2. Фотографируете при равномерном свете. Без бликов от лампы, без резких теней - иначе модель примет блик за часть рисунка и попытается анимировать.

3. Загружаете в Omni вместе с промптом - что должен делать персонаж. Получаете на выходе видео 3-5 секунд.

Промпты которые я лично гонял

Все на английском - на русском Omni тоже понимает, но результат пока почище на инглише. Копируй и пробуй.

1. Универсальный - персонаж сам выбирает действие

You are given a hand-drawn pencil sketch on paper. Bring the main character to life in a short animated loop (3-5 seconds). The character should perform one natural action that fits its nature - moving, breathing, blinking, waving. Preserve the hand-drawn pencil style, paper texture and original linework. No new objects, no color changes. Output: looped MP4, soft motion.

С этого начинай. Подходит для любого рисунка. Модель сама придумает что персонаж делает.

2. Перемещение по странице

Take this hand-drawn sketch and animate the main subject so it walks/moves naturally across the paper from left to right and back. The paper background and other elements of the sketch stay completely static. Maintain pencil line quality and slight paper grain throughout. Output: seamless 5-second loop, 24 fps.

Этот для тех случаев когда хочешь чтобы персонаж не просто шевелился на месте, а реально куда-то двигался. На моей собаке зашло отлично - бегала туда-сюда как живая.

3. Рисунок постепенно раскрашивается

Animate this pencil sketch so the main character gently moves while colors slowly fill in from grey-graphite to soft natural tones (3 seconds transition). Keep the line art visible on top of the colors - it should still look like a sketch, just gaining warmth. Background stays paper. Output: 5-second MP4, no audio.

Красиво для открыток - страница как будто "вспоминает" цвета. Жене на 8 марта так сделал валентинку - была в шоке.

4. Несколько сценок собираются в мини-историю

I provide a single photo of a paper page containing 3-4 small consecutive sketches (read left to right, top to bottom). Treat them as a storyboard. Animate each sketch in turn (2-3 seconds per panel) with smooth crossfades between them. Maintain the hand-drawn pencil aesthetic for the whole video. Output: single MP4, 10-15 seconds, no audio.

Самый хитрый - если на одном листе несколько рисунков подряд, получается раскадровка. У меня получилось видео "как кот ловит мышь" из четырёх скетчей. Не Pixar конечно, но смешно.

Что я понял после десятка экспериментов

- Один персонаж в кадре - всегда лучше чем толпа. Если на странице много мелочей, модель сама выбирает кого оживлять, и не всегда того кого ты хотел.

- Толстые линии лучше тонких. Маркер и линер работают идеально, простой карандаш надо обводить.

- Короткое видео лучше длинного. Промпт на 5 секунд - чистый результат. Промпт на 20 секунд - персонаж начинает дёргаться и менять форму. Хочешь длинно - собирай из нескольких клипов.

Как попробовать без ВПЭН

Самый дешёвый способ - Gemini в нашем боте Cyber AI. Без подписки, без ВПЭН, без американской карты - просто Telegram или MAX. Загружаешь фото, копируешь промпт сверху - получаешь видео: TG | MAX

Если хочется полную официальную подписку - есть подписки на нейросети на Озоне. Платишь российской картой, без ВПЭН, чек приходит в личный кабинет Озона. Подходит тем кто работает с Gemini постоянно и хочет максимальные лимиты.

Итого

Прикольная штука. Раньше чтобы оживить рисунок надо было идти в After Effects или собирать пайплайн в ComfyUI с тремя нейросетями. Теперь хватает смартфона, листа бумаги, карандаша и одного промпта. Главное - что эти оживлённые скетчи выглядят теплее чем чистая нейросетевая графика. В них видна рука человека.

Каждый день разбираю фишки нейросетей и делюсь промптами которые реально работают - TG | MAX

"Властелины времени" (Les Maîtres du temps / 1982) Пьель, 7-летний мальчик, попал в пустыню планеты Пердиде, уцелев после атаки гигантских ос. На вызов о помощи откликнулся друг его отца Джаффар. Он держит контакт с ребенком и спешит через пространство к Пердиде…Джаффар еще не знает, что ему придется столкнуться с Властелинами Времени и спасать нужно будет не только ребенка, но и его родную планету…

"Огонь и лед" (Fire and Ice / 1983) Давным-давно, в незапамятные времена, в мире разразилась война между королевством льда и царством огня. Под натиском черной магии повелителя льдов Некрона силы повелителя огня Джарела отступают все дальше на юг. Доблестный воитель Ларн и его таинственный спутник Черная Маска встают на защиту добра и справедливости. Они должны спасти прекрасную принцессу Тигру и избавить народы от злобного Некрона.

"Мир талисмана" (Bâsu / 1984) Аквалоид, родная планета Нам, стала безжизненной пустыней после вторжения иноргаников. Убегая от инограников, Нам встречает Расу, шарик Мунгу и приставучего капитана корабля по имени Бамс. Вскоре они находят Шейд, меч с силой, способной управлять Аквалоидом и отдавать силу людям. К сожалению, из-за этого каждый инорганик на планете хочет уничтожить меч и убить всех причастных.

Реакции, плюсы, и комментарии (ваши личные мысли-мнения) горячо приветствуются!

P.S. тем кто настроен строго на битву жанровых титанов - повсеместно известных мультфильмов (кроме которых, возможно, вы ничего и не смотрели) рекомендую немного отдохнуть. Она будет позже.