awyeah

И что теперь? Сидеть пить смузи, и ждать когда просмотры начнут расти в геометрической прогрессии? Не, наш подход!

Поэтому я решил открыть нашу бухгалтерию и понял, что пора со смузи переходить на воду.

Этап 1: Зоопарк подписок и великий исход в Seedance

Любой ИИ-творец начинает с мысли, что ему хватит одной нейросети. Ха-ха. Три раза ха.

Для создания концептов и базовых кадров вам нужен Midjourney. Базовая подписка — 10$. Но она кончится на этапе подбора цвета глаз главного героя. Вы берете тариф Pro за 60$ (около 5 500 ₽) ради безлимита.

Картинку надо оживить. На заре нашего проекта мы пытались юзать все, что видели. Покупали Unlimited в Runway за 95$, но он превращал робота в груду вибрирующего железа. Плевались, шли за китайским Kling за 66$ ради хорошей физики. Докупали Luma за 30$ для панорам. В какой-то момент этот зоопарк подписок и костылей нас доконал.

Все это осталось в прошлом. Сейчас мы остепенились и для анимации используем исключительно Seedance. Это невероятная, ультимативная машина для генерации, которая делает просто космос.

Но думаете, стало дешевле? Фигушки! Базовые лимиты там сгорают быстрее, чем персонаж успевает моргнуть. Чтобы делать серьезный хронометраж, подписка и доп-пакеты кредитов на Seedance высасывают из нас порядка 200–300$ (около 20 000 ₽) на базовый мульт.

А это мы еще даже звук не включили.

Этап 2: Голоса тоже стоят денег

Чтобы робот или люди заговорили, нужны дикторы + ИИ-синтез голоса (например ElevenLabs). Тариф Creator стоит 22$ (до 2 000 ₽) в месяц за 100 000 символов + дикторы берут от 1000 ₽ за лист А4 с текстом 12 кеглем.

Дальше нужна музыка (Suno AI) — 10$ (900 ₽). Подписка на стоки для звуков шагов и ветра (нейросети тоже умеют генерировать звуки, но иногда ошибаются, поэтому лучше использовать про-ресурсы типа Envato или Artlist) — еще около 15$ (1 350 ₽).

Этап 3: Железо, жесткие диски и т.д.

Даже Seedance выдает материал, который нужно дотягивать до киношного 4K. Для этого нужен софт вроде Topaz Video AI. Лицензия стоит 299$ (27 000 ₽) — разово, слава богу.

Но если вы запустите рендер 4K-видео через ИИ на домашнем ноутбуке, он просто выйдет в окно. Нужна видеокарта хорошего уровня. Это от 150 000 до 250 000 ₽ инвестиций в железо.

А куда складывать терабайты бракованных генераций? Удалять жалко, вдруг пригодится кусок, где у собаки пять ног? Покупаем Яндекс.Диск на 3 ТБ — еще 500 ₽ в месяц (при оплате за год)

Подводим итог

Ежемесячный «налог на ИИ-творчество» для студии составляет от 30 000 до 40 000 ₽ просто на сервисы. Сюда добавляем разовые покупки софта и железа (сотни тысяч).

И самое главное — сюда не включена зарплата людей. Множество часов работы сценаристов, режиссеров, монтажеров и звуковиков, которые вручную доводят каждую сцену мульта и пишут сотни промптов.

Да, по сравнению с классической 3D-анимацией (где эта серия стоила бы миллионы рублей и полгода работы 20 человек) мы делаем все в разы быстрее и дешевле. Но этот путь выглядит как хождение по минному полю с калькулятором в руках.

Так что, когда вам снова скажут «нажал кнопку — и мультик готов», просто покажите им этот пост.

А результат наших финансовых и моральных страданий — новую, самую длинную и самую сложную серию I-ONE — мы уже залили. Заходите посмотреть!

Что мы получили:

• Генерация №1: Дверь открывается внутрь. Логично.

• Генерация №2: Дверь открывается наружу. Ну, тоже можно понять.

• Генерация №3: Одна дверь открывается внутрь, а прямо сквозь неё появляется вторая, открывающаяся наружу.

• Генерация №4: Мама стоит слева, гладит мальчика. Папа — справа, с руками за спиной. Монтажная склейка — батя уходит в квантовую суперпозицию, меняется с мамой местами, по пути приседает, встает и снова приседает.
  
  Откуда это все взялось и почему исчезает дальше — это уже мало волновало, потому что

  у нас были не только эмоции мальчика, но и его... СЛЮНИ?!

Мы указывали в промптах нейронке, что надо бы подтереть рот мальцу, нейросеть согласно кивала и добавляла две капли. Пишем еще раз — водопад. В итоге на постподакшне у нас появился отдельный этап : «удаление слюней у ребенка».

Никто в индустрии не говорит об этом вслух.

Часть 2. Бенджамин Баттон и набор высоты

Классическая визуальная метафора: дверной косяк с отметками роста. Мальчик растет, время идет, а подаренный робот остается прежним. Нам нужно было показать косяк с отметками: 7 лет, 8 лет, 9 лет, 10 лет, 11 лет, 12 лет.

• Мы: Сделай отметки по порядку.

• Нейросеть: Понял, сделаю. «9 лет → 9 лет → 9 лет → 10 лет → 11 лет → 9 лет».

• Мы: Стой! Нет, подожди. Давай по порядку!

• Нейросеть: Окей. «9 ЛЕТ, 9 ЛЕТ, 9 ЛЕТ, 8 ЛЕТ».

  Ребёнок не только застрял в девяти годах, но ещё и начал молодеть. Бенджамин Баттон детской комнаты.

В одной из попыток мы чуть не открыли шампанское: красивый деревянный косяк, идеальные интервалы, цифры идут по порядку, рядом мелом нарисованы роботы. Приближаем. И видим, что вместо «ЛЕТ» везде аккуратно написано «JET». Ребенок не взрослеет. Он набирает высоту.

На третий день мучений мы плюнули и нарисовали цифры руками в Photoshop. Поверх нейросетевых отметок. Потому что для ИИ буквы — это просто декор. Она знает, что там должно быть что-то написано, но смысл этого для нее непостижим.

Часть 3. Суровая русская зима и вездесущие купола

Эта часть — наш абсолютный фаворит.

Задача: В одной из сцен мальчик смотрит в окно. За окном — зима, Россия, город, ночь. Всё. Мы специально написали сухой промпт: «вид из окна, Россия, зима, ночь, город», без уточнений, чтобы посмотреть на полет фантазии алгоритма.

Фантазия представила русскую зиму прекрасно: густой снегопад , тонкий узор инея на стекле , уютный город вдалеке, холодная луна сияет через облака .

И все бы ничего, но окно было распахнуто настежь. В минус двадцать. С инеем на стекле и метелью за окном. Плюсом к этому, на заднем плане появились купола. Рядом с МГУ. Видимо, нейросеть слишком хорошо знает, как выглядит Россия, поэтому:

С этого момента купола начали преследовать нас в каждой второй генерации. Неважно, просили мы показать спальный район, хрущевку, промзону или центр города. На горизонте всегда вырастала церковь. Иногда две. Иногда целый монастырь посреди промышленной зоны с бетонными заборами.

Каков итог?

Если отбросить все шутки и косяки (даже с Джетами)— то реальное текущее состояние AI-анимации именно такое: нейросеть учится. И мы учимся вместе с ней.

Каждый финальный кадр — это десятки попыток, ручная доработка, склейка, монтаж и ретушь. Иногда за красивой 5-секундной сценой стоят три дня работы и 80 отбракованных вариантов.

Но знаете что? Это все равно в разы быстрее, чем классическая 3D-анимация. И дает возможность делать штуки, которые иначе были бы просто невозможны для маленькой студии. Поэтому мы продолжаем.

Вся эта заваруха с мультом началась в гараже: я и @SergVioV ковырялись в тачке, перебирали детали и между делом заговорили о детях. Точнее, о том, что они сейчас смотрят.

Поймали себя на мысли: почему стало так сложно найти нормальный, красивый мультфильм? Включаешь ТВ, а там сплошной кислотный приход: квадратные головы, персонажи с нарушенными пропорциями, дерганая анимация и сюжеты, будто их писали за пять минут до дедлайна. Нам, как отцам, хочется, чтобы дети смотрели на героев с понятной мимикой и слушали истории, в которых есть смысл и доброта.

И тут прямо в гараже родилась шальная мысль: «А давай сделаем сами?»

Откуда у нас вообще опыт?

Да, мы не начинаем с абсолютного нуля. С июня прошлого года мы плотно работаем с нейросетями в коммерческой сфере — помогаем застройщикам выглядеть круче.

Мы берем их статичные 3D-рендеры зданий и с помощью ИИ превращаем в сочные, реалистичные видеоролики, которые продают проекты лучше любой картинки (кстати, если тут есть застройщики — вы знаете, к кому обращаться 😉).

Но одно дело — анимировать красивые ЖК для бизнеса, и совсем другое — сделать что-то для души. Так что мы решили бросить вызов индустрии и сделать 3D-мультфильм, используя ИИ, чтобы заменить целый штат художников и аниматоров.

Художники от слова «худо» и магия ИИ

Сразу оговоримся: ни один из нас не имеет художественного образования. Навыков классической анимации, понимания перспективы, света и теней у нас отродясь не было — все наши познания почерпнуты из уроков на YouTube.

Когда мы попытались перенести идею из головы на бумагу, первый набросок получился… ну, вы сами всё поймете по фото ниже.

Но в этом и кроется главная фишка нашего времени:

• нейросеть «посмотрела» на этот схематичный скетч и другие наши зарисовки;

• поняла, что именно мы хотим сказать;

• и собрала для нас нужные, детализированные образы.

  Вот как эволюционировала наша идея от гаражного наброска до готовых концептов.

Наши роли в этом безумии мы разделили так:

• @SergVioV — автор идеи и визуальный маг. Он отвечает за генерацию картинки и пытается заставить ИИ работать по правилам физики.

• я же — отвечаю за то, чтобы вся эта картинка зазвучала: звуковой-дизайн, подбор музыки, дубляж и генерация голосов — на мне.

Ожидание vs Реальность (или как мы страдаем)

Если вы думаете, что нейросети — это кнопка «сделать шедевр», то я вас разочарую. Это боль, пот и смех сквозь слезы. С чем мы уже столкнулись и о чем точно можем рассказать в следующих постах:

• «Синдром мутанта»: несмотря на постоянное улучшение, нейройнки все еще обожают пририсовывать ненужные детали. Добиться стабильности персонажа — это настоящий квест и множество генераций.

• Бездушные роботы на озвучке: Заставить нейросеть прочитать текст с нужной эмоцией — та еще задача. Поэтому мы пошли иным путем

• При этом с липсинком (синхронизация губ) мы решили не заморачиваться. Сгенерированная артикуляция персонажей вполне хорошо выглядит в мультфильме.

Пикабу, нам нужна ваша поддержка и ваш скептицизм! Напишите в комментариях, какие современные мультики вас бесят больше всего? И как вам трансформация героев из наброска в 3D?

Задавайте вопросы, подбадривайте и критикуйте — обещаю читать все.

Ну и подписывайтесь, будет интересно!