EoNf

Всегда было интересно, как выглядели бы персонажи известных произведений, если бы какой-нибудь художник взялся их проиллюстрировать. Нет, серьезно. Вот есть прекрасный аудиоспектакль «Алиса в стране чудес». Какими представляли себе персонажей Владимир Высоцкий, Всеволод Абдулов, Клара Румянова и другие актеры, когда работали над спектаклем? Жаль, этого нам уже не узнать. Обычные же художники тоже как-то не очень стремятся создавать рисунки к тому, что продать будет невозможно (ребята, я вас понимаю!), и как же визуализировать текст? Вот появились нейросети. Им почти безразлично, что рисовать. Удача! Мы сможем увидеть, как кто-то другой визуализирует известного тебе персонажа.

Немного почитал правила работы с нейросетями, огорчился существующими ограничениями, но решил попробовать. На полуторачасовой спектакль меня не хватит, конечно — тем более, что я ничего не знаю и не умею. В качестве пробы пера сгенерировал четыре картины известных художников исключительно по названию произведений. Получилось прикольно (см. мой первопост), и тогда я решил попробовать чуть-чуть визуализировать песню Геннадия Самойлова «Эстонская Красная Шапочка». Выбрал именно ее, поскольку это была единственная песня с вертикальным кадром, и я сразу придумал сдвинуть видео вправо, а на оставшемся участке располагать рисунки нейросети.

Начал с карты Эстонии, чтобы пристреляться. Вроде, легло нормально (да так и осталось там), затем по ритму песни надо было бы сменить кадр на нечто, содержащее июль («В месяце июле»). Не придумал ничего лучше, как временно сделать скриншот из Википедии, который тоже так и остался в иллюстрациях. Не представляю, что ИИ мог бы нарисовать по запросу «июль». На этом я решил, что хватит уже пристреливаться и пора переходить к составлению задач для Midjourney.

Далее я двигался практически по тексту песни, но при составлении задания всегда указывал уточняющие элементы для ИИ (уверен, они были бесполезны). Так, например, по тексту песни «Шла по лесу девочка, звали ее Юлли», в запросе: «по летнему лесу идет эстонская девочка по имени Юлли, на голове девочки красная бейсболка, девочка несет старый чемодан».

Получаем такой результат:

Ну что ж ты такая бестолковая, зачем надо было ставить чемодан на голову? Делаем уточнение, что чемодан должен быть в руке.

В куплете «Мама утром испекла пирожки на сале», пишем в запросе: «эстонская мама рано утром в частном доме испекла много пирожков на свином сале». Результат:

Жизнерадостная женщина, но это не мама, а бабушка. Исправляем запрос, добавляем, что мама должна быть молодой.

А вот эстонская бабушка Саала, которая живет одна далеко в лесу:

Очень трогательно получилось, но сразу возник вопрос к матери Красной Шапочки — какого, собственно, ты свою маму не заберешь к себе в дом? Пришлось уточнить запрос, сообщив нейросети, что бабушка вполне молода и дееспособна. Результат попал в видео. Правда, я забыл сказать ИИ, что мне нужна эстонская бабушка летом, поэтому в кадре зима. Было бы здорово соорудить из рисунка бабушки портрет в рамке и поставить его в домике Красной Шапочки, но уж очень мало попыток дается для игр с Midjourney.

С немецкой группой Рамштайн не стал запариваться, просто включил несколько секунд из какого-то клипа, который (на мой взгляд) мог бы понравиться Красной Шапочке.

С городом Тарту тоже не стал мудрить и просто использовал реальную фотографию города; так же впоследствии поступил и с иллюстрацией того, что Серый Волк был специалистом по эстонской кухне.

С рисунками Волка вообще ничего не делал, нейросеть охотно с первого раза рисовала мне именно то, что я хотел увидеть. Даже лучше. Самая большая проблема — выбрать один рисунок из четырех, все очень хорошие.

Сдвинув брови на лице, развернув бейсболку,
Юлли голосом «Рамштайна» отвечала волку

Ни-фи-га! Как я ни пытался, нейросеть не хотела мне рисовать девочку Юлли летом в лесу в красной бейсболке, надетой козырьком назад. Максимум, это была девочка в бейсболке с тремя козырьками, смотрящими в разные стороны. Пришлось согласиться на портрет Юлли до того, как она разворачивает бейсболку.

Что же в итоге? В общем результат мне понравился (а процесс еще больше), отправил его автору песни. Геннадий инициативу одобрил и разместил видео на своем канале. Основные косяки я увидел лишь после того, как видео было опубликовано. В первую очередь речь идет о том, что у меня постоянно скачет размер левого кадра: периодически я забывал его указывать ключом --ar [x:y]. Помимо этого, я в тот момент не успел толком разобраться с функциями опорного изображения, на основании которого ИИ может генерировать рисунки, поэтому у меня одно изображение Мамы КШ не похоже на другое, а Юлли в основном изображена со спины. Просить снимать видео с публикации для доработки я не стал — пусть будет такое, как есть.

Процесс генерации изображений под конкретный текст очень увлекательный. Может быть, когда нейросети переболеют своими детскими болезнями, мы увидим множество интересных иллюстраций к литературным произведениям.

Спасибо тем, кто дочитал. :)

Алиса - это любопытная, смелая и умная девочка, которая не боится исследовать новые миры и сталкиваться с непонятными ситуациями. Она умеет находить выход из самых сложных ситуаций и всегда готова помочь своим друзьям. Алиса становится настоящей героиней, способной преодолеть любые трудности и победить зло.

Серия фильмов "Алиса в стране чудес" является одной из самых популярных и любимых среди детей и взрослых в России и других странах СНГ. Фильмы поражают зрителей своими удивительными эффектами и детально проработанными костюмами, а также забавными и интересными сюжетами, которые не оставят никого равнодушным.

Это вторая часть заметок об иллюстрации Красных Шапочек. Начало здесь.

Как я писал в первой части, свои основные косяки я увидел лишь после того, как видео было опубликовано, поэтому решил попробовать проиллюстрировать еще одну песню — про Китайскую Красную Шапочку. Сложностей было две:

1. Видео песни записано горизонтально, и у меня больше нет шикарной возможности одновременно держать в кадре исполнителя и иллюстрации.

2. У автора песни очень богатая мимика, которую не хотелось перекрывать рисунками нейросетей.

Поигрался в видеоредакторе с созданием мини-кадра на переднем плане основного кадра, все вроде получилось, приступил к иллюстрациям.

«Вдали от Пекина, в китайском лесу» — я знаю, что Пекин существует, но как выглядит его самое узнаваемое место, не представляю. Обратился к поисковику, нашел такую фотографию:

Очень красиво! Пытался использовать это изображение как опорное в Midjourney, и результат всегда был хуже оригинала. Пришлось попросить ИИ просто нарисовать ночной Пекин (очень уж понравилась реальная ночная фотография) таким, каким его себе представляет нейросеть. Вот результат:

Третий кадр пошел в иллюстрации.

И обратите внимание: при апскейле не только увеличивается разрешение, но и перерабатываются некоторые детали, например, верх здания в центре кадра.

С первыми словами первого куплета разобрались, двигаемся дальше, к «китайскому лесу». Никаких проблем, ИИ спокойно рисует реалистичный бамбуковый лес в Китае:

«Волк встретил случайно селянку Янь-Цзу» — да сколько угодно, выбирай на вкус:

и еще:

Создавались и совсем маленькие дети в красных шапочках, но, памятуя, что Янь-Цзу в одиночку тащит по лесу гору продуктов, в итоге выбрал такую:

Изображать застывшего Волка я не стал, переведя фокус на исполнителя в кадре, а затем позволив зрителю еще раз посмотреть на красоту девушки.

«За это спасибо китайцу-отцу.
И маме китайской, и дяде Фун-Цзу.»

Очень быстрый ритм. Если менять рисунки с частотой слов, можно эпилепсию вызвать у зрителя. Другой вариант: сделать групповой портрет с подписями кто есть кто. Третий вариант: контурные рисунки как у Штирлица в «Семнадцати мгновениях весны»:

Интересная идея, но я так не умею. Сделаем три карты и будем их открывать поочередно, тогда зритель успеет рассмотреть картинки. Ну, я так думаю. И подписи добавить! Но тогда зритель точно не успеет, фокус сместится на подписи... А мы сделаем подписи на китайском, и тогда ничего никуда не сместится. Наверное. Но это не точно. В общем, сделал.

Портреты получились с первой же попытки по запросам: «китаец-отец», «мама китайская» и «китайский дядя по имени Фун-Цзу»:

Двигаемся дальше к поклаже Красной Шапочки:

«Иду я к бабуле, гостинцы несу:
Щепоточку риса, женьшень и кинзу,
Котлеты домашние и колбасу».

Необходимо нарисовать сразу пять предметов. Я пробовал, не получилось. Вернемся опять к картам и будем показывать картинки поочередно, а чтоб не тратить драгоценные попытки в Midjourney, воспользуемся сервисом Dream by WOMBO. Это бесплатно, практически без ограничений (в бесплатной версии недоступны некоторые стили и одновременно генерится не четыре картинки, а одна). Сходите, попробуйте: https://dream.ai/create .

Мне пришлось изрядно намучиться с колбасой. Это не колбаса, это сосиски какие-то (правда, реалистичные), даже показывать не стану, а когда я попросил нарисовать толстую вареную колбасу, ИИ стал предлагать такое:

(У меня есть подозрение, что в английском существует какой-то близкий аналог нашему идиоматическому выражению «деловая колбаса», в котором используется упоминание мясного продукта.)

И тем не менее после нескольких десятков попыток у меня сформировался окончательный вид поклажи:

Котлеты получились не очень убедительными, а колбаски все-таки тонковаты.

Впоследствии нунчаки, топор и косу тоже рисовал в Dream by WOMBO.

Больше ничего заслуживающего внимания не происходило, просто генерация новых запросов и отбор рисунков для иллюстрации песни. Разве что с самураями: как только я просил нарисовать их непременно пьяными (Seven drunken samurai stand in a summer forest), Midjourney использовала желто-коричневые тона и часто ошибалась в количестве мужчин в кадре:

С трезвыми самураями все было в порядке и рисунки были покрасочнее.

В лучших традициях олдов включил пасхалку в один из кадров — где-то на 90 секунде.

Вот и все. Спасибо всем, кто дочитал, а тем кто еще и видео посмотрел, двойное спасибо! :)

И сразу первоисточник: