Krsk.Stage

Знаю, что нейро-слоп уже начинает немного раздражать. Но людям чья профессия, призвание и доход связаны с творчеством приходится идти "в ногу со временем". Хотим мы сами того или нет)

Добро пожаловать в Красноярский Драматический Театр им. А.С. Пушкина! Где мы уже несколько лет как используем нейронки для видео-оформления наших постановок, а теперь с появлением таких технологий как BananaPro, Suno и Veo пробуем создавать что-то большее, используя при этом все возможности драматического театра.

Технологии эти, к слову, настоящая находка и спасение - не можем похвастаться большими бюджетами или наличием свободного времени)

Этот мультфильм - реальная история одного из наших артистов, Виталия Козырева, произошедшая с ним в ковидный новый год. Задача оказалась не так проста как может показаться на первый взгляд. Ведь с такой тематикой нужно быть очень осторожным и не превратить историю в рекламный ролик.

Для реализации образов я использовал BananaPro, загружая в неё и скармливая ей фотографии интерьеров театра, декорацию детского спектакля "С днём рожденья Яга!". Что позволило максимально ограничить свободу нейросети и не позволять ей додумывать картинку. Ведь над этими костюмами и декором работали талантливые и заслуженные художники, работающие у нас. Многие из которых имеют не по одной "Золотой Маске". Это люди посвятившие свою жизнь творчеству и профессии - пусть нейросеть уважает их труд)

В каких-то случаях я позволил нейросети внести больше изменений. Как например с персонажем Котом-Баюном. Так как несмотря на сценический грим образ кота не считывается. Пусть лучше будет в маске. Вышло прикольно, даже захотелось внести изменения в спектакль)

Основная музыкальная тема - кавер "Кукушка" гр. Кино. Она используется в одной из наших постановок "Сказка Панельных Домов". Я взял видео запись со спектакля, вырезал часть песни и прогнал её через Suno с простым промптом "Melancholic Jazz, Music Box, Xylophone, Deep Bass". Заменив также вокал актёра на гитару и ксилофон.

В версии исполняемой в спектакле "Сказка Панельных Домов" есть драматический момент в середине песни когда музыка резко обрывается. Этот момент, обыгранный через Suno стал основой идеи и названия мультфильма. Две ноты звучащие в тишине - не что иное как голос артиста пропевающего слова "Вот так". То есть музыкой мы как бы у себя в голове отвечаем рассказчику, сразу после его слов "- Я не знаю, как сложилась её история дальше..", "- Вот так.." отвечает ему музыка. Что позволило оставить концовку сюжета максимально открытой - она больше не в больнице (и концовка и девочка).

Чтобы передать атмосферу места действия и не позволить BananaPro навыдумывать лишнего. Я отснял на телефон здание Детской Краевой Больницы и окрестности в которой она расположена. Это стоящий на горе и окружённый тайгой красноярский Академгородок.

Панельные многоэтажки расположенные прямо в лесу даже на камеру телефона выглядят весьма кинематографично

Удалось даже сделать фото из окон верхнего этажа жилого дома, соседнего с больницей. Как бы вид из окна больничной палаты.

Бюджет 0. Сроки 2 дня)) Само производство мультика (вместе с поездками к месту действия) заняло на удивление совсем не много времени. Всего пара бессонных ночей)) Что очень круто, учитывая крайне нагруженный предновогодний режим работы любого театра. А готовый видео-ролик теперь транслируется в социальных сетях театра как часть нашей акции с благотворительным фондом «Добро24»

На сегодняшний день получить фотографию живого мамонта является неразрешимой проблемой. Но что, если очень хочется или даже нужно...

Стандартные решения вроде Midjourney или Dall-e способны выдавать неплохой и даже симпатичный результат, который, правда, всё ещё далёк от фотореализма и вызывает, как правило, лишь одну реакцию - "это нарисовала нейросеть":

Нам поможет самостоятельное обучение нейросети на базе Stable Diffusion 1.5

В настоящее время я не использую в своей работе SDXL, так как SDXL обучается во много раз дольше, чем SD1.5, что хоть и даёт более детализированную картинку, но не позволяет оперативно следить за результатом, даже на мощном железе.

Итак! Нам понадобятся:

1. Общий вид мамонта (тут подойдут любые реконструкции - фото из музеев, 3д рендеры, рисунки, главное - это дать нейросети общее представление о форме животного)

2. Изображения, которые помогут нейросети понять как должен выглядеть мех крупного, грязного и дикого зверя, наподобие мамонта. Подойдут фото бизонов, овцебыков, кабанов:

3. Для большего фотореализма добавим немного слонов. Но только глаза, хобот и бивни

4. Для генерации окружения я использовал около 100 картинок, показывающих природу Красноярского края и Якутии. Тайга, тундра, грязь, снег, слякоть:

Добавляем готовые гиперсети формы, меха, глаз, окружения и прочего к основной, базовой 1.5 Апскейлим, что-то переробучаем и проверяем результат:

До полного фотореализма, конечно ещё далеко. К тому же из-за особенностей генерации в SD1.5 вертикальные картинки получаются значительно более гармоничными, чем горизонтальные. Пока что эти недостатки помогает скрыть стилизация под старое фото на плёнку:)

Базовая модель RealisticVisionV6.0 + кастомные LoRA с мамонтами и природой + LoRA CinematicStyle_v1

Примерно 4-5 секунд требуется для генерации одного вертикального изображения 512х960 на карточке 4080 . Время обучения одной LoRA примерно 4-6 минут

Всем привет!

За почти год освоения Stable Diffusion и работы с ним у меня накопилось огромное количество контента, основанного на самостоятельном обучении нейросетей. Часть это коммерческие проекты (в основном для театров и других учреждении культуры), но также многое проделано "в стол" в процессе освоения, поиска и экспериментов.

Понемногу буду выкладывать что-то здесь)

Начну с чего-то не сложного)

Я живу в Красноярске, а самое известное место отдыха жителей нашего города это заповедник «Столбы»!

Базовая модель - Realistic Vision V6.0 B1 + кастомная LoRA, основаная на фото Красноярских столбов и сибирской тайги