VanGogich

Продолжаю мучить StableDiffusion от Automatic1111. В этот раз я попытался сгенерировать… ну как попытался, чего прибедняться – сгенерировал Джил. Третья из главных героев моей книги, студентка двадцати двух лет.

С Джил всё немного интереснее в плане референсов в реальности. Их нет. Кросс и Мэйтт имеют свои прототипы, на основе которых и базируется их внешность. Для Джил реального образа или человека не существует. Тем не менее, после нескольких часов генерации я нашёл почти идеальное попадание в мою интерпретацию образа.

Знакомьтесь, Джил Форт:

Самые прозорливые могут обратить внимание, что изображения выглядят несколько неестественно. Слишком гладкая, кукольная кожа. По сути, в этих изображениях я доволен двумя вещами – взгляд и схожесть с образом в моей голове. Но нейросеть творит чудеса преображения. Ща покажу.

На генерации Мэйтта я уже научился расширять изображение, заставляя SD дорисовывать недостающие элементы фона на пустых местах. Сказано – сделано. Вот что получилось:

Всё ещё неестественно, кукольность никуда не делась, даже несмотря на то, что я немного обработал кожу. Да и фон какой-то… ну, никакой. В общем, мне не хватило идеи. Что с этим делать, я придумал не сразу, а поэтому решил попробовать воспроизвести сцену из конца книги, с другим сгенерированным изображением.

Вот это нечто справа от Джил – вышло совершенно случайно. Я рандомно генерировал ту область, прокручивая варианты, и на одном из них появилась эта «голограмма». Более того, у «голограммы» было женское лицо. Его пришлось убрать, слишком чётким оно получилось, но вот остальное – просто находка.

Дальше вот эти молнии на лице. Будто дикая энергия бурлит в Джил, прорывая кожу светящимися трещинами. Это уже не случайность, но добиться этого стоило стольких нервов и усилий… Сначала простым перебором (да и ещё таким, который минимально меняет картинку, чтобы не потерять схожесть образа). Потом я нашёл в SD замечательный инструмент Sketch. Там можно схематично изобразить, что нужно, и нейросеть дорисует по этой схеме + промпт. Спасибо жене, я ж вообще не умею рисовать, а она умеет. Помогла нарисовать молнии.

После добавления молний захотелось больше хаоса. С учётом того, что происходит по сюжету. В дело пошёл Inpaint. Я закрашивал отдельные области, говорил «генерируй изображения только в них» и писал в промптах нечто вроде: «искры, размытие, сияние, гало, аура», комбинируя их так и сяк. По итогу получилось вот это:

Кстати, для шлифовки этих артов пришлось пройти ускоренные курсы фотошопа. Дело в том, что в некоторых изображениях сгенерировались детали, которые хотелось бы видеть в основном арте (молнии и некоторые искорки). Пришлось вырезать их, перенести. Пришло понимание, что в связке с фотошопом возможности поистине безграничны.

Но это ещё не всё. Вернёмся к предыдущему изображению. Мне понравились попытки в концептуальность. Не просто делать портрет персонажа, а вкладывать идею в арт. Пусть даже иногда идея вкладывается нейросетью посредством случайности. Кто я такой, чтобы спорить?

Я начал менять фон с высоким параметром Denoising strength, который позволяет сильно изменять картинку. И в какой-то из многих генераций выскочило вот это:

В общем, рандом сам подкинул идею, резонирующую с идеей Джил, как персонажа. В чём смысл – по книге, Джил слышит голоса. Не спойлер, прям в аннотации так написано. Только захотелось сделать это не таким… реальным. Начинаем генерировать левую часть, превращая её в эфемерность, воображение, метафизику, аниме.

В процессе StableDiffusion ещё несколько раз удивил меня рандомом. Дело в том, что нейросетка очень любит женские лица. И при высоком разрешении и высоком параметре изменения картинки подсовывает эти лица при любом удобном случае, стоит только зазеваться. Пример:

В данном случае, это только на руку. Итак. После нескольких часов получилось вот что:

Сверху – подруга Джил, Элиза. Хотя тут у нас с женой возникли разногласия. Она сказала, что Элиза в самом низу. Что ж, не могу никому указывать, только напомню, ЧТО Я ТУТ АВТОР, МОЁ СЛОВО – КАНОН!

Итог. Я не устану повторять, что я в восторге. Чем глубже я погружаюсь в нейросеть, чем больше изучаю её возможности, тем больше приходит понимание, что можно делать с её помощью.

*блюзовая музыка останавливается*

Знакомьтесь – отец мальчика, Мэйтт Уолли. Вот и он:

Внешность Мэйтта я видел так же хорошо, как и внешность Кросса. И у Мэйтта тоже существует прототип. Этим прототипом был Альберт Эйнштейн стал персонаж сериала «Герои», Мэтт Паркман.

*голос из соседней комнаты*

– Ты даже имя спёр!

Неправда. Во-первых, я изменил его. Во-вторых, я стащил не только имя. Загибайте пальцы – Мэтт Паркман, как и Мэйтт Уолли, работает в полиции. Эм… всего один палец… ну ладно. На самом деле те, кто смотрел «Героев» и прочитал «Сэхсвет» (а такие есть, как оказалось, что очень приятно), без сомнения, найдут ещё одну общую черту, очень важную. Скажете – плагиат! Отвечу – творческая переработка. Но на этом, хвала Старикам, сходства заканчиваются. Сама история и жизненный путь у Мэйтта Уолли сильно отличается от его прототипа.

Мэйтт – хороший законник, детектив. К сожалению, после сокрушительного удара судьбы, разрушившего сам смысл его существования (больше пафоса!!!), он несколько теряется в жизни, и принимает ряд спорных решений. Которые, как это часто бывает, только усугубляют ситуацию.

Ещё один вариант. Если на первом арте изображён Мэйтт до начала событий книги, то тут, как мне представляется, он уже принял те самые спорные решения о том, что делать дальше:

А тут уже прошёл через  некоторое дерьмо. Как будто куда-то бежит, волосы растрепались, поменялся взгляд, стал более диким:

А вот то, от чего у меня, пока только начинающего изучать StableDiffusion, просто сорвало башню. Ниже те же самые изображения Мэйтта, дорисованные и обработанные силами сборки Automatic1111. Я повысил разрешение, и нейросетка сама дорисовала то, что должно быть в пустом пространстве (согласно новому промпту):

Первый эксперимент - просто добавил фон и детализировал картинку.

Тоже самое, фон + детализация.

Мэйтт на полюсе. Или в серверных. Очень озадачен тем, что там обнаружил.

Мэйтт находит того, кого ищет. В баре, где же ещё.

И это всего после нескольких дней изучения сборки, её расширений и возможностей. Думаю, что перейду на Automatic1111 как на основную, но и Easy Diffusion забрасывать не буду, она генерирует изображения быстрее, и там есть удобная кнопка Make similar, которая генерирует 5 похожих изображений на основе любого из полученных. Цикл можно повторять до бесконечности, подбирая подходящие варианты. В общем, попробую миксовать сборки, посмотрю, что из этого получится.

Технические подробности:

Prompt:

very short brown hair, Matt Parkman from Heroes, 1man, dark and gloomy full body 8k unity render, male adult 35 years old, brown short hair, wearing jeans and a jacket, at cluttered and messy shack, cyberpunk, action shot, porcelain cracked skin, skin pores, detailed intricate iris, very dark lighting, heavy shadows, detailed, detailed face, (vibrant, photo realistic, realistic, dramatic, dark, sharp focus, 8k)

Negative prompt:

anime, ugly, low quality, bad artistnude, black and white, close up, cartoon, 3d,
denim, (disfigured), (deformed), (poorly drawn), (extra limbs), blurry, boring, sketch, lackluster, signature, letters, watermark, low res, horrific, mutated, artifact, bad art , gross , b&w , poor quality, low quality, cropped

Вещь, которую я понял – промпт, конечно, очень важен, если вы хотите сгенерировать красивый арт. Но не менее (а то и более) важно потом обработать изображение, допилить до ума отдельные элементы и детали, что зачастую намного проще, чем добиться этого одним лишь промптом. Кстати, что позитивный, что негативный промпты в моём примере – совершенно избыточны, и то, что я сгенерировал – больше результат рандома, чем грамотного ТЗ. В общем, ещё учиться и учиться.

Сборки StableDiffusion:

EasyDiffusion и Automatic1111

Модели – rpg_V4, deliberate v2.

На EasyDiffusion и модели rpg_v4 были сгенерированы первые изображения. Но потом я погрузился в тему чуть глубже, и поставил сборку Automatic1111. Она сложнее во всём: установка, управление, и прочее, прочее. Но и результаты даёт более крутые.

Резюмируя:

1. Я доволен, как слон.

2. Кросс точнее попал в книжный образ. Тем не менее, Мэйтт очень хорош.

Скоро нейросети захватят мир, и уже мы будем служить им в качестве кошкожена

3. Нейросети - чудо, самые замечательные и прекрасные, лучшие в мире.

пожалуйста, пощадите меня в будущем

4. Для тех, кому захочется почитать книгу – сделать это можно на АвторТудей, бесплатно.

Повторю мысль из прошлого поста – это не гайд по использованию SD. Скорее, это восторженный вопль автора, воочию увидевшего своих персонажей. Возможно, какие-то нюансы работы с нейросеткой я упустил, так что открыт к критике и новым знаниям.

Если возникнут какие-то вопросы – задавайте, постараюсь развёрнуто ответить в комментах.

И, скажу сразу, я просто в шоке, насколько точно получилось перенести образ из головы в картинку.

Когда я продумывал Кросса, то его внешность складывалась из совершенно определённых людей. Их двое – вокалист любимой группы Muse, Мэтт Бэллами, и второй любимый Доктор (после Мэтта Смита) – Девид Теннант. В следующем соотношении: 70% Бэллами, 30% Теннанта. Такой потрёпанный жизнью, разочаровавшийся в ней, прошедший через не очень приятные вещи. Да и к тому же, наркоман со стажем. Представлял я Кросса исключительно в декорациях нуара и киберпанка.

Ещё пара вариантов – с чёрными глазами (по книге, у Кросса множество аугментаций, и глазные линзы могут, в том числе, создавать подобный эффект):

Факт, о котором вы не просили, но я сообщу – глаза пришлось доработать напильником вручную, ибо ну никак не получилось добиться такого эффекта от нейросетки.

А тут просто вариант в ЧБ. Оно сглаживает некоторые косяки цветного изображения, как мне кажется, и + добавляет нуарности:

*Куда-то в сторону*

– Довольна? Я выложил твой любимый вариант в чб!

Дальше идёт россыпь вариантов. Генерация шла по «похожей картинке». Мне представляется это так, что все нижеследующие фото – это Кросс на разных этапах своей жизни. Где-то выглядит совсем не очень, где-то видно (по глазам, как минимум), что он ещё не сторчался, а только начинает сей печальный путь:

Дальше инфа для тех, кто сам любит поиграться с нейросетками.

Prompt:

black short hair, black eyes, matt bellamy, 1man, dark and gloomy full body 8k unity render, male adult surgeon, black short hair, wearing jeans and a leather simple jacket, at cluttered and messy shack, cyberpunk, action shot, tattered torn shirt, porcelain cracked skin, skin pores, detailed intricate iris, very dark lighting, heavy shadows, detailed, detailed face, (vibrant, photo realistic, realistic, dramatic, dark, sharp focus, 8k)

Negative prompt:

anime, ugly, low quality, bad artistnude, black and white, close up, cartoon, 3d, denim, (disfigured), (deformed), (poorly drawn), (extra limbs), blurry, boring, sketch, lackluster, signature, letters, watermark, low res, horrific , mutated , artifacts , bad art , gross , b&w , poor quality , low quality , cropped

Кто-то может справедливо заметить, что промпт херня. Возможно, сейчас я бы уже составил его по-другому. Но он позволил мне почти идеально (в плане попадания в образ) сгенерировать Кросса.

"Если это тупо, но работает, значит, это не тупо". (с) Джейсон Стетхем.

Сборка нейросетки:

EasyDiffusion

Модель – rpg_V4

Подробная инструкция по установке.

Единственный пункт, который я бы дополнил – папка stable-diffusion не обязательно должна лежать именно в корне диска. У меня, к примеру, в корне диска лежит папка EasyDiffusion, а уже в ней – stable-diffusion. Всё работает без нареканий.

Так же есть сайт, на котором лежит просто куча разных моделей для SD.

P.S. Я понимаю, что до изображений можно докопаться. Но нужно понимать, что во-первых, я с рисованием и в целом с визуальным искусством не то, что на "Вы", а на "Ваше благородное величество". Второе – на всё это я потратил 4-5 часов, до этого вообще не касаясь нейросетей. Сейчас (через несколько дней после того, как начал) я уже сменил сборку с Easy Diffusion на Automatic1111. Намного сложнее, но и возможностей больше. Думаю, постепенно можно прийти к более правильным цветовым решениям, анатомическим, и так далее. Например, вот что у меня получилось после того, как я подробнее разобрался с новой сборкой:

Я увеличил разрешение, заставил SD дорисовать то, что было в пустых местах. И за счет высокого разрешения повысил детализацию отдельных элементов (почти всех). Разница на лицо, как мне кажется. И хорошие обои на рабочий стол.

Если кто-то захочет почитать книгу, можно это сделать на АвторТудей, бесплатно.

Как-то так. Результатом доволен, дальше буду постепенно  генерировать персонажей.

Наткнулся на сие произведение, гуляя по городу. Как бы вы назвали это фото? :)