Жду новый пост

Серия «Stable Diffusion для ЛЛ»

Что за ControlNet такой я писал в одной из своих статей. А как приобщиться к генерациям вообще рассказываю в самом конце статьи.

Для того чтобы воспользоваться новым препроцессором, вам нужен ControlNet версии не ниже чем 1.1.153. Если это не так, обновите его во вкладке Extensions. После чего, как обычно, выбрать препроцессор в выпадающем списке. Модель для его работы не требуется. Выбрать референс, генерировать.

Лучшие результаты будут достигнуты если картинка была сгенерирована, вы используете промпт от нее и у вас зафиксирован сид. А так же чем сложнее промпт тем лучше следование референсу. Не забывайте про ползунок weight. Он так же может улучшить результат.

Ниже наглядные примеры от Реддитора.

Слева без использования контролнета. Справа с ним. Сид фиксирован, промпт детальный:

Слева без использования контролнета. Справа с ним.Случайный сид, промпт детальный:

Слева без использования контролнета. Справа с ним. Случайный сид, промпт простой:

Видно, что наибольшее следование референсу получаем в первом варианте, на всех четырех изображениях хорошо сохранилось лицо и одежда, в отличие от генераций без использования ContrloNet.

Использование не сгенерированных изображений или изображений к которым у вас нет промпта в качестве референса так же работает, но местами хуже.

Пример одного из пользователей. Взяв изображение в Midjourney, он создал варианты этого изображения в SD

MJ:

SD:

А на этом всё. До скорого.

__

Поделиться результатом или задать вопрос, а так же пообщаться с единомышленниками вы можете в нашем нейробратском комьюнити.

Больше гайдов на моем канале, где бесплатно обучаю с нуля и до тренировки собственных моделей. Подписывайтесь чтобы не пропустить.

Краткая текстовая версия:

В automatci1111 из вкладки Extensions установите два расширения Dynamic Prompts и Booru tag autocompletion. На самом деле первое расширение включает в себя еще одно Wildcards. И они все отлично дополняют друг друга.

На civitai скачайте набор карточек которые будут содержать в себе списки ключевых слов, например файл color содержит множество цветов и благодаря нашим расширениям вы теперь будете иметь быстрый доступ к ним.

Скачанные файлы поместите в папку stable-diffusion-webui\extensions\sd-dynamic-prompts\wildcards

Теперь, после перезагрузки интерфейса вы можете написать cat __color__ и генерировать и каждую генерацию из файла color.txt будет выбираться случайный цвет. Или что-то посложнее __animal__ __background__ __setting__ __artist__. И каждую генерацию будем получать случайное животное в случайном месте в случайном сетинге приправленное случайным стилем.

Пример генераций по этому запросу:

Такой способ использования это пальцем в небо. Для себя я обычно заменяю подобным одно два понятия в своих промптах, одежду, стиль или сеттинг, чтобы перебрать варианты и найти неочевидно классный и уже дальше с ним играться. Это была работа расширения wildcards.

Dynamic prompt

Но кроме него мы установили и Dynamic prompt. Он работает сложнее, как именно рассказал на видео. Для него мы сами пишем список вариантов которые хотим видеть в нужном нам месте и так же каждую генерацию выбирается один из них. Например, если использовать вот этот промпт:

{1-2$$professional high quality|majestic|stunning view|spectacular} { (HDR photo)|digital art|digital painting|1.05::analog photo|photorealistic painting|0.5::hyperrealistic scenery|1.1::digital photography} {containing|of} a picturesque nature of a
{1-3$$humid tropical jungle|foggy fjord|ocean bay|seashore|desert landscape|cherry blossom on cliff|ocean shore|wild life scenery|bare tree and desert|river in forest|body of water surrounded by trees and rocks|landscape photo of northern forest|lush vegetation view|calm body of water surrounded with trees and stones|silhouette of an old bare tree on body of water near cliff|sun rays through trees, voluminous light and light rays|steep rocky walls gorge|tropic island beach with a few palms|foggy swamp|peaceful lushious forest|lush green deep forest|prairie|alpine meadow|savannah {mirage|}|lush bloom oasis|amazon river forest|quaint northern hills in the moss|reflective lake|spectacular river view|endless plain|picturesque forest edge with an old driftwood|dark thicket} in a
{winter|spring|summer|autumn} [imagination] {in the morning {dawn| <lora:theovercomer8sContrastFix_sd15:0.4> }|in the afternoon|in the evening {sunset| <lora:theovercomer8sContrastFix_sd15:0.6> }|at the night, {moonlit|} <lora:theovercomer8sContrastFix_sd15:0.7> }, {clear|cloudy { (raining) |}|partly cloudy {windy||}|overcast|snowing { (blizzard) |}|foggy|0.7::stormy and lightning| (hurricane) } weather,
{1-2$$global lighting|environmental lighting|dramatic lighting|(god rays:0.9)}, 8k resolution, detailed, focus, (close shot)
{1-2$$featured on flickr|environmental art photography|shutterstock contest winner|deviantart|hudson river school painting|pixiv|atmospheric dreamscape painting|pinterest|0.5::inverted darkness (extravaganza) }
{1-2$$by Michael James Smith|by Mark Keathley|by Thomas Vijayan|by Guy Tal|by Mandy Lea|by Thomas Kinkade|by Ted Gore|by Jake Guzman|by Marc Adamus|by Ryan Dyar}

Negative prompt: fish eye, blurry, {undetailed|haze}, city, people, man, person, entity, character, monochrome, b&w, animal

И если сгенерируем 6 картинок, то получим:

Можно открывать сайт с обоями. Кстати как качественно увеличить их разрешение с помощью нейросети писал совсем недавно тут.

Или еще пример, когда-то давно делал генератор девушек.

{curvy|_} {(tall:1.1)|(short:1.1)}{(Latina:1.1)|Asian|European|European|(Latina:1.1)} full body photo of cute woman, wide angle, {tanned skin|brown skin|pale skin|tanned skin|brown skin|pale skin|black skin}, (freckles and moles and skin pores:1.1)wearing shoes and {(tank top:1.1)|(dress:1.1)|(overall:1.1)|(blouse:1.1)|(bustiers:1.1)|(bra:1.1)|(swim suit:1.1)|(sheath dress:1.1)|(mini sun dress:1.1)} and {jeans mini shorts|mini skirt|mini pleated skirt|mini circle skirt|tulip skirt|pencil skirt}, small breast, solo, 1girl, {short hair|long hair}, {redhead|white hair|black hair}. Highly Detailed, detailed skin, detailed eyes, 20 megapixel, canon eos r3, detailed skin, detailed face, raw photo, bold, bright colours, dslr, dramatic lighting, high quality, film grain, Fujifilm XT3, (strong backlight:1.1), analog style, dimly lit

Работает так. В фигурных скобках через прямую линию пишем варианты для выбора, при генерации из каждых скобочек выбирается один из них. Чтобы выбирать не один, а несколько пишем 2$$ - будет выбрано 2. Или 1-3$$ - будет выбран случайным образом от 1 до 3.

Мне это все очень часто пригождается в коммерции. А вайлдкардс использую и для простых генераций.

__

Мой канал с гайдами по нейросетям. Где бесплатно обучаю с нуля и до самостоятельного обучения моделей.

__

Если хотите быстро влиться, то у меня есть два видео, одно как установить, а второе как настроить и работать с SD.

Ждал когда эта функция заработает с самого релиза версии 1.1, она казалась мне самой интересной. И не зря. За что мы любим контролнет? За то что можем генерировать по образу на высоких уровнях денойза не теряя композицию. С препроцессором tile_resample теперь мы можем делать апскейл с высоким уровнем денойза, а значит его качество и детализация станет еще выше.

Делает он это благодаря тому что может понимать что находится на том тайле который нужно увеличить и детализировать.

Сравнение до и после апскейла всего в два раза:

Инструкция простая (если для вас она такой не кажется то пролистайте до конца статьи, оставлю полезные ссылки). У вас должен быть установлен ControlNet. Я написал про его использование уже около 4 гайдов, для новичков есть вот такой.

Приступим.

Качаем модель для тайлинга вот тут. Нам нужна та которая содержит слово tile и конфиг файл к ней. На данный момент это control_v11f1e_sd15_tile.pth. "e" в названии значит экспериментальная, но она уже неплохо работает. Закидываем к остальным моделям контролнета.

Отправляем картинку для апскейла в img2img.

На моем примере лучшими настройками оказались вот такие:

Больший размер тайла позволил сильно поднять качество уменьшив кол-во артефактов, так как чем больше мы показываем тем лучше он понимает что изображено, тем лучше будет апскейл. И в guess mode я отдал контроль над промптом в руки контролнета.

Так же, в выпадающем меню Scripts, нам нужно активировать сам апскейлер. Тут по желанию, можно тот что идет предустановленным, SD Upscale, либо установить расширение Ultimate SD Upscale.

Я использую апскейлер Siax. Вы можете использовать тот который вам больше нравится. Хорошими апскейлерами, как их установить и другими полезными вещами мы делимся в нашем тг сообществе. В котором скоро будем праздновать 1000 человек. Присоединяйтесь.

В заключение:

Контролнет снова подтвердил звание обязательного к установке расширения. Кроме того что мы можем управлять композицией, светом, позами и другим, теперь он улучшает наш апскейл. Вы можете использовать высокий денойз, судя по отзывам до 0.7, но не забывайте и про размер плитки чтобы у него был контекст. На очень больших разрешениях могут начаться трудности так как видеопамять не резиновая, а контекста в плитку будет попадать все меньше. И самое главное. Мои настройки не единственно верные, для разных сюжетов могут понадобиться разные настройки денойза, выбора апскейлера и размера плитки. Так же не забывайте про существование настроек самого ControlNet такие как вес и гайданс старт и энд.

__

Мой канал с гайдами по нейросетям. Где бесплатно обучаю с нуля и до самостоятельного обучения моделей.

Если хотите быстро влиться, то у меня есть два видео, одно как установить, а второе как настроить и работать с SD.

Сейчас будет инструкция для тех кто уже знаком со Stable Diffusion. Если ты не из таких, но хотелось бы научиться, ссылка будет в конце поста.

Загрузите изображение во вкладку img2img.

Вбейте подсказку. Для примера подсказка автора к одной из картинок выглядела вот так:

Positive prompt:unparalleled masterpiece, ultra realistic, 8k, perfect artwork, ((perfect male figure)), mature man, looking at viewer, alluring, clean, ((shiny skin)), intricate detail, prestige, anime-styled black hair, spiked hair, pale, emo, goth, asymmetrical hair, dark eyes, (lips closed), black hooded sweatshirt, pull strings

Negative Prompt:(worst quality:1.2), (low quality:1.2), (lowres:1.1), (monochrome:1.1), (greyscale),deformed, bad anatomy, disfigured, poorly drawn face, mutation, mutated, ugly, disgusting, missing limb, floating limbs, disconnected limbs, blurry, doubled face, mutated hands, mutated fingers, multiple eyebrows, multiple views, sketch, child face, woman, girl, (((female))), (chiseled jaw)

Denoising straight используйте между 0.4 и 0.55.

Далее берем получившееся изображение и заменяем им исходник. Наше изображение уже не такое пиксельное и каждый следующий раз его форма будет становиться четче. Так же если между генерациями автора что-то не устраивало. Он отправлял результат в фотошоп, поправлял и уже затем отправлял обратно в SD.

Если механика все еще не понятна то на всякий случай записал для вас гифку:

Чем меньше денойз будете использовать тем больше деталей сможете сохранить. Например, я потерял пирсинг. Его стоило бы вернуть и сделать более явным в фотошопе ну и в промпте указать. И очень высокие брови, тут не стандартная форма лица, а в запросе у нас просто женщина, потому СД будет стремиться привести лицо к стандартному. Тут снова или меньше денойз, или более точный промпт. Баланс в ваших руках. Если совсем ничего не помогает сохранить форму, а очень надо, то тогда ваш выбор это котролнет. Вот гайдпо вкатыванию в это расширение.

Другие примеры:

Модели которые использовал автор оригинального поста:

NeverEnding Dream, ChilloutMix, PerfectWorld (NSFW).

Добавлю что я часто использую подобный способ в разных ситуациях. Когда нужно максимально сохранить оригинал, но привнести побольше изменений. Контрол нет может сработать не так гладко, так же он может потерять цвета. Я уже писал об этом способе работы довольно давно вот тут. Но решил повторить на примере чужой работы из-за высокой популярности подобных ремиксов и не всем было очевидно что это можно применять и в обратном направлении.

Мой канал с гайдами по SD. Где бесплатно обучаю с нуля и до самостоятельного обучения моделей.

Далее планирую рассказать как затем его настроить и значительно ускорить, а после сделаю обзор на установленные у меня расширения. Ну а дальше по ситуации. Может даже стримы будут. Вам было бы интересно посетить мой стрим? 😊

Погенерировал бы, рассказал бы много интересного. Поотвечал бы на ваши вопросы.

Ну а так же напоминаю про два других моих канала, один для тех кто любит быть в курсе новостей. Утром например рассказал что случилось с гугл колабом. А второй про генерацию картинок и видео, а так же рассказываю как это было сделано.

Ах да, еще мне посоветовали бустёй своей светить, а не прятать ее. Так что вот. Если я вам помог вы можете меня отблагодарить словом в разделе с отзывами или рублем.

Для тех кто хочет быстро поиграться есть версия в колабе. Для остальных:

Установка:

1. Открыть автоматик и перейти на вкладку Extensions

2. Выбрать вкладку Install from URL

3. Вставить это https://github.com/v8hid/infinite-zoom-automatic1111-webui.g... в первую строку. И нажать Install.

4. Перезагрузить интерфейс во кладке Installed.

Использование:

1. Перейти на кладку расширения.

2. Изменить подсказку. Генерировать.

Для лучшего результат рекомендуется использовать inpaint версии моделей. Про них рассказывал вот тут.

Но даже с инпейн версией модели на некоторых генерациях я у себя наблюдаю границы генераций.

Видео сохраняется по пути stable-diffusion-webui/extensions/infinite-zoom-automatic1111-webui/out/videos

Так же автор не рекомендует использовать Mask blur выше нуля. Так как по его словам это работает не корректно.

Еще примеры:

Поделиться результатами или обратиться за помощью вы можете в нашем чатике.

Больше гайдов, больших и маленьких, на моем канале.

Если ControlNеt у вас еще нет, то в автоматике идем в Extension-Available жмем Load from. Ищем ControlNet, жмем Install. Скачиваем модели. И кидаем по пути ваша_папка_с_автоматиком/extensions/sd-webui-controlnet/models. Всё. Вы готовы. Можем начинать.

Результат не всегда предсказуем, но от того крайне интересный.

А теперь скачаем новинку. Перейдите по ссылке и скачайте t2iadapter_style_sd14v1.pth. Помещаем туда же куда и все модели контролнета.
Ваша_папка_с_автоматиком/extensions/sd-webui-controlnet/models

Не забудьте обновить сам контролнет, если давно этого не делали. На вкладке Extension.

Переходим txt2img. Сегенерируйте картинку на свой вкус, чтобы посмотреть как она выглядит без новинки. А теперь активируем контролнет. Препроцесср установите clip_vision, а модель t2iadapter_style_sd14v1.

У меня будет вот такая:

Мои настройки (обратите внимание на Weight):

Из за вот этой Картины Ван Гога, я некоторое время не мог понять как это работает, но и она же все же дала понять как. Я прогнал один промпт через десятки фотографий.

Часть образцов:

Результат:

Обратите внимание как переносится стиль. Это не простой перенос цвета. Например от мужика переехали усы. А от картины "Звездная ночь" только небо и немного город. Тут я и догнал что это как мини обучение. Он понимает что это именно небо и поэтому менял мне небо. Он нашел на фотографии которая имела совсем другие пропорции усы и прилепил похожие. И тд. и тп. Что как я считаю довольно круто.

Результат просто промпта:

++++++

====

За артефакты сорян, не про них статья)

Игры с имг2имг предлагаю вам устроить самостоятельно:

Что хочется отметить. Очень важен ползунок Weight. На 1 можно даже не увидеть воздействия. Лучшие результаты я получал на диапазоне 1.05-1.4. Для разных изображений по разному. Так же рекомендую поиграть с Guidance Start\End. При высоком весе, отстрочить вступление контролнета может дать результат как выше.

П.С. Это не единственная новая модель. Есть еще color, но он просто выделяет главные цвета из изображения и накладывает на новое, делает это довольно грязно. Если хотите попробовать то по той же ссылке файл t2iadapter_color_sd14v1, а препроцессор для него color.

Мои ссылки:

Нейронная академия - мой канал для которого пишу гайды, новости, советы.

Наш чат - место где мы общаемся, делимся работами, помогаем друг другу с решением проблем.

Интенсив - где за 2 дня собираемся обучить всех желающих основам использования SD.

Челенджи - раз в день, неделю, месяц публикуем тему и выясняем кто справился лучше.

А так же ютуб канал и бусти с доп материалами.