Как улучшить своё творчество с помощью нейросети
Йоу, инструкция весьма проста.
Пропустим момент с установкой и настройкой Stable Diffusion, эти инструкции можно найти на просторах интернета. Перечислю лишь то, чем пользуюсь я: Stable Diffusion + Ultimate SD upscale + ControlNet + Posex (если понадобится поставить персонажей как нужно).
Итак, имеем рисунок, не столь важно на сколько он хорош, и чем нарисован. Я для примера возьму самое простое - карандаш на бумаге.
В стиле верните мне мой 2007й =)
Помещаем картинку в img2img, модель на ваше усмотрение, у меня любимые DarkSushiMix, galenaREDUX и ToonYou. Попробую для начала galenaREDUX.
Что по промптам: я всегда в начало ставлю (masterpiece, best quality), ultra detailed, intricate details, некоторые говорят, что такие вещи иногда бесполезны, не проверял особо, судить не буду. И в негативе: (worst quality, low quality:1.4), (monochrome), watermark, username, by bad-artist, badhandv4
Можем попробовать сгенерировать без описания, я выберу такие настройки:
Не будем давать сети много свободы (denoising strenght), чтобы сохранить исходную позу и детали.
И сразу не плохо, но есть несоответствия, опишем, что у нас на картинке в промпте и добавим, что бы мы хотели там найти, если этого нет: (masterpiece, best quality), ultra detailed, intricate details, 1girl, blond hair, open mouth, crying, tears, bracelet, green shirt, open shoulders, windy, dynamic pose, flowers, bushes, balcony
И тут начался перебор вариантов, генерим пока вас что-нибудь не зацепит, пробуем менять denoising strenght, чем выше, тем больше вмешательства нейросети. CFG Scale тоже, чем выше число, тем больше нейронка пытается следовать тому, что у вас в промпте. Я попробую денойз 0.5, CFG Scale 5 и добавлю ещё 50 шагов
Этот вариант понравился мне больше всего. Отправим его в img2img. Я бы хотел больше цветов. Можно довести дело в фотошопе, а можно погонять этот вариант ещё, чем мы и займёмся.
Увеличу CFG Scale до 7, Denoising Strength опущу до 0,45.
Мне понравились эти два варианта.
Теперь воспользуемся ControlNet и сделаем апскейл. Его можно делать на любой картинке из ваших вариантов которая вам понравилась, будь то максимально приближённый к вашему рисунку, максимально доработанный нейросетью или даже совсем изменённый.
Активируем ControlNet и выбираем модель control-depth-fp16. Остальные настройки можно не менять. И последнее выбираем ultimate SD upscale. Апскейлер можно использовать на ваше усмотрение. Важно выбрать ширину и высоту пропорциональную вашей картинке, я выбрал такой же как размер картинки. Придётся запастись терпением, данный шаг занимает чуть больше часа из-за довольно высокого разрешения, по крайней мере на моём железе с gtx1080 и 32гб оперативы. Можно было провернуть всё быстрее пропорционально уменьшив разрешение исходной картинки. Но я не хочу, пойду попью чаю.
Возвращаемся, получилось весьма годно!
Первый вариант, пожалуй, мне нравится больше. Осталось исправить, очевидные косяки в фотошопе и готово.
Если интересно, пользуюсь такой штукой для всяких графических дел. Так что наличие третьей руки или ноги при генерации не так страшно =)
Если кому-то помог материал, я рад. Спасибо за внимание!