Эксперименты с нейросеткой (stable diffusion)⁠⁠

Как и все побаловался с миджорней и стейбл диффуженом, поулыбался с заявлений, что концепт-художники больше не нужны, а тут стянул sd чтобы текстурки генерить, и стало мне интересно проверить, так ли это.

За основу взял кусочек идеи от одного зависшего проекта. Персонаж - сестра милосердия, до которого так и не добрались в своё время.

Сестры милосердия - такие тётки, которые бродят по полю боя и добивают раненых. Одета в белое платье и таскает с собой молот. Лечиться долго, муторно и в целом лениво, а сестры при помощи молотка выдают прямой билет в Вальгаллу. Очень удобно.

Ниже то, что получилось, а еще ниже, описание того как оно делалось.

Крутки в миджорней кончились, покупать подписку хлопотно, поэтому решил плясать от SD версии 1.4 с гуи NMKD, тем более что он скачан и под рукой, ждать не нужно, выдает всё быстро да и нравится больше, потому что чаще генерит что-то похожее на арты, чем пытается косить под реализм.

Первые эксперименты, по запросу "девочка в белом платье с молотком + абзац описания" выдавали какую-то неюзабельную херню.

И тут вспомнилось, что можно обрабатывать фотки. А если работает с фотками, отчего бы не засунуть туда какой-нить набросок. Навозюкал по пырому на планшете ракурс с которого хотел бы посмотреть, подкинул в промты - "redhead, white dress, concept art, digital art, trending on artstation". Оказалось работает.

Достаточно долго пришлось подбирать параметры CFG и Influence так чтобы стилизации хватало отрисовывать детали, но при этом не уплывала поза.

Получилось весьма удобно, зерно (seed) влияло на генерацию деталек, при этом все что генерилось, достаточно близко совпадало по размеру и расположению. Оказалось вполне удобно свалить слои в кучу и дергать детальки из нужного слоя. 

Самое сложное, было не ржать, когда SD пыталась в нюдсы, отчего то ей очень хотелось снять платье... как-нить отдельно под тегом nsfw запилю, если кому станет интересно. Иногда генерились просто потрясающие красавицы:

Ну и, конечно же, у всех лютейшие проблемы с глазами и руками. Хорошо хоть количество конечностей совпадало с эскизными. Но так как картинок был вагон, то было достаточно просто подбирать удачные, поправлять глаза и остальные косяки.

В общем, получился вполне себе удобный пайплайн, если надо по пырому и не сильно ответственно наконцептить какого-нибудь персонажика...