3d редактор поз для ControlNet в Stable Diffusion⁠⁠

Друзья, совсем недавно, когда только появился редактор для OpenPose я ванговал, что через пару недель у нас появится редактор поз прямо на странице генерации около ControlNet и мы сможем быстро и просто генерировать позы и даже сохранить свои самые используемые позы в библиотеку. Помните?

Но я даже и подумать не мог, что это будет в 3д, т.е. нам больше не нужен этот гайд чтобы перевернуть персонажа! Встречайте - Posex!

Что нам потребуется:

1. Актуальный Automatic 1111 с установленным и активированным ControlNet в коллабе или локально.

2. Промпт по которому мы будет генерить изображение, у меня Бунтарка, у вас может быть кто угодно.

Установка расширения как всегда простая, отправляемся в Extensions - Avalibale - Load from. Находим в списке Posex, жмем Install, Возвращаемся на вкладку Installed и жмем Applay and restart UI. Если все прошло хорошо, то у вас появился новый аккардеон на вкладках txt2img и img2img с названием Posex, как у меня на картинке выше.

Чтож, начнем с промпта, раз мы можем теперь крутить куклу во все стороны, то сделаем Бунтарку балериной танцующей в розой балетной пачке.

У меня получилось так, теперь фиксируем сид и отправляемся в Posex. Начнем с того, включим галочку Send this image to ControlNet, чтобы оно вообще активировалось, не забудьте в самом ControlNet выставить модель OpenPose, препроцессор не нужен. Не знаю бага это или фича, но у меня даже при снятой галочке Enable в ControlNet все равно трекалась поза из Posex.

Теперь выставим разрешение такое же как и наша генерация - 512х768, просто пишем в Canvas Size. Когда разрешение выставлено можно нажать на кнопку Add и добавить куклу в окошечко. Вот так это выглядит у меня.

Запускаем генерацию, чтобы проверить как это все работает. А работает все отлично, получи ли Бунтарку в розовой пачке и Т позе.

Значит можно приступить к редактированию позы. Но сначала разберемся в управлении. Кликните и удерживайте левой кнопкой мыши в пустое место на черном фоне и сместите мышку, таким образом вы можете повернуть куклу боком.

А вот что у нас сгенерировалось, не смотря на фиксированный сид задник меняется, стоит использовать еще один слой ControlNet, если хотите зафиксировать задник.

Когда надоест крутить персонажа, просто нажмите Reset Camera, потому что нормально вернуть куклу в изначальное положение у меня не получилось =)

С помощью колесика мышки вы можете приблизить или отдалить персонажа. А если кликните правой кнопкой мышки и удержите то сможете сдвинуть камеру в стороны. Я приближу чтобы получить super closeup, хотя пока это больше похожа на муравья.

И вот что у нас получается на генерации, Бунтарка явно удивлена таким пристальным вниманием.

С базовым управлением разобрались, осваиваем ключевую механику, передвигаем кости. Как это сделать наведите курсором мышки на сустав который хотите передвинуть и как только увидите рамку вокруг куклы, значит кликайте и тяните в нужную сторону.

И так, вроде разобрались, теперь время придумать какую-нибудь креативную позу, этот редактор действительно удобнее чем OpenPose, так что уж теперь-то это не займет много времени.

Вот такая поза получилась у меня, это не кандратий, это балет. Генерируем.

Отличный результат, а теперь давайте повращаем нашу балерину.

Думаете что в этом слишком мало экспрессии и динамики? Не проблема, выставим камеру сверху под каким-нибудь странным углом.

Другое дело, что еще можно делать интересного, вы можете сохранить позу в библиотеку поз и использовать её повторно, для этого нажмите Save Pose, и после того как укажите имя для позы она сохранится внизу. Еще вы можете сохранить картинку с позой отдельно или копировать её в буфер обмена, чтобы вставить куда-нибудь.

Еще можно загрузить сюда фон, чтобы примерить как будет выглядеть персонаж, а фон потом можно сделать через ControlNet.

Но для этого придется сохранить карту с позой и загрузить её через ControlNet, потому что на момент написания этого текста многослойный ControlNet и Posex работают не корректно, может быть это уже исправиться к тому моменту как вы это читаете, так что проверьте. А пока снимите галку с Send this image to ControlNet в Posex. Теперь закинем все по отдельности в ControlNet, у меня выглядит так.

И вот такой прекрасный результат получаем, Бунтарка танцует на сказочной полянке в окружении облачков.

По моему отлично, мне нравится новый редактор. Уверен он понравится и вам, он конечно еще очень сырой и глючный, но пользоваться им уже удобнее чем OpenPose Editorом.

А на этом у меня все, увидимся на стримах!

----

Мой телеграм канал, все секреты и советы, мои работы, нейро-новости, промпты, ссылки на стримы и многое другое только в нем, подпишитесь!

В чате нейро-операторов, можно попросить картинку, поделиться опытом или задать вопрос.

Записи моих обучающих стримов доступны на Бусти, там же выложены ххх сеты и можно получить доступ в секретный чат, где я буду учить тебя генерить в ламповой и уютной атмосфере.

Мои видео уроки по Stable Diffusion можно посмотреть на YouTube, подпишитесь, чтобы не пропустить новые ролики.