OpenPose editor для ControlNet в Stable Diffusion⁠⁠

Друзья, когда ControlNet только вышел я сразу вам рассказывал, что уже через неделю будет расширение которое позволит нам редактировать позу прям в автоматике и даже без фотографии в качестве референса.

Это расширение уже здесь

Установка очень простая переходите на вкладку Extensions – Avalibaile – Load находите в списке openpose-editor,  Install, обратно на прошлую вкладку и Applay and Restart UI. Готово у вас появилась вкладка OpenPose Editor.

Настройки тут простые как пять копеек, вы указываете размер своего холста т.е. разрешение будущей картинки. А потом берете скелетик и двигаете его так как хотите. Скелеты имеют по три точки на ногах, руках и теле, и еще несколько на голове, кликните на точку и удерживайте и вы можете легко поставить персонажа в нужную вам позу.

Я например поставлю вот в такую странную позу:

Нужно немного приноровится чтобы понимать как точка за какой сустав отвечает, но схема рабочая.

Когда поза выставлена вы можете сохранить её как PNG чтобы использовать позднее, сохранить как JSON чтобы импортировать в другие программы, или сразу же отправить в ControlNet и сделать из этой позы картинку. Мы так и поступим.

Это мы уже на вкладке txt2img и все готово к работе

Не забываем нажать галочку Enable и выставить модель openpose, препроцессор мы не ставим т.к. уже сделали эту работу сами. Генерируем!

Не спрашивайте хотел ли я получить именно это, но результатом я доволен как слон

Но это еще не все, если мы хотим сделать нескольких персонажей в этом нет никакой проблемы, просто увеличиваем размер холста, так, чтобы они физически помещались и жмем на кнопочку ADD.

Я так вообще устрою пакистанский рейв.

А вот и результат, отличная динамичная сцена с минимумом усилий и тремя персонажами, в инпеинтинге сможем сделать им разные лица.

Что еще тут есть полезного, на вкладке OpenPose Editor мы можем выставить позу по фотке и отредактировать её, для этого загрузите фото через кнопку Detect from Image. Если хочется то корректируем, или сразу закидываем в ControlNet.

Получаем позу из фотки в один клик

Генерируем получаем превосходный результат.

Кстати, у этого нового персонажа еще нет имени, если есть идеи пишите в комментарии.

Друзья, теперь все стало гораздо проще и удобнее, это очень важная веха которая меняет все.

Ну и раз уж я стал вашим местным оракулом, то расскажу как дальше будет развиваться эта тема. Появятся готовые пресеты для поз, чтобы выставленную позу можно было сохранить, будет библиотека с готовыми позами, ведь их можно загружать из JSON т.е. из программ для 3д моделирования и много откуда еще. И будет доработан в конце концов openhand и руки мы сможем выставлять точно так же в этом же расширении. Ну и в конце концов само расширение переедет по ближе, во вкладку генерации чтобы прямо там же создавать.

До этого по моим скромным оценкам уже по больше времени, думаю около месяца. Будем подождать. А пока have fun мои хорошие.

---

Мой телеграм канал, все секреты и советы, мои работы, промпты и многое другое только в нем.

В чате нейро-операторов, попросить картинку, поделиться опытом, задать вопрос сюда.

Поддержать меня можно на Бусти, там выложены лучшие сеты и можно получить доступ в секретный чатик.