Новый инструмент: instruct pix2pix (Stable Diffusion)⁠⁠

За последние несколько дней кто-то сделал инструмент под названием instruct pix2pix который позволяет переделывать картинки, указывая компьютеру, что с картинкой надо сделать. Словами. На английском.

Для использования нужно уметь ставить свои чекпоинты. Если возиться не хотите, пролистывайте сразу к "что умеет".

----------------

Где брать:

Если у вас NMKD, включается в настройках вверху в выпадающем меню выбираете instruct-pix2pix.

Если у вас automatic1111, идём на вкладку "Extensions", находим там "instruct pix2pix"

Устанавливаем.

Потом идём сюда:

https://huggingface.co/timbrooks/instruct-pix2pix/tree/main

Качаем модель либо *.safetensors, либо *.ckpt и устанавливаем её как обычный чекпоинт, т.е. в папку models\Stable-diffusion ... потом всё перезапускаем. Для работы нужно будет выбрать модель в выпадающем списке.

Иначе работать не будет.

-------------------

Что умеет:

Берём исходное изображение:

Идём на новую вкладку, "instruct pix2pix", вставляем туда картинку, выставляем следующие настройки:

(Задрал TextCFG до 15, и количество шагов до 30), и даём команду:

"Сделать лето" (make summer).

----------

Результат:

--------

"Сделать автомобиль серым" ("Make car gray")

(всё покрасило)

--------

Сделать небо чистым (make sky clear):

(ну, допустим, деревья нам не были сильно нужны были)

----

"Сделать пустыней" (make desert)

----

"Сделать другой планетой" (make alien planet)

-----

"Убрать колёса" (remove wheels)

(Ну... оно попыталось.)

-------

"Заменить машину на дом" (replace car with house)

----

"Сделать стимпанковым" (make car steampunk)

(Выглядит жутковато)

----

"Сделать футуристичным" ( make car scifi futuristic)

(Ну, гм. Похоже на масковский кирпич.)

-------

Теперь с людьми. Допустим, берём фото девушки с pixabay (кто под руку попался).

"Сделать блондинкой" (make blond)

-----

"Сделать моложе" (make younger)

-----

"Надеть пиджак"(wear suit)

(снизил textcfg до оригинального 7.5, иначе получалось 3 руки... и туловище всё равно мужское)

---

Т.е. в теории можно брать любую картинку, описывать словами как её переделать, и будет результат.

Проблемы/ ограничения:

* Документации по этой штуке по факту ноль. Вроде как понимает человеческий язык (английский), но это не точно. Оно с пылу с жару, только-только придумали и прикрутили.

* Нужно возиться с настройками и ползунками, некоторые запросы дают слабый эффект если не выкручивать Text CFG на максимум. Например попытка сделать уаз киберпанковским просто чуть-чуть картинку покрасит синим.

* При некоторых запросах сетка едет кукухой. Например, если попросить модель сделать кудрявой, можно получить вот это:

Но можно получить и вот это:

При некоторых запросах исходная картинка полностью отбрасывается. Например "сделать с короткой стрижкой" (make pixie cut) почти полностью заменяет картинку и получается вот так:

И чтобы это исправить надо возиться и тягать ползунки туда-сюда и не факт, что поможет.

* Визуальное качество, как можно заметить, проседает по сравнению со всякими протогенами и т.д.

* Никаких альтернативынх чекпоинтов на данный момент нет. Есть только instruct-pix2pix-00-2000 и всё. Как он работает, так и работает, без альтернатив. Самплеров тоже нет, работает с каким-то одним, и настроек только CFG и количество шагов.

А, и как сказал, штука очень новое, если что-то не запускается или не работает, ничем не смогу помочь. Кроме того, что если вместо частичной перерисовки вдруг начинает рисовать новые картинки, надо чекпоинт туда-сюда попереключать.

В общем, вот так вот. Развлекайтесь.

------

И небольшой бонус.

Исходник ( https://victorymuseum.ru/encyclopedia/technic/bronetankovaya-tekhnika/legkiy-broneavtomobil-ba-64b-sssr-/):

"Сделать автомобиль круглым" (make car round)

Вот теперь всё.