Stable Diffusion 2.0 - локальный тест⁠⁠

Вышла Stable Diffusion 2.0, добавлена базовая её поддержка в Automatic1111.

Модель на 768x768 можно качать тут:
https://huggingface.co/stabilityai/stable-diffusion-2/blob/m...

Инструкции по использованию её в Automatic тут:
https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki...

На данный момент работает только модель 768.

Потестировал....

Потестировал, генеря табличку художников.

Начинаем с запроса:

woman, art by Adam Hughes

И делаем X/R Plot с художниками. Просим нарисовать женщину, женщину и авто в городе, и кота.  Разными художниками.

Список художников следующий:

Adam Hughes
akihiko yoshida
alphonse mucha
andrei riabovitchev
Apollonia Saintclair
artstation
craig mullins
gaston bussiere
greg rutkowski
h.r. giger
hiromu arakawa
huang guangjian
ilya kuvshinov
ivan shishkin
jae cheol park
james jean
joao ruas
kentaro miura
Leiji Matsumoto
makoto shinkai
mark arian
masamune shirow
miho hirano
Naoko Takeuchi
Phil Noto
Posuka Demizu
range murata
ross tran
rumiko takahashi
satoshi Kon
shohei otomo
sophie anderson
studio ghibli
takashi takeuchi
takato yamamoto
Tsutomu Nihei
Tony Taka
weta digital
wlop
Yoji Shinkawa
yoshitaka amano
Yoshiyuki Tomino
yusuke murata
zdzislaw beksinski

По результатам тестирования - художников порезали. Вырезали не всех, парочку забыли, но многих.

Ситуация приблизительно следующая:
Жирным шрифтом отмечены вырезанные или сильно изменившиеся.

Adam Hughes
akihiko yoshida
alphonse mucha
??andrei riabovitchev
Apollonia Saintclair
artstation
craig mullins
gaston bussiere
greg rutkowski
h.r. giger
hiromu arakawa
huang guangjian
??ilya kuvshinov
ivan shishkin
jae cheol park
james jean
joao ruas
kentaro miura
Leiji Matsumoto
makoto shinkai
mark arian
masamune shirow
miho hirano
Naoko Takeuchi
Phil Noto
Posuka Demizu
range murata
ross tran
rumiko takahashi
satoshi Kon
shohei otomo
sophie anderson
studio ghibli
takashi takeuchi
takato yamamoto
Tsutomu Nihei
Tony Taka
weta digital
wlop
Yoji Shinkawa
yoshitaka amano
Yoshiyuki Tomino
yusuke murata
zdzislaw beksinski

Табличка получилась огромная, хотел залить её на внешний сайт, но получилось её впихнуть сюда..

Было в 1.5

Стало в 2.0

---------

Было в 1.5 (звиняюсь за цензор, тега НСФВ в сообществе нет...):

Стало в 2.0:

-------

Было в 1.5

Стало в 2.0

----------

Было в 1.5

Стало в 2.0

-------

Было в 1.5

Стало в 2.0

------

Было в 1.5

Стало в 2.0

---------

Было в 1.5

Стало в 2.0

---------

Было в 1.5

Стало в 2.0

-------

Было в 1.5:

Стало в 2.0:

--------

Было в 1.5

Стало в 2.0:

------

Было в 1.5:

Стало в 2.0

-----------

Как можно заметить, большинство художников покорёжило, и данные о них удалены, т.е. либо слабые остатки стиля, либо мутная деформированная хрень.

Что заметил, так это то, что новая сетка при упоминании "art by" старательно пытается написать имя буквами внизу. И даже в некоторые правильно попадает (и на это просрана драгоценная память).

На 768x768 стало намного сильнее заметно, как одна картинка "перетекает" в другую если используется один и тот же seed.

Пример:

Т.е. художников только классических.

Тему со стекляшками помним? (Лаборатория Алхимика (Stable Diffusion))

Вот что получилось вместо неё:

Запрос пришлось сделать сильно сложнее, эффект не тот, и для получения чего-то близкого к старому варианту придётся очень долго страдать фигнёй. А ещё он ватермарки рисует поверх картинок.

Кстати, обнажёнку тоже порезали. Рисует людей с анатомией куклы барби. (лимит на картинки в посте закончился).

------

Какие из этого можно выводы сделать?

HuggingFace попутал бес или же им очень понравилось количество денег, которое бросили в их сторону, поэтому они решили всё по максимуму зацензурить в лучших пуританских традициях. Абы чего не вышло. В результате сетку сложнее использовать, хотя разрешение стало больше.

Ждём, когда кто-нибудь либо скормит в сеть неотцензуренный Laion-5B, либо заточит сеть на более удачном контенте. Со Stable Diffusion 1 такое было, есть смысл ожидать такое же и тут.

В сетке 768 генерация идёт на разрешении 768x768, занимает приблизительно вдвое  больше времени, но не факт, что в более высоком разрешении стала лучше генерация, т.к. стало более заметно, как картинки генерятся. В релизе есть интересные технологии (определение глубины, например), но пока что их не прикрутили. Так что ждём дальнейшего развитие, и, скорее всего, для большинства задач пользуемся SD 1.5 и 1.4.

И на этом всё.

---небольшое дополнение---

В видео одного из ютуберов (aiterpreneur) по теме проскочило предположение, что текущая ситуация (порезанное нсфв и отсутствующие художники) возникла из-за легальных проблем, т.к. HuggingFace - компания и их могут засудить. Идея такая, что часть законов, связанных с нейротворчеством - всё ещё в работе, и компанию заваливали легальными исками, из-за чего так медленно вышла версия 1.5.

Но вроде как есть намёк, что новую модель будет легче тренировать, и что будут выложены - в скором времени - инструмены для этого. И тогда народ начнёт подстраивать текущую не очень удачную базу 2.0 под свои нужды, плодя чекпоинты. Нечто похожее происходило с Modern Disney ( Модуль для Stable Diffusion который имитирует стиль мультфильмов современного Диснея )

Т.е., возможно, лучше подождать улучшений и дальнейшего развития событий....

Но так это или нет, покажет время. И вот на этом всё.