Новая модель для ControlNet. Берем эмоции под контроль
TLDR: Че тут происходит вообще? Я тут делюсь своим опытом по работе с нейронками. Если тебе эта тема интересна, но ты только начал вникать загляни ко мне в профиль или в конец статьи, там есть полезные ссылки. Сейчас это может быть слишком сложным для тебя.
Энтузиасты натренировали ControlNet на датасете LAION-Face dataset, чтобы улучшить уровень контроля при создании изображений лиц.
Хотя другие модели ControlNet могут использоваться для позиционирования лиц в сгенерированном изображении, мы обнаружили, что существующие модели страдают от аннотаций, которые либо недостаточно ограничены (OpenPose), либо чрезмерно ограничены (Canny / HED / Depth). Например, мы часто хотим контролировать такие вещи, как ориентация лица, открыты / закрыты глаза / рот и в каком направлении смотрят глаза, что теряется в модели OpenPose, а также не зависит от деталей, таких как волосы, подробная структура лица и не-лицевые черты, которые будут включены в аннотации, такие как canny или карты глубины. Достижение этого промежуточного уровня контроля стало стимулом для обучения этой модели.
Текущая версия модели не идеальна, в частности, в отношении направления взгляда. Авторы надеются улучшить это в следующей версии.
Так же они обнаружили, что многие ограничения модели сами по себе могут быть устранены путем расширения запроса на генерацию. Например, включение таких фраз, как "открытый рот", "закрытые глаза", "улыбающийся", "сердитый", "взгляд вбок", часто помогает, если модель не учитывает эти особенности. (Довольно очевидная вещь о которой я рассказывал тут)
Более подробную информацию о наборе данных и модели можно найти на Hugging Face странице модели. Авторы создали открытый запрос на добавление в sd-webui-controlnet в расширение для automatic1111. В настоящее время они сделали доступной модель, обученную на основе базовой модели Stable Diffusion 2.1, и и находятся в процессе обучения модели на основе SD 1.5, которую надеются выпустить в ближайшее время. У них есть форк Репозитория ControlNet который включает в себя сценарии для извлечения набора данных и обучения модели.
Для заинтересованных в обучении или дальнейшем обсуждении авторы предлагают присоединиться к их Discord.
Источник: Reddit.
А теперь перевожу на совсем русский). К сожалению модель пока работает только с моделью SD 2.1 или основанными на ней. Например Иллюминати. Но хорошая новость в том что над версией 1.5 они работают. А так же отправили запрос создателями ControlNet чтобы их препроцессор был добавлен с одним из обновлений в интерфейс контролнета в автоматике. Но если вы не хотите ждать и понимаете что делаете все необходимые для установки ссылки есть в статье.
Поделиться результатом своей работы или задать вопрос, а так же пообщаться с единомышленниками вы можете в нашем нейробратском комьюнити.
Больше гайдов на моем канале, подписывайтесь чтобы не пропустить.
Так же анонсируем интенсив, который создали в содружестве с другими нейроэнтузиастами. Ознакомиться с его программой и временем проведения можно по ссылке.