Создаем понятный текст в Stable Diffusion с помощью ControlNet⁠⁠

Друзья, я не перестаю удивляться новым и новым применениям ControlNet, которые мы с вами находим. Казалось бы мы только недавно поняли, что через ControlNet можно управлять освещением и эффектами, неужели и это не все?

Сегодня я расскажу вам, как вы можете добавить понятный и читаемый текст в ваши генерации.

Что нам понадобится:

1. Актуальный Automatic 1111 с установленным и активированным ControlNet в коллабе или локально.

2. Промпт для изображения на которое мы будем добавлять текст.

3. Любой фото редактор. Для этого гайда я буду использовать бесплатный онлайн редактор https://pixlr.com/ru

Для начала сгенерируем изображение на которое мы добавим текст. Я для этого возьму свой промпт и сгенерирую девушку стоящую около стены покрытой граффити.

Конечно так эту мадам оставлять нельзя, давайте проведем быстренький инпеинтинг и все почним, это не займет больше 10 минут.

Готово, есть стена, есть девушка, нет текста, копируем картинку и открываем фото редактор, я открываю https://pixlr.com/ru/, он бесплатный, но там ограничено кол-во сохранений в сутки. Если знаете какой-то более удобный и доступный редактор - напишите в комментарий, не хочу ради таких задач открывать ФШ.

Нажимает создать и указываем имя и размер картинки, размер должен быть такой же как и ваша картинка, на которую вы будете добавлять текст.

Копируем нашу картинку из интерфейса автоматика

И просто вставляем с помощью ctrl+V в интерфейсе pixlr.com. Далее выбираем инструмент Текст

Теперь нужно создать слой с текстом и написать сам текст, вы можете выбрать из множества шрифтов и различных эффектов. Текст создавайте белым, это важно. Примеряйте его на то место где он должен быть на вашей генерации, настраиваете размер и стиль текста. У меня получилось вот так.

Теперь нам надо отключить видимость нашей картинки и отдельно сохранить только слой с текстом.

Теперь через меню Файл сохраняем как png с прозрачностью и возвращаемся в Автоматик.

Теперь отправляемся в инпеинтинг и выделяем нужную нам зону, в которую планируем вставить текст.

Теперь опускаем вниз к ControlNet и загружаем там нашу картинку с текстом, нажимаем Enable, нажимаем Invert Input Color, препроцессор не нужен, а модель ставим Depth. Я еще вес модели выставил на 2.

Все готово, генерируем, и самое приятное, что наша текстовая маска безупречное вплетается в нашу картинку. Вот что получилось у меня. Как будто трафаретом нарисованный граффити текст.

Почти хорошо, добавим еще несколько штрихов и быстренько отинпеинтим полученную надпись на низком деноизинге, где-то на 0.22, для того, чтобы она лучше вписывалась в окружение. Не забудьте на время инпеинтинга выключить контролнет, он свое дело уже сделал. Ну и сделаем небольшой апскейлинг. Думаю минут за 15 управимся.

Готово, друзья, это потрясающий, а главное простой и понятный инструмент, который позволяет нам избавиться от последней преграды - текста, в наших генерациях.

Но самое важное, что мы не просто накладываем текст сверху, как можем сделать в редакторе, а именно вплетаем его внутрь нашей генерации, на примере из первой картинке у меня в промпте школьная доска и текст стилизован в виде написанного мелом. В этом примере у меня в промпте стена с граффити и мой текст автоматически стилизовался под стену с граффити. И так будет с любым сценарием. Если это не взрывает вам мозг, то что вообще тогда!

А на этом у меня все, жду ваши результаты в комментах и в чатике, посмотрите мои ссылочки и увидимся на стримах!

----

Мой телеграм канал, все секреты и советы, мои работы, нейро-новости, промпты, ссылки на стримы и многое другое только в нем, подпишитесь!

В чате нейро-операторов, можно попросить картинку, поделиться опытом или задать вопрос.

Записи моих обучающих стримов доступны на Бусти, там же выложены ххх сеты и можно получить доступ в секретный чат, где я буду учить тебя генерить в ламповой и уютной атмосфере.

Мои видео уроки по Stable Diffusion можно посмотреть на YouTube, подпишитесь, чтобы не пропустить новые ролики.