Dmitriy.yiu

Недавно выполнял коммерческий заказ по QR-кодам, и заказчик очень просил сделать так, будто это и не QR-код вовсе, а натуральная картина. Ох и долго же я ломал голову над тем, как сгенерированы знаменитые примеры из интернета. Я и онлайн-сервисы пробовал по типу QR Code Monster, а также разные пространства на Hugging Face — вот ссылка на одно из таких. И модели скачивал диковинные, которые не давали должного результата.

Затем наткнулся на репозиторий qr_code_monster, где было хорошо все, кроме одного: модели не работали. Пришлось немного подправить код .yaml файла, без которого модель не может запуститься, поэтому прикрепляю ссылку на его скачивание (продублирую далее).

В общем, на данный момент способ околоидеальный и может выполнять большое число задач: генерировать вписанные в окружение QR-коды, логотипы, текст и много чего еще.

Что нам понадобится?

Во-первых, установленный либо на ПК, либо в Google Colab — Automatic1111. В случае проблем с установкой готов помочь в чате.

Также необходимо поставить расширение ControlNet, репозиторий которого вы можете найти по ссылке.

Предпоследним шагом установим специальные модели ControlNet, которые и позволят нам создавать из черно-белого рисунка замысловатые изображения. Для этого переходим по ссылке и скачиваем файл со скриншота.

Также не забываем загрузить файл .yaml, необходимый для работы основной модели. Далее я покажу, куда это все дело закинуть. Если у вас не сработает официальный, то можете попробовать скачать мою версию.

Скачанные файлы закидываем в корневую папку Stable Diffusion: stable-diffusion-webui\extensions\sd-webui-controlnet\models.

Перейдем к практике

Для начала подготовим исходник. В моем случае это черно-белое изображение логотипа Nike.

Заметьте, что чем более светлый рисунок на исходнике, тем более светлым он будет и на генерации. Т.е. если вы хотите, чтобы логотип был темнее всего остального, то инвертируйте цвета.

Далее запускаем Automatic1111, в моем случае я буду использовать Google Colab, где ControlNet уже установлен по умолчанию, что очень удобно. Также там сразу автоматически скачиваются все модели. А чтобы поставить дополнительные для генерации QR-кодов, я просто указал их ссылками в специальном поле.

Если вы хотите пользоваться Google Colab, то переходите в мой чат, я поделюсь блокнотом. А иначе из-за публичности его могут забанить, как это произошло со всеми известным The_Last_Ben...

Вот строка с ссылками: https://huggingface.co/monster-labs/control_v1p_sd15_qrcode_..., https://drive.google.com/file/d/14Vr0hHiWnEiv1XenRBW0dAoinRG...

Первая ссылка вдет на репозиторий с основной моделью, которая весит 1,4Гб, а вторая на мой Google disk и скачивает .yaml файл. Вы можете таким же образом загрузить этот файл к себе на диск и указывать на него ссылку.

Итак, загружаем наш исходник в ControlNet, проставляем все галочки и выбираем модель. Веса у модели нужно ставить от 1 до 2, иначе рисунок будет заметен очень слабо. Не бойтесь завышать значения, ведь их можно компенсировать параметрами Starting и Ending Control Step.

Галочка Pixel perfect автоматически подгоняет разрешение исходника под разрешение генерации модели, чтобы вам не делать этого вручную. Однако если исходник слишком большой, то слабые видеокарты могут не потянуть такого монстра :]

Не торопитесь сразу же лезть на рожон. У вас, скорее всего, ничего не получится. Почему? Важен грамотно составленный промпт. Это 50% успеха (проверено слезами и испорченными нервами). Сам намучался со всеми этими моделями, пока не понял банальное: промпт всему голова.

Я прикреплю для вас ссылку на файл со множеством промптов для визуализации ваших идей. Все они проверены и отлично работают с данным методом.

Еще несколько советов

Если у вас не получаются слова или буквы, да и сам логотип, то попробуйте увеличить его. У диффузных моделей есть общая проблема: они плохо генерируют маленькие предметы, поэтому иногда нужно их растягивать.

У вас, скорее всего, не получится сразу следовать четкому ТЗ, поэтому придется дорабатывать изображение вручную — будьте готовы к этому. Также не пытайте мечт по поводу мгновенного выполнения задания со стороны исполнителя, если таковой будет. Это большая работа: пре-продакшн, разбор стиля, тестирование, пост-обработка.

Вы также можете использовать данный метод во вкладке img2img, чтобы более тонко контролировать процесс генерации.

Если у вас получается размытое или низкокачественное изображение, попробуйте прописать в поле Negtive prompt следующее: (worst quality, low quality:1.4).

Не зацикливайтесь на одном варианте. Пробуйте крутить по 10 генераций, чтобы делать правильные выводы.

Если нейронка не держит форму исходника, то ставьте в конце промпта токен BREAK, который заставляет нейросеть как бы облеплять черно-белый трафарет.

Вот примеры стилизованных логотипов

Эта история больше подходит, как оно обычно бывает с нейронками, либо для генерации идей, либо для доработки уже существующего концепта. Ну, а серединка работы на вашей совести :3

Congratulations, вы справились!

Теперь кто-то умеет создавать визуализации логотипов с помощью лучшего фреймворка для Stable Diffusion на сегодняшний день. Буду рад обратной связи и вашим комментариям, а также приглашаю в свой телеграм чат, где отвечу на все вопросы касаемо SD.

Буду рад видеть вас в телеграм-канале, где я собираю лучшие гайды по Stable Diffusion. А если не найду, то пишу сам.

Привет-привет! Честно, я прилип к теме генерации видео из текста, как этот чувак из семейства осьминожьих к аппетитным ножкам водолаза. Намучался, но установил! И нагенерил клипов для своих видео на ютуб. Если интересно, вот ссылка на канал.

Что нам понадобится?

Во-первых, установленный либо на ПК, либо в Google Colab — Automatic1111. В случае проблем с установкой готов помочь в чате.

Перейдем к практике

Первым делом устанавливаем расширение txt2video, найти которое вы можете по ссылочке. Эту ссылку нужно вставить в нужное поле и дождаться окончания загрузки, после чего перезагрузить веб-интерфейс вместе с консолью.

Ссылка для установки: https://github.com/kabachuha/sd-webui-text2video.git.

Далее по ссылочке скачиваем эти два файла. Весят они много, это верно, однако пользы и крутости в них не меньше!

Тэкс, еще эти два файлика нам понадобятся. Теперь точно все! Только по ссылочке на репозиторий перейдите :3

Все скачанные файлы мы должны положить в папку t2v, которая, в свою очередь, помещается в папку ModelScope (создаем их сами). Пожалуйста, смотрите внимательно на путь.

У меня на момент записи туториала была 3080 на 12Гб видеопамяти, для которой оптимальны следующие настройки. Если у вас 3060, то можете ставить аналогичные параметры — генерация будет идти относительно быстро.

По итогу с такими настройками у вас получится видеофайл на 2 секунды. Затем его можно будет апскейлить в программе Topaz Video AI, а также из 15 кадров сделать 60, что добавит плавности.

Если у вас слабое железо, то придется подгонять настройки вручную.

Сохраняться видео будут по этому пути. Для каждого видео создается своя папка, где находится секвенция и само видео.

Иди сюда, генерить хочу, человек!

Congratulations, вы справились!

Теперь кто-то умеет создавать видеоролики с помощью лучшего фреймворка для Stable Diffusion на сегодняшний день. Буду рад обратной связи и вашим комментариям, а также приглашаю в свой телеграм чат, где отвечу на все вопросы касаемо SD.

Буду рад видеть вас в телеграм-канале, где я собираю лучшие гайды по Stable Diffusion. А если не найду, то пишу сам.

У меня уже был пост о том, как генерировать одного и того же персонажа в Stable Diffusion, однако я нашел более эффективный способ сохранить консистентность и при этом получить полный контроль над позой персонажа и поворотом его головы (в данном случае ее).

Что нам понадобится?

Во-первых, установленный либо на ПК, либо в Google Colab — Automatic1111. В случае проблем с установкой готов помочь в чате.

Также нам нужен ControlNet 1.1 с моделью Mediapipe_faceonly.

Еще понадобится установленное расширение Interrogator, чтобы с референса считывать промпт и затем использовать для описания нашего персонажа. Модель в гайде буду использовать Flat-2D Animerge.

Положить установленные модели можно по этому пути.

Перейдем к практике

Мой маскот в мире аниме — это тянка Икарос, ее и возьму за основу, чтобы снять промпт в расширении Interrogate clip. Оно имеет на борту самую крутую модель для декомпозиции картинки в текст, а также может в пакетную обработку: т.е. массовое описание изображений, что поможет в дальнейшем для разметки датасета.

Далее пробуем промпт на воспроизведение и глядим на результат. Если нравится, то все ок. Если не нравится, то пытаемся уже вручную редактировать токены и подгонять их под приятную для нас картину.

Мне цундере-девчуля с двумя сочными кексиками понравилась, поэтому я перехожу к следующему шагу — ControlNet 1.1. В нем у нас должна быть активирована настройка, дающая возможность использовать сразу две модели ControlNet 1.1.

После того как вы отметили двоечку в параметрах, перезагружайте веб-интерфейс и дуйте к следующему шагу — там самое интересное!

Закидываем полученную тян в окошко для референса, включаем расширение и выбираем пресет Reference Only. Настройки ниже ставим как у меня.

Во второй модели должна быть несимпатичная и типичная 3D-тян. Но не беспокойтесь, нам с нее нужно лишь положение головы и перспектива лица в пространстве, чтобы мы могли повернуть голову сгенерированной девушки.

Настройки ставим как у меня, тут особо нечего придумывать. Единственное, я понизил количество задействованных шагов модели ControlNet — Starting и Ending Control Step, чтобы качество не шакалилось.

Таким образом мы получаем разные вариации нашего персонажа, на основе которых можно составить датасет и натренировать, например, модель LoRA или Embedding. Про последний у меня как раз есть статейка!

А расширил я генерацию для превью этой статьи вот по этому гайду.

На закуску прикреплю пример полученного мною датасета. Кстати, работает данный метод хорошо только со сгенерированными персонажами. Режим Img2img контролирует изменения корявенько, к сожалению...

Congratulations, вы справились!

Теперь кто-то умеет создавать свой милый датасет с помощью лучшего фреймворка для Stable Diffusion на сегодняшний день. Буду рад обратной связи и вашим комментариям, а также приглашаю в свой телеграм чат, где отвечу на все вопросы касаемо SD.

Буду рад видеть вас в телеграм-канале, где я собираю лучшие гайды по Stable Diffusion. А если не найду, то пишу сам.

У одного хорошего парня увидел пайплайн, как создать карандашные скетчи на бумаге. Решил немного доработать способ и наполнить его разными лайфхаками и интересностями. Ссылка на автора будет в конце, можете заценить его канал.

Начать хочу с того, что Stable Diffusion понимает некоторые слова на русском языке. Открыв базу данных LAION 5B, на которой обучали Stable Diffusion 1.5, я увидел много интересного. Например, кучу хлама, вылазящего практически по любому токену.

По запросу рисунок карандашом мы получаем следующее.

Вот что генерирует Deliberate_v2 по данному запросу. Котики, руки, много художественных принадлежность и капелька текста.

Теперь попробуем подсунуть нейросетке лист бумаги и попросить что-нибудь на нем нарисовать.

Промпт будет следующий: рисунок карандашом, a car, line art, bw, drawing on paper, 4k paper texture, sketch, strokes

Негативный промпт: 3d, doll, realism, photo, realistic, (deformed, distorted, disfigured:1.3), poorly drawn, bad anatomy, wrong anatomy, extra limb, missing limb, floating limbs, (mutated hands and fingers:1.4), disconnected limbs, mutation, mutated, ugly, disgusting, blurry, amputation

Denoising Strength был выставлен на 0.45 единиц. Чем выше, тем хуже сохраняется текстура бумаги, но и рисунок выражен больше. Чем ниже, тем меньше проявляется скетч.

Автомобиль прибыл точно в срок!

Ниже представлен вариант в полном разрешении. Можно заметить, что штрихи проведены очень реалистично, а артефактов на изображении минимум.

Теперь попробуем другой стиль, выбрав модель Flat-2D Animerge. Моедлька просто чудо, великолепно рисует 2D-иллюстрации в разных стилях. LoRA на 2D-персонажах рекомендую тренить именно на ней.

Мы можем видеть акварельные предпосылки, что понравится не всем. Иллюстрация приобрела более детские черты, какую-то доброту и теплоту что-ли. Сразу вспоминается Хаяо Миядзаки с его сказочным стилем, при взгляде на который хочется мечтать.

Вы можете проявлять креативность и уменьшать Denoising Strength, чтобы сделать текстуру бумаги более выраженной, а также ограничить нейронку в определенной области изображения.

Тут у меня залагал режим Sketch, поэтому пришлось побуянствовать, что совсем не помешало Stable Diffusion завершить работу успешно.

В конце продемонстрирую вам легенду, доводящую подростков 1980-х годов до писка.

Congratulations, вы справились!

Теперь кто-то умеет генерировать скетчи с помощью лучшего фреймворка для Stable Diffusion. Буду рад обратной связи и вашим комментариям, а также приглашаю в свой телеграм чат, где отвечу на все вопросы касаемо SD и обработки картинок.

Буду рад видеть вас в телеграм-канале, где я пишу лучшие гайды по Stable Diffusion!

Ссылка на канал парня, который обнаружил данный лайфхак.

Спойлер:

Недавно моему каналу стукнуло 1000 подписчиков, и ради этого события я решил замутить тусу, на которой поделился своими наработками и достижения в тренировке моделей LoRA.

Приятный бонус:

После трехнедельной тренировки моделей нон-стоп я открыл для вас датасет моей последней LoRA с описанием каждой картинки и параметрами обучения.

Я нашел лучшие настройки, с которыми вы самостоятельно сможете создать что-то уникальное и поэкспериментировать!

Многие прячут "свои" датасеты или продают их за немалые деньги, но мы будем учиться вместе, и никаких Boosty, нахрен!

Теперь о конкурсе:

Нужно сгенирить 3-5 работ c помощью модели Abstractor и поделиться ими в галерее на Civitai. Берите промпты из датасета, пробуйте, творите. Это не просто конкурс, это праздник!

- Призовой фонд — 5000₽;

- Будет 5 победителей;

- Можно выкладывать несколько постов в галерею;

- Конкурс пройдет до 15 мая включительно;

- Победителей определю райндомайзером, поэтому шанс выиграть есть абсолютно у всех!

Ссылки:

Оригинальный пост в моей телеге;

Abstractor на Civitai;

Датасет модели;

Все в одном документе Figma;

Инструкция, как обучить LoRA;

Рад приветствовать! Сегодня ситуация следующая. Недавно мне в голову пришла идея сгенерировать 300 фигур для дизайнеров с помощью Stable Diffusion, а эта нейросеть, как известно, не работает с альфа-каналом и выдает все либо с черным, либо белым фоном.

Это значит, что объект придется вырезать. А их у меня было аж 300 штук, и каждый сложный, каждый уникальный. Такая вот задачка. Посмотрите, сколько их всего получилось!

Кстати, вот ссылка на документ в Figma, можете сами посмотреть на это безобразие из разнообразных фигур.

Level 1 — у меня лапки, принесите мне тапки!

Советую скачать Photoshop самой новой версии, ведь каждый год компания Adobe улучшает инструменты выделения, а это важно, ведь объекты сложные, нужна любая точность!

Я буду использовать самый новый — 2023 года. Загрузим в программу нашего первого пациента. Расправимся мы с ним очень быстро.

Чтобы вырезать эту загагулину, нам надо убрать черный фон и добавить прозрачности стекляшки. Хорошо, для этого идем в каналы (Channels) и с зажатым (CTRL) кликаем по тому, что называется RGB.

Затем возвращаемся на вкладку слои и создаем маску. Все, готово, а вы боялись! Я создал плашку синего цвета, чтобы вы могли посмотреть, как удалился фон. Как по мне, вышло отлично.

Level 2 — не так быстро, я не успеваю...

Но что делать, если у фигуры есть свечение? Либо фон не черный, а серый, например! Вот гадство же, нельзя было просто создать на черном фоне? Ладно, сейчас вырежем. Снова добавляем пациента...

Нам понадобится инструмент — выделение объектов (Object selection tool), которым мы банально и быстро наводимся на объект и кликаем по нему, после чего дублируем на новый слой.

Далее снова переходим в каналы (Channels), кликаем с сажатым (CTRL) по RGB и создаем маску. Вауля, мы прошли уровень!

Level 3 — хочу пожестче!

С этим гостем придется поработать руками и кистью. Я уже проделал шаги из предыдущих уровней, поэтому не пугайтесь, что каракуля затемненная и синеватая. Тут проблема в том, что объект со сложными гранями, и их просто так не выделить, как куб.

Если вырезать объект с фона способом RGB, то пропадает серединка. Ее мы вернем с помощью дополнительного слоя и маски.

Дублируем объект, заливаем его маску черным, для чего следует не просто выбрать кнопку с маской, а нажать по ней с зажатый (ALT).

Далее просто закрашиваем внутреннюю часть белой кисточкой. Результат на лицо :]

Отдельный слой с маской я создавал для того, чтобы мы могли работать отдельно и с серединкой, и с краями — это очень удобно!

Level 4 — я готов ко всему, даже к боссу вертолету

А босс вертолет будет, друзья. Это финал.

Вы даже не представляете, как я задолбался вырезать вот это:

Тут и черный фон, и сложные края, и тени нужно сохранить, и детали внутри. Вы не поверите, но вырезал я такие объекты не в Photoshop...

Сейчас покажу один инструмент, называется он Magic cut — remove background, или волшебная палочка. Чтобы его использовать, нужно перейти по ссылке в онлайн-редактор Photopea, загрузить в него изображение и зайти в нужный пункт меню.

Агась, вы тут? Тогда приступим к закрашиванию нужный и ненужных областей зеленой и красной кистью. Поверьте, это очень удобно, по крайней мере, удобнее, чем около получаса выделять грани кистью в Photoshop.

Сам я использую этот инструмент в Figma в виде плагина — там же сразу размещаю картинки и по очереди прохожусь по каждой.

Плюс работы в Figma в том, что вы можете быстро кликать на нужную картинку, горячими клавишами (CTRL + ALT + P) вызывать плагин, после чего помечать области и переходить дальше. Это существенно экономит время.

А в Photoshop ни в коем случае не забывайте про операции (Actions), с помощью которых можно записать действия и в один клик удалять фон. Я так и проходился по всему датасету, кроме самых трудных индивидов из четвертого уровня.

Congratulations, вы справились!

Теперь кто-то умеет вырезать фон быстро с помощью разных инструментов. Буду рад обратной связи и вашим комментариям, а также приглашаю в свой телеграм чат, где отвечу на все вопросы касаемо SD и обработки картинок.

Буду рад видеть вас в телеграм-канале, где я пишу лучшие гайды по Stable Diffusion!

Чувствую просто чудовищный прилив сил и энергии от того, что у меня получилось воплотить. Если кому интересно, как выглядит моя гордость — то вот ответ.

В этой LoRA вы найдете все мои мечты, желания — и даже больше! Я как будто побывал на миллионах миллиардов планет, вернулся обратно — и даже моргать не хочется, глаза жаждут еще и еще :]

Генерирует модель затемненные готические силуэты в стиле baroque dark art из разных материалов, в основном, металла.

Также и зловещие сюжеты ей близки, рунические узоры, неоновые цветовые сочетания, а также съемка через призму.

Ссылка на модель — категорически, нет, экзальтированно советую вам ее заценить, не пожалеете, даю вам руну в залог.

Примеры генераций

По ссылке на Civitai вы сможете найти все промпты к каждой генерации и скачать модель. Работает она хорошо с Deliberate_v2.