LoRA Stable Diffusion, что расшифровывается как "Low-Rank Adaptation", представляет собой дополнительные модели, которые можно внедрить в нейронную сеть Stable Diffusion. Эти модели увеличивают потенциал сети в плане обучения и позволяют создавать элементы, которые ранее не могли быть сгенерированы в области изображений. Кроме того, LoRA Stable используется в стилизации изображений, где различные типы "лор" выполняют свои уникальные задачи.
Все о Lora Stable Diffusion: что это такое и как пользоваться в телеграм-боте
Возможно, вы думаете что нужно скачать lora, но это не обязательно. Вы можете ознакомиться с параметрами стиля «LoRA», зайдя в раздел «🎭 Стили», который расположен в нижней части меню бота @yes_ai_bot. Просто кликните на иконку «🎨 Галерея LoRA», чтобы увидеть все доступные модели.
Вы можете увеличить галерею, используя любимые LoRA. Для этого достаточно отправить ссылку на нужный LoRA с сайта civitai.com нашему боту. Вскоре система добавит выбранную лора и уведомит вас, как только она будет готова.
Как добавить Lora Stable Diffusion в телеграм-бота
Зайдите на https://civitai.com. Когда вы окажетесь на сайте, выполните указания, приведенные в руководстве, чтобы установить нужные фильтры. Вы можете выбрать LoRA для версий SD 1.5 или SDXL.
Как добавить Lora Stable Diffusion в телеграм-бота
Найдите и откройте страницу, на которой представлена выбранная вами LoRA. После того как вы окажетесь на этой странице, скопируйте URL (ссылку) из адресной строки вашего браузера и отправьте его боту.
Подождите некоторое время, пока не получите сообщение от бота, которое подтвердит успешное добавление модели «LoRA».
Как генерировать изображения в Stable Diffusion с использованием модели LoRA в телеграм боте?
В качестве примера рассмотрим следующий промпт (запрос):
медведь, который смотрит вбок, украшенный тщательно проработанными гравюрами, отбрасывающий глубокие тени, с синтетическими узорами, окруженный детализированной и роскошной рамкой, выполненный в цифровом искусстве сверхвысокого разрешения с 3D-рендерингом, с качеством 16k
Теперь добавим к нему команду в формате
<lora:номер_лоры:вес_лоры>
В итоге у нас получился такой промпт (запрос):
медведь, который смотрит вбок, украшенный тщательно проработанными гравюрами, отбрасывающий глубокие тени, с синтетическими узорами, окруженный детализированной и роскошной рамкой, выполненный в цифровом искусстве сверхвысокого разрешения с 3D-рендерингом, с качеством 16k, <lora:67743:1>
…где 67743 является уникальным идентификатором LoRA, который был присвоен платформой civitai.com, а 1 — это коэффициент веса. Более высокий коэффициент веса указывает на то, что LoRA оказывает более значительное влияние на процесс генерации изображений.
Чтобы активировать дополнительные LoRA, которые отсутствуют в галерее, отправьте ссылку, оформленную следующим образом:
https://civitai.com/models/67743
где цифры представляют собой уникальный идентификатор LoRA. Пожалуйста, направьте её в @yes_ai_bot
Число, стоящее после двоеточия, обычно варьируется от 0,1 до 2,0 и указывает на степень воздействия, которую LoRA оказывает на итоговое изображение. Важно понимать, что в различных стилях могут применяться разные пропорции, которые можно выбрать вручную или получить на основе примеров работ создателя, связанного с данным LoRA.
В некоторых случаях весовой коэффициент LoRA может значительно изменяться, даже достигая отрицательных значений, например, в пределах от -7 до 7. Перед использованием LoRA рекомендуется ознакомиться с подробным описанием от автора, доступным на civitai.com.
Следует учитывать, что LoRA, созданные для SDXL, не могут быть использованы с SD 1.5, и наоборот: LoRA, разработанные для SD 1.5, не совместимы с SDXL.
Существует множество LoRA, и их число продолжает увеличиваться. Они могут работать как с SDXL, так и с SD 1.5 — @yes_ai_bot поддерживает обе версии! В описании каждого LoRA указано, какая версия Stable Diffusion ему соответствует.
ВАЖНОЕ ЗАМЕЧАНИЕ! В верхней части страницы LoRA, как видно на предоставленном скриншоте ниже, вы можете выбрать нужную конфигурацию LoRA. Если LoRA содержит элементы для обеих версий, установка обеих будет продолжена!
Слова-ключи (триггеры) для активации моделей LoRA в Stable Diffusion.
Некоторые модели LoRA имеют возможность реагировать на специфические ключевые слова. Дополнительную информацию можно найти на сайте civitai.com или в галерее LoRA в самом боте.
Автор LoRA с идентификатором 67743 добавил в него ряд триггерных слов, таких как «GOLD», «GOLDY», «BLACK», «GOLD AND BLACK», «MATTE BLACK» и «GLOSSY BLACK». Нам стоит подумать о том, чтобы использовать некоторые из этих слов в нашем запросе.
black gold, медведь, который смотрит вбок, украшенный тщательно проработанными гравюрами, отбрасывающий глубокие тени, с синтетическими узорами, matte black and gold ornament, окруженный детализированной и роскошной рамкой, выполненный в цифровом искусстве сверхвысокого разрешения с 3D-рендерингом, с качеством 16k, <lora:67743:1>
Использование основных триггеров из LoRA приводит к результатам, которые сопоставимы с теми, которые были получены оригинальным автором. Чтобы проанализировать, как LoRA влияет на результаты, можно повторить тот же запрос, но на этот раз исключив конкретные триггерные слова.
медведь, который смотрит вбок, украшенный тщательно проработанными гравюрами, отбрасывающий глубокие тени, с синтетическими узорами, окруженный детализированной и роскошной рамкой, выполненный в цифровом искусстве сверхвысокого разрешения с 3D-рендерингом, с качеством 16k, <lora:67743:1>
пример генерации без использования триггеров
Ясно, что применение LoRA может привести к значительным изменениям в результате: некоторые детали могут быть утрачены, а текстура материала и освещение могут измениться. Поэтому крайне важно использовать в процессе определенные ключевые слова (триггерные слова), особенно если они были указаны автором.
Рекомендуем посмотреть вебинар, который нагладно показывает как использовать модели Lora в телеграм боте @yes_ai_bot