Друзья, всем привет! Недавно популярный нейросетевой интерфейс Fooocus обновился сразу до версии v2.4.1. Меня зовут Илья, я основатель онлайн-нейросети для создания изображений ArtGeneration.me, техноблогер и нейро-евангелист. Давайте посмотрим, какие основные нововведения и улучшения появились. Я отдельно озвучу самые заметные обновления и оставлю полный список изменений в конце.
Добавился новый режим Hyper-SD, это еще одна лора чтобы генерировать за 4 шага в ущерб качеству, кому-то пригодится, работает не хуже чем лайтнинг.
Aspect Ratios - разрешения теперь зачем-то свернуты, меня лично это бесит, это не красиво и не удобно.
Random style - случайный стиль при каждой генерации будет включать - случайный стиль, если вам совсем нечем заняться, не забудьте выставить на максимум количество изображений.
На вкладке Debug Menu в разделе Inpaint вы найдете Inpaint brush color, на тот случай если вас всегда бесил белый цвет маски.
Там же в Debug Menu, но уже в разделе Debug Tools появился параметр CLIP Skip, который по умолчанию выставлен на 2, имейте это ввиду.
Там же добавились семплер и планировщик TCD, которые запрашивал ваш покорный слуга. Сначала скачайте и включите вот эту лору, затем в Debug Menu, в разделе Debug Tools поставьте на 1CFG Mimicking from TSNR, затем Sampler поставьте TCD, а Scheduler - sgm_uniform, ниже Forced Overwrite of Sampling Step поставьте на 6, я нашел это оптимальным значением для соотношения скорость - качество, но вы конечно можете поэкспериментировать и написать в комментариях как работает лучше. Guidance Scale рекомендуется поставить на минимум, но я нахожу что на 1.5-2 изображения получаются интереснее. Изображение с обложки было создано именно в таком режиме всего за 6 шагов и за 2 секунды в разрешении 1280х768, а так и не скажешь. Еще несколько изображений в карусели ниже.
1/6
Изображения созданы в TCD
Все новые функции и улучшения:
Добавлена возможность загружать файлы с Hugging Face через зеркальный сайт.
Обновлен модуль Interposer с v3.1 до v4.0.
Теперь можно переподключиться к интерфейсу без перезагрузки страницы с помощью специальной кнопки.
Появился выбор VAE моделей для генерации.
Добавлен новый стиль "Random Style" для случайного выбора стиля.
Обновлена модель аниме с animaPencilXL_v100 до animaPencilXL_v310.
В историю логов теперь сохраняются полные необработанные промпты (full raw prompts).
При загрузке изображения для апскейла (upscaling) теперь можно автоматически получить его описание.
Добавлена цензура NSFW изображений (отключает предварительный просмотр промежуточного изображения при генерации). Установите значение конфигурации default_black_out_nsfw в True, чтобы всегда включать эту опцию.
Добавлена поддержка встроенных ссылок на LoRA в промптах с поддержкой подпапок, пример: colorful bird lora:toucan:1.2
При описании изображения теперь даются рекомендации по размеру и соотношению сторон.
В инструменте инпейнтинга появился выбор цвета кисти, что удобно, когда изображение и кисть маски имеют одинаковый цвет.
Автоматизирована сборка Docker-образа с помощью Github Actions при каждом релизе.
Скорее всего обновление уже произошло автоматически когда вы запускали фокус и никаких специальных действий не требуется. Если в консоли вы видите Already up-to-date, то можно не беспокоиться.
Но в моем случае была вот такая ошибка и я не нашел иного решения как просто скачать новый установщик и после этого все прошло гладко.
А если захотите изучить Fooocus профессионально, то приглашаю на мой курс Fooocus.ru, где за 15 уроков вы узнаете всю базу необходимую для дальнейшего развития.
Я рассказываю больше о нейросетях у себя на YouTube, в телеграм и на Бусти. Буду рад вашей подписке и поддержке. Всех обнял. Удачных генераций!
Заменить задний фон изображения или фото с помощью нейросети поможет сервис Picwish. Можно использовать бекграунд из предложенных шаблонов, либо сгенерировать свой по текстовому описанию. Бесплатно дается 60 кредитов, за генерацию уходит 6. Пригодится для генерации карточек товара для маркетплейсов, например.
Если интересна тема нейроиллюстрации, заходи ко мне в Тг-канал Нейрохудожник, где ежедневно новые посты с промтами и разной полезной информацией о создании нейроиллюстраций.
Что делать, если то самое классное изображение никак не удается найти, а у заказчика пока нет ресурса предоставить нужный контент? Что можно придумать для разделов каталога, когда есть только фото для продуктовых карточек, чтобы это выглядело красиво? Как при этом не забыть о метафорах и ассоциациях бренда и создать необходимое настроение на сайте? Да еще и чтобы заказчик все это согласовал без правок…
Задача
К нам обратился заказчик с задачей создать функциональный интернет-магазин на Тильде для бренда натуральной SPA-косметики «Цветы и море». На этапе дизайн-концепции мы развили мысль о море, песке и цветах до такой степени, что сгенерировали для своих задач 400+ изображений, выделив на это 30+ часов. Как у нас получалось и не получалось, что мы делали и как именно экспериментировали, рассказываем дальше.
И сначала мы расскажем об основных этапах разработки проекта, чтобы ввести вас в контекст. Ну и якорная ссылка для тех, кому нужно скорее читать наш опыт по работе с нейронкой.
Важно — мы не генерировали изображения для товаров, весь визуал в продуктовых карточках настоящий и предоставлен заказчиком.
Сбор информации по проекту: формируем общее видение с заказчиком перед стартом
Как и всегда, мы начали с максимально подробного брифа с заказчиком: задали много уточняющих вопросов, вынесли на обсуждение примеры реализации, обсудили целевую аудиторию и конкурентов, наметили структуру, предложили список сайтов, которые можно использовать в качестве референсов.
Какая стоит задача, что заказчик видит на финише?
Будет ли виденье заказчика работать для ЦА?
Что конкретно важно для целевой аудитории?
Как проект будет жить после релиза?
Что нужно учесть при разработке и о чем позаботиться заранее, чтобы сайту не нужны были доработки через неделю после запуска?
И многое другое
Только после того, как у нас есть четкое видение, мы начали работать над сайтом.
Проектирование — продумываем структуру страниц и закладываем необходимые решения в интерфейс сайта
Мы провели маркетинговое исследование, выявили целевую аудиторию, изучили конкурентов, предоставленных заказчиком. Вдобавок к этому проанализировали лидеров натуральной spa-косметики, составили список сильных и слабых решений.
Далее мы сделали карту сайта и определились со структурой страниц на основании проведенного исследования. Мы выделили преимущества, рассказали о бренде, описали условия для сотрудничества, показали бренды, с кем сотрудничает «Цветы и море». Сняли нагрузку с менеджеров, сделав список частых вопросов и ответов на них.
Сбор информации и подготовка к проектированию
Важно было обозначить наличие акций на главном экране, встроить их аккуратно. Решили использовать слайдер с автоплеем, формат которого напоминает интерфейс сторис. Также добавили строку с информацией о бесплатной доставке от определенной суммы.
Прототип будущего интернет-магазина
Еще мы вывели популярные товары бренда на главную страницу вторым блоком, чтобы посетителям сайта не нужно было тратить время и искать любимые позиции в каталоге, а находить сразу.
Мы реализовали возможность дополнительных продаж, предложив добавить в заказ шоколадки и открытки в карточке товара. В корзине добавили поле с возможностью подписать открытку, которое появляется только если в корзине есть эта самая открытка. Реализовали на Тильде такой функционал с помощью написанного скрипта нашим разработчиком.
Корзина в 2 этапа с необходимым функционалом
Проектирование прототипа далось нам без особых сложностей — полный мэтч с клиентом позволил оперативно сделать интерактивный прототип и перейти к поиску дизайн-концепции и отрисовки макета.
Перед тем как мы подробно начнем рассказывать о промт-инженерии для проекта, кратко введем читателя в контекст того, как мы мыслили в плане общего визуала и дизайн-решений.
Мы понимали, что дизайн должен передать эстетику легкости и осознанности, расслабления, отдыха и нежности. Для нашей ЦА важен комфорт и забота о себе, их восхищает бренд, готовы оставлять развернутые отзывы в эстетичных локациях. Бренду также важно передать крафтовость и натуральность, отсутствие массового производства и трепетное внимательное отношение к каждому продукту.
ЦА
Мы начали с названия бренда, подумали и собрали ассоциации, приступили к поиску визуальных решений, нашли приятные референсы, которые можно использовать для групп товаров. Подобрали цветовую гамму с учетом товаров, упаковки и фирменного логотипа, предложили шрифтовую пару, которая дополнительно создала необходимые ассоциации и настроение.
Поиск идеи и референсы
В какой-то момент мы уперлись в то, что контент заказчика оказался достаточно «шумным» для фоновых изображений, терялись тексты и важные акцентные элементы интерфейса. Контент подходил только для визуализации каталога товаров + была вероятность дублирования визуала из-за ограниченного количества изображений. Еще мы начали ломать голову над тем, как проиллюстрировать разделы каталога. Ну и в целом контент заказчика был заточен больше под соцсети — видео и фото были предоставлены нам в вертикальном формате.
Контент от заказчика
Мы пошли на фрипик, чтобы найти для себя решение, но уперлись в то, что все-таки делаем интернет-магазин и подобрать что-либо между собой более менее бьющееся по визуалу не представляется возможным. Больше к премиум-стокам не возвращались. Начали смотреть в сторону нейросетей.
Нейронки. Вступительное слово и поехали.
О чем пойдет статья дальше? Важно — это не мануал в привычном в виде с обзором каждой кнопки. Это статья о том, как в реальной коммерческой разработке можно смело экспериментировать и внедрять в работу различные Ai-инструменты и получать довольно качественный результат, параллельно решая распространенную проблему в дизайне – отсутствие визуального контента от заказчика.
Передаем слово нашему дизайнеру — Сергею, который поделится с вами всеми своими наработками в процессе генерации контента для «Цветы и море».
Почему выбрали Stable Diffusion, а не Midjourney
Прочитав несколько обзоров и сравнений генеративных нейросетей, предварительно решили, что нам больше подходит именно Stable Diffusion, так как он оказался достаточно гибким и функциональным для наших задач. Я бы его назвал настоящим комбайном, в котором ограничений практически нет, но чтобы научиться пользоваться всеми возможностями этого инструмента, придется очень сильно погрузиться в технические аспекты.
По Midjourney — думаю, все в него успели поиграться, многие работают на постоянной основе, но я не смог добиться стабильного результата. Полученные изображения были не такими реалистичными, как мы задумали, сделать пак изображений в одном стиле не получалось — при детальном рассмотрении контента нам что-нибудь да резало глаз.
Почему мы выбрали Stable Diffusion?
Редактирование созданных изображений — можно легко менять конкретные элементы на изображении с помощью функции Inpaiting, а с помощью outpaiting возможно наращивание фона в контексте изображения. Эта функция очень нам пригодилась для страниц разделов товаров, далее расскажу подробнее.
Распределение веса по конкретной характеристике в промте — за счет этого можно гибко настроить промт и получить наиболее точный результат.
Установка конкретных моделей, которые нужны тебе. У Stable Diffusion большое сообщество, в сети можно найти крупные каталоги с базой различных моделей и обученных дополнений Lora, которые устанавливаются поверх базовых моделей. Большинство из них находятся в свободном доступе.
Функция img2img — метод создания изображений на основе загруженного референса, благодаря чему появляется возможность сделать сет в одном стиле. Для нас важно, чтобы контент на сайте был в одной стилистике.
Наличие seed у генерируемого изображения. Что это и зачем? Seed — уникальный код или идентификатор изображения, который дает нам возможность вносить в запрос изменения точечно, сохраняя основную композицию, обстановку или объект на изображении. Далее расскажем как пользовались данной фичей.
Технические нюансы, установка, первые результаты.
Первая сложность, с которой столкнулись — сборок для систем на базе Mac практически нет и их не так просто найти, в основном сборки идут под Windows. Я нашел два подробных мануала для развертывания для Mac на github. Вот первый и второй, если делать все по инструкции, заработает без танцев с бубном. Если же что-то не получится, пишите в комментариях, постараюсь помочь.
Установив Stable Diffusion, нужно было установить модель, на основе которой буду генерировать контент. После небольшого ресерча решил поработать с моделью Deliberate_v5 от популярного разработчика моделей Христ. Добавлю, чтобы корректно работали функции outpainting и inpainting, дополнительно сразу скачайте модель с приставкой Deliberate_v5-inpainting. Установка модели довольно проста: просто копируем в папку models, где был установлен Stable Diffusion.
Покопавшись в мануалах и посмотрев несколько обучающих видео, начал пробовать составлять промты и с интересом смотреть что получается. На первых порах не использовали негативные промты.
Так выглядит интерфейс Stable Diffusion
План был такой: сначала необходимо добиться более менее качественного результата с генерацией изображения для главного экрана, чтобы понять реально это в принципе для нашей задачи, а дальше генерить остальной контент. В одном из мануалов ссылались на переводчик deepl как лучший вариант составления для промтов, учел эту рекомендацию.
Приступил к составлению промтов из разряда «bath bomb or bath fizzie», «бомбочка для ванны или шипучка для ванны», дело двинулось. Далее стал задавать новые условия: белый/светлый фон, количество, тень и ее резкость, формат изображений, остановился на разрешении 1024х512. Также попробовал распределять вес ключей для более тонкой настройки — «bath bomb or bath fizzie, (A few pieces:1.5), white surface».
Добавлю, что при разрешении 1024х512 и методе txt2img генерация одного изображения занимала 45 секунд на процессоре m2 pro, при более высоких разрешениях доходило до 3-4 минут. В Stable Diffusion есть возможность выставить количество изображений для генерации пакетов изображений, что очень удобно. Выставляем 10 или 20 вариантов генераций, спустя 10-20 минут все готово. Остается выбрать понравившиеся результаты и seed и далее работать уже с ними. Прикрепляю первые результаты.
С каждым новым изображением я лучше понимал алгоритм и логику работы со Stable Diffusion, результат становился все интереснее, но от косяков в виде мутаций, артефактов и различных деформаций пока не мог избавиться.
Расширял промты и добавлял новые условия: «сухоцветы лаванды», «основание из дерева», «мягкие тени», «идеально круглая форма». Потом с помощью Midjourney составил промт, загрузил референс и полученный промт попробовали использовать для Sd, но ничего не вышло — видимо, алгоритмы и промтинг у Stable Diffusion и Midjourney работают совершенно по- разному.
Пример промта, который нам выдал Midjourney:
a box with a bunch of flowers inside of it, pinterest contest winner, private press, reflective lavender ocean water, dried herbs, detailed product image, bath, on parchment, light bloom, branches wrapped, surface hives, blue sunshine, maternal, product label, bubble bath, safehavenhq, nest
А ниже то, что получилось с промтами от Midjourney. В моменте казалось, что вырисовывается что-то симпатичное, но под наши задачи, увы, не подходило.
Генерации на основе промта от Midjourney
Снова переработал промт, прописал более конкретные условия и добавил негативный промт
9 bath bombs, lying next to each other on a white surface, they are surrounded by small branches of dried flowers
9 бомбочек для ванны, лежащих рядом друг с другом на белой поверхности, их окружают маленькие веточки засушенных цветов.
Продолжал эксперименты с промтами и весом ключей и в какой-то момент получил результат, который нас устроил в качестве версии 1.0.
Версия 1.0
Работал в режиме txt2img, промт:
9 bath bombs, bath salts, lying next to each other on a beige surface, they are surrounded by small branches of dried flowers, photo angle from the side, colors of bombs white gray milky
(9 бомбочек для ванны, соли для ванны, лежат рядом друг с другом на бежевой поверхности, их окружают маленькие веточки засушенных цветов, ракурс фото сбоку, цвета бомбочек белый серый молочный)
Негативный промт, чтобы исключить цвета, которые нам не подходили по стилю:
На тот момент у нас уже был готов дизайн-макет, известна цветовая палитра, подобраны шрифты. Мы «примерили» полученное изображение и наконец поняли, что попали, результат нас устроил на 9 из 10. Нам захотелось улучшить результат, продолжили работать на качество и детали.
Как улучшить получившийся результат в Stable Diffusion?
Каждое изображение имеет свой уникальный идентификатор — seed. Я использовал seed данного изображения и стал менять промт. Что это дало? Результат теперь получался не рандомным, а очень схожим с оригиналом. Мы могли развивать данное изображение — менять не только промт, но и другие настройки.
Когда я увеличил разрешение изображения с 952х448 до 1560х771, произошел известный баг в Stable Diffusion — дублирование сущностей. И так как мы работали с бомбами для ванной, а не с человеческими головами или руками, нам это пошло только на пользу, увеличив количество элементов с 4-6 до 8-12. Кстати, в сети довольно много мануалов о том, как бороться с дублированием контента в Stable Diffusion при генерации.
Далее составил универсальный негативный промт, воспользовавшись рекомендациями в найденных мануалах на просторах интернета, который бы повлиял на уменьшение количество мутаций и деформаций.
Промежуточный результат
Финальный результат, который нас устроил
Докрутив предыдущий промт на основе прошлого seed, получил наш финальный результат, который отлично вписался на главном экране сайта.
Изображение для главного экрана
Режим txt2img, промт:
9 bath bombs, bath salts, lying next to each other on a beige surface, (they are surrounded by small branches of dried lavender:0.9), photo angle from the side, (photorealistic:1.5), detailed, 8k
Негативный промт достаточно универсален и подойдет во многих случаях, так как больше нацелен на борьбу с деформациями и мутациями:
blue, pink, ((((ugly)))), (((duplicate))), ((morbid)), ((mutilated)), [out of frame], extra fingers, mutated hands, ((poorly drawn hands)), ((poorly drawn face)), (((mutation))), (((deformed))), ((ugly)), blurry, ((bad anatomy)), (((bad proportions))), ((extra limbs)), cloned face, (((disfigured))), out of frame, ugly, extra limbs, (bad anatomy), gross proportions, (malformed limbs), ((missing arms)), ((missing legs)), (((extra arms))), (((extra legs))), mutated hands, (fused fingers), (too many fingers), (((long neck))), out of frame, duplicate, watermark, signature, text, ugly, morbid, mutated, deformed, blurry, bad anatomy, bad proportions, cloned face, disfigured, fused fingers, fused limbs, too many fingers, long neck
Далее нам оставалось в похожей стилистике создать контент для разделов каталога интернет-магазина. Действовал по уже выработанной схеме — использовал ключи прошлых промтов, которые описывают обстоятельства, добавлял необходимые ключи, использовал прошлые seed.
Вот такой интересный результат у нас получился:
Изображения для разделов каталога
Наращивание фона
Последнее, что оставалось — получить из формата 1:1 горизонтальные широкоформатные изображения для hero-секций страниц разделов. Функционал Stable Diffusion позволяет это сделать — нужно использовать outpainting (нейросеть может нарастить фон изображения в любую выбранную сторону исходя из контекста изображения) в режиме img2img. В сети и на ютубе много подробных мануалов, здесь не буду расписывать подробно.
Далее с помощью функции inpaint почистил изображения от артефактов. Оставалось сделать цветкор и дополнительно сделать апскейл.
Результат:
Главные секции страниц разделов
Что думаем насчет всего этого волшебства?
Нейросети могут помочь в решении определенных задач, стоящих перед дизайнерами. Считаем, что каждому в нашей профессии нужно попробовать-потрогать-пощупать и выбрать для себя инструмент, который будет полезен в работе. Использовать нейронки и изучать их функционал важно для развития и большей востребованности на рынке. Надеемся, что наш кейс окажется полезным, вдохновляющим и побуждающим к изучению, экспериментам и созданию крутого контента для рабочих и не очень задач. На текущий момент сайт в боевом режиме, работает и приносит прибыль своим заказчикам.
Суммарно на эксперимент с генерациями по этому проекту было потрачено 30+ часов, получено 400+ изображений, просмотрено и прочитано более 30 мануалов. Ссылка на фигму со всеми вариантами здесь.
Итоговый результат
Полученный дизайн презентовали заказчику, который был принят без правок. Нас поблагодарили за решение и то, как органично встроился сгенерированный контент в общую концепцию. Дизайн сверстали на Тильде в zero блоках, подключили каталог, настроили корзину, написали два скрипта для нестандартных решений, подключили сервис доставки и платежную систему, сделали технические настройки. На текущий момент сайт в боевом режиме, работает и приносит прибыль своим заказчикам.
Расскажите о своем опыте работы со Stable Diffusion и другими нейросетями — поделитесь в комментариях.
В данной статье мы рассмотрим как писать промты для нейросети Stable Diffusion, которая способна генерировать изображения на основе текстовых описаний. Эта информация будет полезной для желающих достичь высокой точности в передаче своих идей нейросети для получения впечатляющих изображений. Мы изучим разнообразные подходы, включая весовые коэффициенты, и проведем сравнение между SDXL и знаменитой SD 1.5.
Отмечу, что особенно высокой популярностью пользуется Stable Diffusion версии 1.5, так как она стала одной из первых высококачественных нейросетей, доступных для бесплатной установки на персональном компьютере.
SD 1.5 занимает лидирующие позиции среди лучших, поэтому мы подробно остановимся на методике создания запросов для нее.
Как писать промты для Stable Diffusion - пошаговое руководство
Запрос (промт) — это текстовое описание изображения, оно может быть как простым (например, 'жираф в лесу'), так и содержать более сложные элементы, такие как весовые коэффициенты, смешивание, LoRA и др.
Как составить простой промт для Stable Diffusion 1.5
Для базового понимания работы нейросети Stable Diffusion достаточно отправить ей краткий текст с названием объекта или существа для визуализации и минимальным описанием сцены (хотя последнее необязательно).
Пример:
👉 джентельмен сидит на скамейке в парке
Главное правило — в начале промта следует указывать основной объект изображения: человека, существо, предмет и т.д. Затем в запросе описывается окружение и, при необходимости, стиль, что представляет собой более продвинутый уровень формулировки промтов, который мы рассмотрим далее.
Отметим: у SD имеется множество функций, использование которых может быть сложным для новичков, поэтому я настоятельно рекомендую пользоваться профессиональными инструментами, адаптированными и упрощенными их создателями. В качестве такого инструмента я буду использовать этого бота в Telegram. Именно на примере этого бота я продемонстрирую написание запросов для Stable Diffusion, позволяя вам непосредственно тестировать описываемые принципы.
Более того, бот поддерживает обработку запросов на любом языке, включая русский, поэтому далее я буду представлять примеры именно на этом языке для вашего удобства.
В случае использования Stable Diffusion на личном компьютере или на различных платформах, необходимо формулировать запросы на английском языке, поскольку это основной язык для данной нейросети.
Структура для написания промтов в Stable Diffusion
Для создания изображений высокого качества и профессионального уровня, рекомендуется следовать данной схеме:
Субъект (или несколько субъектов) — ключевой элемент, на который должно быть направлено внимание ИИ, например: 'мужчина' или 'собака в сапогах'.
Пространственное расположение — текстовым описанием определяется расстояние от главного субъекта до камеры.
Поза — это не обязательный элемент, который позволяет задать определенное положение объекта в пространстве. Например, можно указать, что объект "идет", "лежит", "прыгает" и так далее.
Детали субъекта — здесь вы перечисляете особенности главного элемента изображения. Например, это может быть мужчина в синем костюме, с короткими черными волосами, стройный, с серебряными аксессуарами.
Контекст — это описание пространства вокруг объекта и самого объекта. Например, мужчина в городском парке, утренний свет, скамейка, газета, утки в пруду, деревья.
Визуальные эффекты — это ключевые слова, которые помогут искусственному интеллекту создать нужную атмосферу изображения. Например, "ray tracing", "высокое разрешение", "динамичное окружение".
Стиль — это важный элемент, который позволяет ввести конкретный художественный стиль или упомянуть имена известных художников или фотографов. Примеры могут включать "в манере Ван Гога", "в духе Сальвадора Дали", "гиперреализм", "манга", "абстракционизм", "наивное искусство", "сюрреализм" и так далее.
Примечание: Элементы, указанные в этой 'формуле' для написания промтов, не являются обязательными. Это означает, что при формировании промтов для Stable Diffusion нет необходимости включать детали, которые кажутся вам несущественными, например, можно исключить стиль или контекст.
Создание промтов для Stable Diffusion с использованием коэффициентов важности
Искусственный интеллект SD, особенно его версия 1.5, оснащен функцией использования коэффициентов важности. Эти коэффициенты позволяют усилить или ослабить внимание к определенным объектам, характеристикам и т.д., упомянутым в запросе.
Увеличение важности через использование круглых скобок
Чтобы повысить акцент на конкретном аспекте запроса, можно использовать круглые скобки. Каждая пара скобок усиливает фокус примерно на 10%.
Пример:
👉 ((дятел летит)) над снежными горами — здесь не заданы коэффициенты важности.
…предположим, что ИИ никак не хочет добавлять снег на горы, при этом остальная часть изображения вас устраивает. В этом случае, мы используем круглые скобки в запросе так:
👉 дятел летит над (заснеженными горами)
…так мы увеличиваем фокус на 10% для фразы 'заснеженными горами'
👉 дятел (летит) над горами (((заснеженными горами)))
…в этом примере мы четко даем понять ИИ, что орел должен лететь именно над горами покрытыми снегом, при этом коэффициент важности для 'летит' увеличен на 10%, а для 'заснеженными горами' — на 30%.
Вопрос правильного составления промтов для Stable Diffusion достаточно обширен и его сложно уложить в одну статью, однако есть отличное видео на YouTube, где это объясняется очень подробно. Рекомендую к просмотру…
Руководство по составлению промтов для Stable Diffusion XL
В отличие от SD 1.5, SDXL лучше адаптирована к пониманию прямой речи, что позволяет писать промты для нейросети Stable Diffusion более естественным образом, похожим на общение с живым человеком. В большинстве случаев SDXL самостоятельно и корректно определяет коэффициенты важности без необходимости использования круглых или других скобок.
Пример генерации в SDXL с использованием промта без весовых коэффициентов 'Модная женщина уверенно стоит в оживленной городской обстановке. На ней платье до колен с цветочным принтом и подходящая широкополая шляпа. Ее волнистые волосы до плеч изящно ниспадают на плечи. Ее глаза очаровательного оттенка изумрудно-зеленого очаровывают всех, кто встречается с ней взглядом. Фотография, сделанная в винтажном полароидном стиле, имеет теплое, мягкое освещение, подчеркивающее ее сияющий цвет лица. На заднем плане шумный городской пейзаж с шумными улицами и красочными граффити создает оживленную атмосферу. Женщина уверенно держит холщовую сумку, наполненную художественными принадлежностями, намекая на ее творческий и авантюрный дух'
Эта информация должна стать хорошим стартом для изучения работы с нейросетью Stable Diffusion. Более детальные вопросы я планирую рассмотреть в последующих статьях, поэтому не забудьте подписаться на мой канал.
Да, и в мою сферу уже тоже пришел ИИ. В общем, недавно мне написал один человек и прислал фото кольца, которое он сгенерировал в нейросети. (В посте будет его картинка.)
Я был приятно удивлен, насколько нейронка хорошо воссоздала дизайн, который подходил для изготовления в титане.
Далее мы обсудили детали, я объяснил, что нужно будет переделать и почему, адаптировал все под технологии работы с титаном. И работа началась. В процессе, конечно же, были корректировки, уточнения и т.д., но в целом основная идея дизайна не изменилась. Человек остался доволен, и я тоже.
Самое крутое в этом всем, что любой клиент теперь сможет примерно представить, как будет выглядеть его хотелка, до того, как я воплощу ее в металле. Часто этого элемента сильно не хватает во время обсуждения заказа. Это весьма важный аспект, который поможет экономить много времени. Ведь не каждый может отчетливо представить и обьяснить свою идею.
Привет! Вижу рецепты запрещены, поэтому я приготовила для вас виртуальный торт. Вы не поверите, но это вовсе не фото. Это картинка, сгенерированная с нейросетью. Полюбуйся этой красотой, ведь реально как фотка! Вообще и ты можешь так. Хочешь знать как? Легко! Лови простой гайд. Заходи по ссылке и у видишь запрос от этих картинок. Копируешь его, идешь в бесплатную нейросеть, вставляешь скопированную текстовую подсказку в поле Promt и жмешь Generate. В конце галереи после тортиков прилагаю 2 скрина, чтобы вы не запутались что куда вписать. Вот и все. Теперь ты тоже можешь придумывать дизайн свадебного торта! Присылай в комменты, что у тебя получилось! И вступай в наш Тг-канал, там ежедневно новые текстовые подсказки (промты) для генераций и другая полезная информация о создании нейро иллюстраций.
нейроарт, нейросеть, искуственный интеллект, как создать картинку по словам, как сделать арт по тексту, промту, текстовая подсказка, запрос, иллюстрация, ии, искуственный интелект, ии, аи, плейграунд аи, нейроарты, арты нейросети, нейрохудожник, рисовать по словам, торт, реализм, реалистичный промт, как написать запрос, промт, ультрареализм, реалистичный арт, как реальное фото, дизайн торта, фуд фото, фуд арт, рисунок, картинка, красивый, великолепный, лучший торт, украшен цветаим, многоярусный, дизайнерский, уникальный, гайд, уроки, как сделать, блог, обучение, как создать, нейро,
В этом видео я расскажу о самой лучшей нейросети на сегодняшний день - Stable Diffusion WebUI Forge, аналог Avtomatic1111.
✨ Что вы узнаете: - Процесс установки и откуда скачать Stable Diffusion WebUI Forge - Об интерфейсе и основных настройках Forge скачать, как установить, - О новых расширениях встроенных расширениях - О новой модели для и Control net - Photomaker Желаю приятного просмотра)
Всем привет, вчера обновился Automatic 1111 - самый популярный интерфейс для генерации изображений с помощью нейросетей Stable Diffusion. Посмотрим что нового!
Внизу будет полный чейнджлог который я постарался аккуратно перевести, но сперва я расскажу вам о самых заметных и приятных нововведениях, их не много, но они действительно крутые!
Мягкий инпеинтинг и поддержка моделей инпеинтинга для SDXL
Soft инпеинтинг с дополнительным размытием краев позволяет добиться невероятного качества изменения. Переходы теперь идеальные между оригиналом и инпеинтингом. Особенно если использовать модель для инпеинтинга SDXL, поддержка которых теперь доступна из коробки, просто скачайте модель как обычно. Взгляните на результаты, почти как ControlNet Inpainting в Fooocus.
Чтобы все работало хорошо надо поставить на максимум Mask blur, Masked content ставьте Original если хотите изменить то что уже нарисовано, например глаза или волосы, или Fill, если хотите добавить то, чего нет, например одеть очки или шляпу. Может понадобится поиграться с ползунком Denoising strength, в зависимости о задачи хорошо себя показывают значения от 0.5 до 1.
Структура папок при выборе моделей и лор
Поменялся интерфейс в меню экстрасетей (модели, лоры, эмбединги), теперь навигация представлена деревом каталогов и это наконец-то стало удобно.
Поддержка апскейлеров архитектуры DAT
Добавлена нативная поддержка апскейлеров формата DAT, попробуйте скачать 4xLSDIRDAT в папку stable-diffusion-webui\models\DAT, не страшно если её нет, можете создать, она появится при попытке активировать DAT апскейлер на вкладке Extras.
Кнопка быстрого Hires. fix
В txt2img теперь есть кнопка, которая позволяет сделать Hires. fix на уже готовой картинке, при этом сразу начинается апскейл экономя время.
Полный список изменений Automatic1111 версии 1.8.0
Основные особенности
Обновление PyTorch до версии 2.1.2: улучшает общую производительность и добавляет новые функции.
Мягкая заливка (Soft Inpainting): позволяет более естественно заполнять области на изображении.
Поддержка FP8: использует меньшие объемы памяти при тех же вычислительных возможностях.
Поддержка модели SDXL-Inpaint: предназначена для инпеинтинга областей на изображениях, созданных с помощью Stable Diffusion SDXL.
Использование Spandrel: предлагает улучшенное качество результатов масштабирования и восстановления лиц.
Автоматическая совместимость с предыдущими версиями: гарантирует корректную работу при загрузке infotext из старых изображений.
Zero terminal SNR noise schedule option: предоставляет пользователям больший контроль над процессом генерации.
Кнопка [✨] для исправления высокого разрешения: упрощает процесс улучшения качества выбранного изображения в галерее c помощью Hi-Res. Fix. .
Отдельный репозиторий ресурсов: снижает зависимость от внешних сервисов и повышает безопасность.
Официальная поддержка сэмплера LCM: расширяет возможности выбора алгоритмов генерации.
Поддержка моделей апскейлеров DAT: позволяет увеличить детализацию изображений.
Деревовидное представление экстра сетей: упрощает навигацию и управление экстросетями.
Поддержка NPU (нейронных процессоров): ускоряет генерацию изображений на соответствующем оборудовании.
Поддержка комментариев к промптам: облегчает документирование и понимание процесса создания изображений.
Незначительные изменения
Вставка строк WIDTHxHEIGHT: теперь можно вставить строки с указанием ширины и высоты изображения в соответствующие поля.
Живой предпросмотр на весь экран: добавлена опция для просмотра результатов генерации во весь экран.
Сочетания клавиш для управления: добавлены сочетания клавиш для запуска генерации, пропуска и прерывания.
Поддержка TCMALLOC: улучшена поддержка TCMALLOC на разных платформах для более эффективного использования памяти.
Предупреждение о не найденном Lora: теперь появляется предупреждение, если модель Lora не найдена.
Добавление отрицательных подсказок к Lora: появилась возможность добавлять отрицательные подсказки к моделям Lora в дополнительных сетях для более тонкой настройки генерации.
Разные сиды в сетке xyz_grid: теперь можно устанавливать разные значения случайного числа (seed) для каждой оси в сетке xyz_grid.
Преобразование VAE в bfloat16: добавлена опция для преобразования VAE в формат bfloat16, что позволяет экономить память без существенного влияния на качество.
Улучшенная поддержка IPEX: улучшена поддержка библиотеки IPEX для ускорения вычислений на графических процессорах Intel.
Прерывание генерации: появилась возможность прервать генерацию после завершения текущей итерации, а не ждать ее полного окончания.
Управление полноэкранным предпросмотром: добавлено плавное появление/исчезновение элементов управления полноэкранным предпросмотром для более удобного взаимодействия.
Более точный контроль заморозки настроек: теперь можно более точно выбирать, какие настройки будут заморожены и не будут меняться при изменении других параметров.
Увеличение лимитов для апскейлеров: увеличены лимиты для апскейлеров, что позволяет работать с большими разрешениями.
Регулировка размера кисти горячими клавишами: появилась возможность регулировать размер кисти с помощью горячих клавиш.
Информация о модели: добавлена информация о модели в файл журнала CSV при сохранении изображений.
Изменение размера столбцов: теперь можно менять размер большего количества столбцов в интерфейсе.
Отключение наложения исходного изображения при инпеинтинге: добавлена опция не накладывать исходное изображение при инпеинтинге областей, позволяя увидеть результат инпеинтинга без наложения оригинала.
Поддержка DDIM: добавлена опция Pad conds v0 для поддержки совместимости с алгоритмом генерации DDIM, как это было до версии 1.6.0.
Плейсхолдер "Прерывание...": добавлен плейсхолдер "Прерывание..." для информирования пользователя о процессе остановки генерации.
Отключение пост-нормализации: добавлена опция для отключения нормализации изображения после расчета усиления, (disable normalize embeddings after calculating emphasis).
Подсчет токенов: теперь при подсчете токенов учитываются включенные стили.
Конфигурация кнопки [📂]: добавлена возможность настройки кнопки [📂] для управления отображением изображений в галерее.
Вывод изображений с LyCORIS BOFT: добавлена поддержка вывода изображений с использованием сетей LyCORIS BOFT.
Поддержка изменения размера столбцов на сенсорных устройствах: добавлена поддержка изменения ширины столбцов для удобства работы на планшетах.
Расширения и API
Удалены пакеты: больше не требуются пакеты basicsr, gfpgan, realesrgan, а также их зависимости: absl-py, addict, beautifulsoup4, future, gdown, grpcio, importlib-metadata, lmdb, lpips, Markdown, platformdirs, PySocks, soupsieve, tb-nightly, tensorboard-data-server, tomli, Werkzeug, yapf, zipp, soupsieve.
Идентификаторы задач для API: добавлена поддержка идентификаторов задач для API, что позволяет разработчикам отслеживать выполнение задач.
Поддержка override_settings для API infotext: добавлена возможность переопределять настройки API infotext.
Переименование модуля: модуль generation_parameters_copypaste переименован в infotext_utils.
Исправлен сбой: исправлен сбой, вызванный исключением Script init.
Обновление numpy: библиотека numpy обновлена до версии 1.26.2.
Утилита для проверки модели: добавлена утилита для проверки типа данных и устройства модели.
Общий метод forward для lora: реализован общий метод forward для всех методов встроенного расширения lora.
Выполнение model_loaded_callback: callback model_loaded_callback теперь выполняется после перемещения модели на целевое устройство.
self в CFGDenoiserParams: добавлен параметр self для CFGDenoiserParams, что повышает стабильность работы denoiser.
TLS в режиме API: разрешен TLS в режиме API only (--nowebui).
Новый callback: добавлен новый callback postprocess_image_after_composite.
Обновление API modules/api/api.py: добавлена эндпоинт API для обновления списка эмбедингов.
Функция set_named_arg: добавлена функция set_named_arg, позволяющая разработчикам устанавливать значения аргументов по имени.
Callback before_token_counter: добавлен callback before_token_counter, который используется для комментариев к подсказкам.
ResizeHandleRow: добавлена возможность переопределять параметр масштаба столбца ResizeHandleRow.
Производительность
Улучшение производительности: значительно улучшена производительность для каталогов экстрасетей с большим количеством файлов.
Сокращение повторного индексирования: сокращено ненужное повторное индексирование каталога экстрасетей .
Исправлена работа кнопки высокого разрешения и теперь фиксирует сид.
Улучшено ведение логов, включая резервный логгер.
Информация о генерации теперь читается из infotexts, а не из json.
Улучшен метод get_crop_region.
Обновлена версия библиотеки safetensors до 0.4.2.
Добавлены всплывающие подсказки для create_submit_box.
Реализовано подсветка строк таблицы при наведении курсора в вкладке расширения.
Всегда добавляется временная метка к отображаемому изображению.
Добавлена настройка core.filemode=false, чтобы не отслеживать изменения прав доступа к файлам.
Нормализованы пути в аргументах командной строки.
В строке прогресса теперь используется оригинальное название приложения.
Метод register_tmp_file теперь используется также для mtime.
Ознакомиться с оригиналом и прочитать список всех изменения можно на этой странице.
Как обновиться?
Добавьте аргумент запуска git pull в ваш webui-user.bat, для этого просто откройте файл в блокноте, если не хотите обновляться при каждом запуске (рекомендую оставить), можете после обновления убрать его из файла.
Если у вас портативная версия, то возможно в ней есть update.bat, тогда активируйте его для обновления.
В случае если обновление происходит с ошибками может помочь удаление папки venv, после перезапуска автоматик сам перекачает окружение.
Я рассказываю больше о нейросетях и делюсь иллюстрациями у себя на YouTube, в телеграм и на Бусти. Буду рад вашей подписке и поддержке.