В этом видео я расскажу как использовать Wildcards или постановочные знаки в Фокусе (Fooocus) для генерации уникальных и разнообразных изображений. Узнаете, как легко создавать множество вариаций из одного запроса, как улучшать качество визуализаций и значительно сокращать время на создание контента.
Вы узнаете:
- Что такое Wildcards и как они работают в Фокусе.
- Пошаговая инструкция по включению и настройке Wildcards для разных типов изображений.
- Примеры применения Wildcards для разнообразия персонажей, фонов и стилей.
- Советы по эффективному использованию этой функции для создания портфолио или коммерческих изображений.
Omost, разработанный lllyasviel - это новый веб-интерфейс, который совмещает в себе возможности больших языковых моделей (LLM) и возможности генерации и изображений на SDXL моделях. Иными словами, SDXL и ChatGPT в одном флаконе
Название Omost (произношение: "almost") символизирует:
Каждый раз, когда вы используете Omost, ваше изображение почти готово
"O" означает "omni" (мультимодальный), а "most" означает стремление извлечь максимум из каждого изображения
Суть в том, что используются простые промпты, а языковая модель преобразовывает и распределяет текстовый запрос таким образом, чтобы на выходе получать красивые и необычные генерации. Смесь LLM и SDXL позволяет очень гибко управлять генерацией
Интерфейс Omost
Интерфейс очень простой и понятный, похож на Fooocus. Большая часть параметров перекочевала из Automatic1111, если вы уже с ним знакомы, то переходите к следующему разделу. Ниже остановимся подробнее
1 — Окно "Prompt"
Основное рабочее пространство
В это окно прописываем текстовый запрос с учётом позиционирования объектов на изображении (например, солнце в правом верхнем углу, силуэт по центру и т.п.)
Далее запрос отправляется в LLM-модель, для получения более сложного промпта
2 — New Chat
Работает подобно созданию нового чата в ChatGPT.
Необходим в случаях, когда нужно уйти от контекста предыдущей генерации.
3 — Edit Last Input - редактирование последнего текстового запроса
4 — Random Seed
Случайный параметр начального шума, из которого будет происходит генерация конечного изображения. Вводится вручную.
Не используйте слишком длинные комбинации цифр, достаточно 4-7 случайных цифр
5 — Окно Language Model
Настройки языковой модели:
Temperature - пришло от ChatGPT, чем больше «temperature», тем более художественный ответ даст ИИ.
Max New Tokens - максимальное количество вводимых токенов
6 — Окно Image Diffusion Model
Image Width - ширина изображения
Image Height - высота изображения
Используйте числа, кратные 64, начиная от 512 (например, 1024x1024, 768x1024 и т.д.)
Image Number - количество итоговых изображений.
Sampling Steps - количество шагов по созданию изображения. Чем их больше, тем дольше нейросеть будет над ней работать.
7 — Вкладка "Advanced"
CFG Scale - величина соответствия текстовому запросу. Для большинства XL-моделей используется от 1 до 5-6.
Настройки для Hi-Res Fix:
HR-Fix Scale - величина апскейла (повышения разрешения), увеличивает время генерации и нагрузку на видеопамять. Рекомендую оставить единицу.
Highres Fix Steps - шаги апскейла
Highres Fix Denoise - мера "новизны" изображения. Чем выше это значение, тем сильнее итоговая картинка будет отличаться от исходной. От 0 до 1.
Negative prompt - негативный запрос, в нём описываем то, чего не должно быть на изображении.
Давайте поближе взглянем на сам процесс преобразования промпта
Пишем вот такой запрос на входе:
a British Shorthair cat on the center
А вот то, что мы получаем на выходе:
А вот изображение на выходе:
Изображение на выходе с запросом "a British Shorthair cat on the center"
Или давайте совсем просто:
a woman
Как видно на скриншотах, можно в мельчайших подробностях задавать параметры позиционирования: от лица, цвета волос и причёски до губ, глаз и одежды. Выглядит всё это очень интересно!
Изображение на выходе с запросом "a woman"
Хочу сгенерировать силуэт девушки на фоне ночного неба. Введём следующий запрос в нижнее окно:
Dark silhouette of a girl in the bottom right, she looks at the starry night sky, standing on a grass field, a forest in the left, fireflies, dark composition
Параметры не меняю
После обработки запроса нажимаем Render the Image!
Получаем следующие результаты:
Omost, к сожалению, не всегда строго придерживается позиционирования
Далее я пишу в чат "поменяй девочку на кошку", жму Render the image и получаю следующее:
Теперь хочу изобразить рыжую девушку в левой части изображения. Сгенерируем следующий запрос:
beautiful woman with short redhair on the left, pale skin, freckles, big green eyes, slim face, green sweatpants, belly button, white socks, lying in her bed,
Ещё один пример
rusalka on the left, aesthetic of street art with knowledge-sharing atmosphere, fog, high depth of field, f/4, framing, groundbreaking breathtaking magnum with precise details, award winning, (Travel Photography by Ashley Gilbertson and George Platt Lynes:0.1), (pastel and bluish-purple colors:0.1),
Придерживайтесь правила: один чат - один сюжет на изображении
Для создания новой композиции нажимаем справа сверху New Chat
На Гите представлены подсказки для позиционирования объектов:
Вы можете задавать расположение объектов согласно сетке
Вы можете задавать расположение объектов согласно сетке
Вы можете задавать расположение объектов согласно сетке
В Omost используется словесное описание позиционирования, а не координатное, потому что "прямое использование координат пикселей или процентных индексов оказалось менее эффективным для LLM"
Так же, если вам нужен точный цвет на изображении, то можно указать его в запросе. На Гите есть слова-триггеры и их HTML-коды. Однако, всё же пока не получается добиться точной цветопередачи
Как итог, Omost - новый экспериментальный инструмент наподобие DALL-E 3, который сочетает в себе мощь LLM- и SDXL моделей
Хочу напомнить, чтобы завести Omost локально, необходима видеокарта как минимум с 8 Гб видеопамяти. Так же он очень требователен к оперативной памяти, съел все мои 16, а я уверен, может и больше
Вы можете попробовать Omost в Demo на Hugging Face
Или скачать портативную версию с установкой в один клик, которая весит всего 1.6 Гб
Перед установкой отключите антивирус, он ругается на самораспаковывающийся архив. Если переживаете, то скачивайте 7z-архив, который нужно просто разархивировать в любое удобное место
Подписывайтесь на 👾Нейро-Софт, канал с портативными версиями ваших любимых нейросетей!
Друзья, всем привет! Недавно популярный нейросетевой интерфейс Fooocus обновился сразу до версии v2.4.1. Меня зовут Илья, я основатель онлайн-нейросети для создания изображений ArtGeneration.me, техноблогер и нейро-евангелист. Давайте посмотрим, какие основные нововведения и улучшения появились. Я отдельно озвучу самые заметные обновления и оставлю полный список изменений в конце.
Добавился новый режим Hyper-SD, это еще одна лора чтобы генерировать за 4 шага в ущерб качеству, кому-то пригодится, работает не хуже чем лайтнинг.
Aspect Ratios - разрешения теперь зачем-то свернуты, меня лично это бесит, это не красиво и не удобно.
Random style - случайный стиль при каждой генерации будет включать - случайный стиль, если вам совсем нечем заняться, не забудьте выставить на максимум количество изображений.
На вкладке Debug Menu в разделе Inpaint вы найдете Inpaint brush color, на тот случай если вас всегда бесил белый цвет маски.
Там же в Debug Menu, но уже в разделе Debug Tools появился параметр CLIP Skip, который по умолчанию выставлен на 2, имейте это ввиду.
Там же добавились семплер и планировщик TCD, которые запрашивал ваш покорный слуга. Сначала скачайте и включите вот эту лору, затем в Debug Menu, в разделе Debug Tools поставьте на 1CFG Mimicking from TSNR, затем Sampler поставьте TCD, а Scheduler - sgm_uniform, ниже Forced Overwrite of Sampling Step поставьте на 6, я нашел это оптимальным значением для соотношения скорость - качество, но вы конечно можете поэкспериментировать и написать в комментариях как работает лучше. Guidance Scale рекомендуется поставить на минимум, но я нахожу что на 1.5-2 изображения получаются интереснее. Изображение с обложки было создано именно в таком режиме всего за 6 шагов и за 2 секунды в разрешении 1280х768, а так и не скажешь. Еще несколько изображений в карусели ниже.
1/6
Изображения созданы в TCD
Все новые функции и улучшения:
Добавлена возможность загружать файлы с Hugging Face через зеркальный сайт.
Обновлен модуль Interposer с v3.1 до v4.0.
Теперь можно переподключиться к интерфейсу без перезагрузки страницы с помощью специальной кнопки.
Появился выбор VAE моделей для генерации.
Добавлен новый стиль "Random Style" для случайного выбора стиля.
Обновлена модель аниме с animaPencilXL_v100 до animaPencilXL_v310.
В историю логов теперь сохраняются полные необработанные промпты (full raw prompts).
При загрузке изображения для апскейла (upscaling) теперь можно автоматически получить его описание.
Добавлена цензура NSFW изображений (отключает предварительный просмотр промежуточного изображения при генерации). Установите значение конфигурации default_black_out_nsfw в True, чтобы всегда включать эту опцию.
Добавлена поддержка встроенных ссылок на LoRA в промптах с поддержкой подпапок, пример: colorful bird lora:toucan:1.2
При описании изображения теперь даются рекомендации по размеру и соотношению сторон.
В инструменте инпейнтинга появился выбор цвета кисти, что удобно, когда изображение и кисть маски имеют одинаковый цвет.
Автоматизирована сборка Docker-образа с помощью Github Actions при каждом релизе.
Скорее всего обновление уже произошло автоматически когда вы запускали фокус и никаких специальных действий не требуется. Если в консоли вы видите Already up-to-date, то можно не беспокоиться.
Но в моем случае была вот такая ошибка и я не нашел иного решения как просто скачать новый установщик и после этого все прошло гладко.
А если захотите изучить Fooocus профессионально, то приглашаю на мой курс Fooocus.ru, где за 15 уроков вы узнаете всю базу необходимую для дальнейшего развития.
Я рассказываю больше о нейросетях у себя на YouTube, в телеграм и на Бусти. Буду рад вашей подписке и поддержке. Всех обнял. Удачных генераций!
В этом видео вы познакомитесь с веб интерфейсом DEFOOOCUS и узнаете, чем он отличается от Fooocus. Вы узнаете как с помощью нейросетей поменять одежду и генерировать изображения с одеждой по референсу. Познакомитесь с GPT2 в Defooocus, Automatic1111 и ComfyUI.
Отличное решение для дизайн карточки товара и инфографики на Wildberries, Ozon.
