Обновленная версия workflow, с предпросмотром промежуточной генерации, теперь с LoRa и более аккуратно организованное.
Ознакомиться с workflow можно на openart.ai (смотрите обновленную версию).
И еще немного Элли
LoRA Stable Diffusion, что расшифровывается как "Low-Rank Adaptation", представляет собой дополнительные модели, которые можно внедрить в нейронную сеть Stable Diffusion. Эти модели увеличивают потенциал сети в плане обучения и позволяют создавать элементы, которые ранее не могли быть сгенерированы в области изображений. Кроме того, LoRA Stable используется в стилизации изображений, где различные типы "лор" выполняют свои уникальные задачи.
Все о Lora Stable Diffusion: что это такое и как пользоваться в телеграм-боте
Возможно, вы думаете что нужно скачать lora, но это не обязательно. Вы можете ознакомиться с параметрами стиля «LoRA», зайдя в раздел «🎭 Стили», который расположен в нижней части меню бота @yes_ai_bot. Просто кликните на иконку «🎨 Галерея LoRA», чтобы увидеть все доступные модели.
Вы можете увеличить галерею, используя любимые LoRA. Для этого достаточно отправить ссылку на нужный LoRA с сайта civitai.com нашему боту. Вскоре система добавит выбранную лора и уведомит вас, как только она будет готова.
Зайдите на https://civitai.com. Когда вы окажетесь на сайте, выполните указания, приведенные в руководстве, чтобы установить нужные фильтры. Вы можете выбрать LoRA для версий SD 1.5 или SDXL.
Как добавить Lora Stable Diffusion в телеграм-бота
Найдите и откройте страницу, на которой представлена выбранная вами LoRA. После того как вы окажетесь на этой странице, скопируйте URL (ссылку) из адресной строки вашего браузера и отправьте его боту.
Подождите некоторое время, пока не получите сообщение от бота, которое подтвердит успешное добавление модели «LoRA».
В качестве примера рассмотрим следующий промпт (запрос):
медведь, который смотрит вбок, украшенный тщательно проработанными гравюрами, отбрасывающий глубокие тени, с синтетическими узорами, окруженный детализированной и роскошной рамкой, выполненный в цифровом искусстве сверхвысокого разрешения с 3D-рендерингом, с качеством 16k
Теперь добавим к нему команду в формате
<lora:номер_лоры:вес_лоры>
В итоге у нас получился такой промпт (запрос):
медведь, который смотрит вбок, украшенный тщательно проработанными гравюрами, отбрасывающий глубокие тени, с синтетическими узорами, окруженный детализированной и роскошной рамкой, выполненный в цифровом искусстве сверхвысокого разрешения с 3D-рендерингом, с качеством 16k, <lora:67743:1>
…где 67743 является уникальным идентификатором LoRA, который был присвоен платформой civitai.com, а 1 — это коэффициент веса. Более высокий коэффициент веса указывает на то, что LoRA оказывает более значительное влияние на процесс генерации изображений.
Чтобы активировать дополнительные LoRA, которые отсутствуют в галерее, отправьте ссылку, оформленную следующим образом:
https://civitai.com/models/67743
где цифры представляют собой уникальный идентификатор LoRA. Пожалуйста, направьте её в @yes_ai_bot
Число, стоящее после двоеточия, обычно варьируется от 0,1 до 2,0 и указывает на степень воздействия, которую LoRA оказывает на итоговое изображение. Важно понимать, что в различных стилях могут применяться разные пропорции, которые можно выбрать вручную или получить на основе примеров работ создателя, связанного с данным LoRA.
В некоторых случаях весовой коэффициент LoRA может значительно изменяться, даже достигая отрицательных значений, например, в пределах от -7 до 7. Перед использованием LoRA рекомендуется ознакомиться с подробным описанием от автора, доступным на civitai.com.
пример коэффициента веса
Следует учитывать, что LoRA, созданные для SDXL, не могут быть использованы с SD 1.5, и наоборот: LoRA, разработанные для SD 1.5, не совместимы с SDXL.
Существует множество LoRA, и их число продолжает увеличиваться. Они могут работать как с SDXL, так и с SD 1.5 — @yes_ai_bot поддерживает обе версии! В описании каждого LoRA указано, какая версия Stable Diffusion ему соответствует.
ВАЖНОЕ ЗАМЕЧАНИЕ! В верхней части страницы LoRA, как видно на предоставленном скриншоте ниже, вы можете выбрать нужную конфигурацию LoRA. Если LoRA содержит элементы для обеих версий, установка обеих будет продолжена!
Некоторые модели LoRA имеют возможность реагировать на специфические ключевые слова. Дополнительную информацию можно найти на сайте civitai.com или в галерее LoRA в самом боте.
Автор LoRA с идентификатором 67743 добавил в него ряд триггерных слов, таких как «GOLD», «GOLDY», «BLACK», «GOLD AND BLACK», «MATTE BLACK» и «GLOSSY BLACK». Нам стоит подумать о том, чтобы использовать некоторые из этих слов в нашем запросе.
black gold, медведь, который смотрит вбок, украшенный тщательно проработанными гравюрами, отбрасывающий глубокие тени, с синтетическими узорами, matte black and gold ornament, окруженный детализированной и роскошной рамкой, выполненный в цифровом искусстве сверхвысокого разрешения с 3D-рендерингом, с качеством 16k, <lora:67743:1>
генерация по промту
Использование основных триггеров из LoRA приводит к результатам, которые сопоставимы с теми, которые были получены оригинальным автором. Чтобы проанализировать, как LoRA влияет на результаты, можно повторить тот же запрос, но на этот раз исключив конкретные триггерные слова.
медведь, который смотрит вбок, украшенный тщательно проработанными гравюрами, отбрасывающий глубокие тени, с синтетическими узорами, окруженный детализированной и роскошной рамкой, выполненный в цифровом искусстве сверхвысокого разрешения с 3D-рендерингом, с качеством 16k, <lora:67743:1>
пример генерации без использования триггеров
Ясно, что применение LoRA может привести к значительным изменениям в результате: некоторые детали могут быть утрачены, а текстура материала и освещение могут измениться. Поэтому крайне важно использовать в процессе определенные ключевые слова (триггерные слова), особенно если они были указаны автором.
Рекомендуем посмотреть вебинар, который нагладно показывает как использовать модели Lora в телеграм боте @yes_ai_bot
Если у вас возникли какие-либо вопросы, не стесняйтесь написать в наш Telegram-чат поддержки: https://t.me/yes_ai_support
В одной из игр на HypeHype у меня есть кнопки строительства активных объектов. Одна из них – катапульта в виде пушки. Сейчас для кнопки используется иконка очень плохого качества. Поэтому я решил, что нужно что-то получше, а главное – очень быстро и дешево. Требования к результату не строгие.
Решил привлечь на помощь Stable Diffusion и LoRA для создания игровых иконок (Game icon Institute 3Dmode от ConceptConnoisseur на Civitai).
Соответственно, использую img2img генерацию из исходной "плохой" иконки. Основной параметр для настройки – Denoising Strength (параметр, контролирующий степень изменения исходного изображения или шума при генерации). Вес LoRA – 0.5.
Результат представлен на слайде. Более-менее подходящими считаю варианты при DS 0.6 и 0.7. При увеличении параметра модель сильно уходит в реализм, а при понижении — результат так себе. Еще нужно будет править это в фотошопе, чтобы избавиться от артефактов.
Задача заняла 25 минут времени и стоила мне $0.2 серверного времени на RunDiffusion.
Можно еще ThinkDiffusion использовать, но мне показалось, что в RunDiffusion получше с чекпоинтами.
🤔В новом видео на ▶️ YouTube я расскажу, кто же такая LoRA и как её обучать на своих данных для генерации уникальных изображений. Мы разберём, как работает процесс дообучения больших моделей на небольших датасетах с примерами использования на платных и бесплатных платформах, таких как Tostai, Civitalai и другие.
🤪Поговорим о локальных способах тренировки моделей, а также о том, какие ресурсы и мощное оборудование для этого потребуются.
😱Покажу интерфейсы популярных программных оболочек, таких как Forge и Foocuse, которые помогают интегрировать и использовать обученные модели.
🥳Если вас интересует генерация изображений и тренировка нейросетей, это видео для вас!
Основа https://t.me/future_2049
Repost - самые "быстрые" новости про нейросети
Название модели: 90's Asian Look Photography
Ссылка на модель: https://civitai.com/models/834837?modelVersionId=934017
Тип модели: #LoRA
Количество скачиваний: 196
Дата загрузки: 8 Oct 2024
Базовая модель: Flux.1 D
Триггерные слова: 90log, low quality, old photo, grainy, noise, uneven lighting, color fading, worn photo
Теги: #90s, #asian, #photography, #vintage, #grainy
Комментарий разработчика: Модель воспроизводит фотографический стиль 90-х годов с акцентом на азиатскую эстетику того времени. Подходит для изображений с винтажным эффектом, низким качеством и шумами.
Источник: @neurosklad 🤖 - все, что нужно, для твоей нейронки!
Зашла речь о долгоиграющих недорогих гео-трекерах, которыми можно было бы снабжать детей и стариков, которые в зоне риска и могут потеряться.
Внешний вид описанного здесь устройства по версии ChatGPT 4.o
Можно было бы сказать, что есть же детские смарт-часы с сим-картой и GPS, по ним можно позвонить или отследить человека на карте.
С такими гаджетами есть одна большая проблема - они почти всегда лежат дома разряженные. В этом посте я попробую рассказать о ряде идей, которые помогли бы справиться с этой проблемой.
Итак, почему у нас телефоны и смарт часы постоянно разряжены когда они так нужны. Потому что те, кто не забывает их регулярно заряжать, обычно не теряется. Потому, что такие часы довольно бесполезны пока не случилось страшное, поэтому у пользователя часто не хватает мотивации их заряжать. Нужно каким-то образом эту мотивацию обеспечить. Это вопрос дизайна.
Давайте сформулируем технические требования к трекеру, который был бы гораздо полезнее, чем всё что сейчас есть на рынке.
1) Трекер должен иметь логарифмический режим энергосбережения. То есть, просыпаться и сообщать о своих координатах на сервер он должен тем реже, чем сильнее у него разряжена батарея. Для такого устройства важнее не частота обновления координат, а наличие хотя бы каких-то данных в действительно критических ситуациях. Думаю ориентироваться надо на месяц или даже больше такой работы, чтобы трекер хотя бы раз в день сообщал о своём местоположении. Но если уже не хватает энергии, чтобы отправлять сигнал раз в день, то пусть он это делает раз в два дня. Это потребует вдвое меньше энергии. На свежей батарейке такой трекер вполне мог бы довольно долго отдавать координаты каждые 10 минут на свежей батарее, а потом снижать частоту по мере разряда.
2) Трекер должен быть "тамагочи". То есть, он должен динамически взаимодействовать со своим владельцем отслеживая своё состояние и доступные данные о ситуации вокруг. Важно, чтобы такой тамагочи "понимал" где находится и напоминал о необходимости поставить его на беспроводную зарядку тогда, когда есть такая возможность, но не донимал хозяина лишними уведомлениями, если такой возможности нет. Понятно, что если трекер лежит неподвижно дома, если лежит в кармане пока владелец ходит по дому, если висит на верёвочке на шее как кулон когда имеет смысл положить его в "гнездо" для подзарядки, то трекер должен об этом просто и недвусмысленно напомнить. Также он должен напомнить "взрослым" о том, что у (условно) "ребёнка" не сформировалась правильная привычка ухаживать а "тамагочи". Да, такое устройство не будет волшебным, нужно будет формировать привычки пользования им. Важно, чтобы устройство само в игровой форме помогало формировать такие привычки. Он должен стать своеобразным питомцем, за которым хочется ухаживать, но который не будет излишне навязчив и не потребует лишнего внимания на себя.
3) Трекер должен быть составным. То есть, чтобы трекер понимал, что хозяин уходит от него, в комплекте должно быть несколько лёгких радиометок ближнего поля действия. Эти радиометки должны работать по принципу AirTag или iBeacon, их должен "чувствовать" тамагочи. Эти метки можно закрепить на верхнюю одежду, использовать как брелок для ключей, закрепить на любимой сумке, в чехле для очков и т.д.. Такая радиометка как и любой iBeacon маячок вполне может помочь найти "тамагочи" по звуку при нажатии кнопки.Точно так же можно найти потерянные ключи, сумку или очки, но со стороны трекера.
4) Трекер должен быть удобной компактной формы, чтобы его можно было вставить в браслет как фитнес-трекер, повесить на шею как кулон, повесить на ключи как брелочек, закрепить на кошельке.
5) Трекер должен нести на борту современный компактный и энергоэффективный GNSS-чип и GSM-модуль.
6) На трекере должна быть тревожная кнопка.
7) Идеально было бы, если бы такой трекер при нажатии на тревожную кнопку умел отсылать в LoRa модуляции короткие пакеты с координатами в выровненные по часам моменты времени. Таким образом такой трекер можно было бы пеленговать с коптера на приличном расстоянии там, где совсем нет никакой сети GSM.
8) Трекер должен уметь громко и пронзительно пищать.
9) Трекер должен уметь говорить о своём статусе и потребностях, и показывать их наглядно на eInk дисплее.
10) Трекер должен обучать пользоваться собой через смарт-колонку дома. Можно сделать приложение для Алисы и для любого другого голосового помощника. Вообще купить старикам или детям умную колонку - это очень хорошая идея.
11) У трекера на борту должны быть:
- акселерометр (для контроля активности, падения и неподвижности);
- термометр;
- GNSS-модуль для получения точного времени и координат;
- микрофон для контроля шума и звуковой среды;
- GSM-модуль для пакетной передачи статусов, координат и сигнала о помощи;
- пьезо-пищалка для привлечения внимания;
- ионистор, схема "высасывания" и накопления энергии из разряженной батареи;
- катушка бля беспроводной зарядки;
- яркий RGBW-светодиод для световой сигнализации слабослышащим, для поиска в темноте.
Сейчас технологии вполне позволяют всё это впихнуть в форм-фактор крупных наручных часов.
Мне кажется такого рода устройства нужно производить массово и распространять по дотационной схеме, чтобы обеспечивать на государственном уровне безопасность наших детей и стариков.
Главная сложность этого устройства - это прошивка. Она должна быть продуманной, должна обеспечить простой и интуитивно понятный интерфейс, должна за счет геймификации и формирования привычек создавать привязанность хозяина и добиваться правильной полезной эксплуатации устройства в целом.
Это не простой проект, но аналогов ему я не знаю. Детские смарт-часы - это ближайшее по функциональности, что существует на рынке, но все существующие решения можно улучшить, если воплотить в них пункты, перечисленные выше. Кроме того, конечно же, нужна социальная реклама для продвижения и формирования правильного отношения к такого рода приборам.
Вопрос: сколько, по-вашему, должно стоить такое устройства для конечного потребителя, чтобы оно получило распространение и использовалось повсеместно?
Всем привет, в этом видео расскажу и покажу как натренировать Lora для Stable Diffusion на модели Flux. Для этого вам понадобится приложение Fluxgym и как минимум видеокарта от 8 гб, возможно получиться и с меньшим размером, но будет ооочень долго тренироваться))
Да, забыл сказать, обучение на 1636 шагах заняло примерно 70 минут (видеокарта 3090, 32 гб ОЗУ, диск SSD) разницы в скорости между dev1 и dev2-pro не заметил, в качестве тоже, возможно нужно больше времени для сравнения.
Lora на CivitAi - https://civitai.com/models/816332/a-magical-dream-on-a-moonlit-night
Видео на Boosty (гайды, лайфхаки) - https://vk.cc/cBLZsn
Чат в дискорде для ваших вопросов - https://discord.gg/nYuJR58T8j
Группа в Вк (арты, новости) - https://vk.com/nevskiyart
Всем спасибо за просмотр))
Flux на Forge и Comfyui. В этом видео вы узнаете как подключать Flux Lora, Flux ControlNet, Flux ip-adapter. Увидите как отличаются модели Flux GGUF, NF4, FP8. Познакомитесь с универсальной схемой comfyui Flux с возможностью переключения моделей Flux и GGUF, а так же подключением LORA, ControlNet и ipadapter. Схема оптимизирована для наименьшего потребления видеопамяти. Upscale Flux Forge. Inpaint Flux Forge.
