
Synthwave Neuro Arts
8 постов
8 постов
2 поста
Друзья, всем привет, сегодня хочу рассказать, как создавать симпатичные аниме арты прямо в браузере, используя онлайн сервис работающий на нейросети Stable Diffusion.
Теперь вам не нужно иметь мощную видеокарту, достаточно написать запрос, можно даже на русском, и в течении минуты получите изображение. Но как создавать изображения именно в Аниме стиле? Обо всем по порядку.
Сначала регистрируемся на ArtGeneration.me - ссылка реферальная, зарегистрировавшись по ней вы получите 7 дней PRO, вместо 3 и 200 дополнительных генераций, вместо 100 на баланс, так что решайте сами 😁. На сайте вам ежедневно будет начисляться 50 генераций, а если оформите подписку PRO, то 300, жду шутку про тракториста в комментарии.
С регистрацией никаких проблем не возникнет, можно авторизоваться с помощью Яндекса или Гугла, и сразу попадаем в галерею изображений.
В галерее можно увидеть что сейчас создают пользователи и сразу сделать свою версию. По клику на любую картинку вы сможете увидеть по какому запросу она была создана.
То что получится на изображении описывается с помощью запроса и негативного запроса, так нейросеть понимает, что рисовать, а что не рисовать. Запросы можно писать на русском, они будут автоматически переводится. Но мы будем писать на английском, потому что примеры, которые мы будем находить на сайте где размещают модели тоже будут на английском.
Самый просто способ сделать красиво, это найти что-то, что вам нравится нажать на кнопку Создать свою версию, так вы откроете изображение с теми же настройками с которыми оно было создано. Останется поменять несколько слов в запросе и получить то что хочется именно вам. Изучим основные настройки.
По клику на иконку рядом с названием модели откроется страница со всеми созданными на этой модели картинками
Настройки генерации скрыты в правом баре, если у вас маленький экран, то он может быть скрыт по умолчанию, нажмите на стрелочку, чтобы развернуть.
Самое важное это модель, от модели зависит буквально все, ниже я расскажу какие модели лучше всего подходят для Аниме стилистики.
Разрешение, на моделях 1.5 (те, где в названии нет XL), важно не выходить за разрешение 512х768 или 768х512, но есть и хитрость, можно пропорционально увеличить разрешение до 960х640 или обратно, так качество изображений будет выше. На XL моделях можно смело делать разрешение больше.
Стили это маленькие предустановленные кусочки запросов, они добавляются к запросу который пишите вы, стили очень удобно использовать с простым запросом в 1 - 2 предложения, если копируем откуда-то промпт, то стиль использовать не стоит.
В Избегать пишется негативный запрос, то, чего не должно быть на изображении, лучше всего его взять из готовых примеров, или на сайте где размещают модели. Остальные настройки можно в принципе не менять, по умолчанию они работают хорошо.
Свое изображение позволяет загрузить любое фото или картинку из интернета и получить генерацию которая будет очень похожа на то, что вы загрузите, степень изменения загруженной фотки можно регулировать ползунком.
Сюда же можно отправить вашу генерацию, например, чтобы сделать что-то похожее, но с другим запросом. А если не нравится только одна часть, её можно закрасить маской и тогда закрашенная часть будет пере генерирована. Так например можно улучшить лицо.
Если не хотите чтобы ваши изображения попадали в общую галерею, можно включить приватный режим.
Проработка отвечает за то, сколько раз нейросеть попробует очистить картинку от шума, оптимально 30-40.
Соответствие запросу оставляете в районе 5-7, эта настройка отвечает за следование запросу, но если превысить, то получите просто некрасивое изображение.
Все генерации создаются путем очистки изображения от шума, он похож на помехи в телике, номер конкретного шума позволяет создать еще раз такую же или очень похожую картинку по тому же запросу. Обычно используется случайный шум - зеленый кубик.
Сэмплер это математический алгоритм для визуализации, мои любимые DPM++ 2M Karras, Euler и UniPC, они самые универсальные.
Слева расположен бар с созданными вами изображениями, можно быстро перейти к настройкам любого созданного ранее изображения просто кликнув на него. Там же удаление и быстрый предпросмотр изображений, чтобы было удобно быстро находить нужную картинку.
Далеко не все модели хорошо подходят для аниме стилистики. Я сделал небольшой топ, лучших на мой взгляд моделей из доступных на ArtGeneration.me.
У каждой модели я написал название, оставил ссылку на все изображения созданные на этой модели и ссылку на Civitai, где можно скопировать хорошие запросы и негативные запросы именно для этой модели, про это еще расскажу ниже.
Очень симпатичная аниме модель, запросы лучше писать ключевыми словами.
И сразу расскажу зачем нам ссылка на Civitai, заходим по ней и видим изображения созданные автором модели, у каждого изображения в правом нижнем углу есть иконка i, жмите на неё и увидите запрос который лучше всего подходит именно для этой модели.
А ниже еще изображения созданные сообществом, там тоже можно найти много всего интересного, и примеры промптов и новые идеи для артов, обязательно посмотрите.
Проще всего сделать красивое изображение если скопировать удачный запрос, а потом понемногу изменять его.
Очень популярная 2.5d модель со своим необычным ярким стилем. В качестве запросов нормально работают и обычные базовые запросы.
Модель больше ориентирована на 3д в стиле пиксара или диснея, но и аниме стиль удается хорошо, особенно если подобрать интересный запрос как в случае с этим примером.
Не совсем про аниме, скорее стиль комиксов, но тоже очень классная 2д модель.
Яркая модель со своим особенным стилем, скорее тоже в мультипликацию, но крутая.
Классический анимешный микс моделей, похожий на все и сразу.
Модель создает безумно милые изображения с классическими большими головами и глазами у персонажей.
Очень классная SDXL модель, которая заточена под арт и в т.ч. аниме, отлично следует промпту, идеальна для работы со стилями и промптов на русском.
На этот раз без 2.5, но тоже очень классный, в стиле классического аниме.
Уже достаточно старая, но все еще очень популярная аниме модель.
Модель от создателя знаменитой Deliberate, не самая интересная аниме модель, на мой взгляд, но у неё хватает поклонников.
SDXL Niji Special Edition
Еще одна отличная SDXL модель заточенная под арт и иллюстрации, но отлично справляется и с аниме и хорошо понимает запросы как и все XL модели.
Рассказать о найденных багах, поделиться созданными изображениями или пообщаться с разработчиками можно в сообществе сервиса в телеграм.
Теперь вы знаете как создать арт с помощью нейросети ArtGeneration.me используя только браузер. Знаете как пользоваться сервисом и сможете найти отличные запросы на сайте размещающем модели. Ну и подобрать модель по душе из этой подборки тоже сможет каждый. Попробуйте повторить любое изображение из подборки самостоятельно.
Друзья, поддержите пост плюсиком, в нашей стране сейчас совсем не много таких проектов создается.
А на этом у меня все, делитесь вашими изображениями в комментариях и удачных генераций.
Друзья, всем привет, сегодня я научу вас как создавать шикарные мемные гифки с вашим лицом с помощью дипфейк нейросети FaceFusion.
Все мы любим гифки, они веселые, эмоциональные, у каждого из нас в телеграме сохранена добрая пачка таких анимаций из любимых фильмов и сериалов.
Но что, если вы сами будете главным героем этих сцен? Я попробовал и мне очень понравилось, уверен, что к концу этой статьи вы тоже захотите пак собственных уникальных гифок. Приступим к магии.
Нам понадобится приложение FaceFusion, вы можете скачать его из официального гита разработчика , но установка мягко говоря геморойная. Есть версия для Google Collab.
Я использую локально портативную версию FaceFusion от моего товарища с канала Neurogen, так же советую поступить и вам, архив достаточно распаковать в любую удобную папку, больше ничего не требуется. Важно: в путях и названиях файлов не должно быть кириллицы!
После распаковки, кликаем start_portable_nvidia.bat
Откроется окно терминала, дождитесь пока в нем появится строка Running on local URL: http://127.0.0.1:7860, выделите адрес, скопируйте нажав ctrl + c, вставьте в адресную строку вашего браузера. Готово
А почему нельзя было сделать, чтобы адрес открывался сам? Ответ вы знаете.
Вот так все это выглядит, но пугаться не стоит, все достаточно просто, сейчас расскажу.
Поскольку мы будем работать с гифками, они как правило имеют низкое разрешение, поэтому ставим все три галочки. Они позволяют отдельно использовать разные компоненты, замену лица, улучшатель лица и улучшатель кадра. Но вы имейте ввиду, что каждый компонент можно запускать отдельно, например, чтобы только улучшить видео, без замены лица.
Дальше у нас идут настройки потребления ресурсов. И они вот вообще не очевидные.
Если у вас видеокарта NVidia, то поздравляю, все пройдет легко и безболезненно. Мои настройки для видеокарты RTX 4090 на скрине выше, если у вас карта по слабее, просто понизьте все настройки в два раза и повышайте понемногу, пока не начнут появляется ошибки Out of memory. Выявить максимальные настройки для лучшего быстродействия можно только экспериментальным путем.
Если у вас слабая видеокарта, можно попробовать режим CPU, но это будет значительно медленное чем на хорошем видеоадаптере.
Дальше идут настройки сохранения временных кадров и видео.
Тут все просто, ползунки ставим на 100, остальное можно не трогать. Галки внизу отвечают за поддержание того же фпс, как в оригинале, следующая за сохранение скорости видео, и последняя позволяет пропустить аудио и не добавлять его в итоговый файл. Идем дальше.
В центре страницы три больших окошка, в первое - Source мы загружаем наше лицо, ну или то лицо, на которое будем менять.
Второе - Target, это видеофайл с которым мы работаем.
Третий - Output появится по завершению работы программы.
В OUTPUT PATH указываем адрес папки сохранения итоговых видео.
Теперь самое интересное, настройка замены лиц, ведь менять можно как все лица в видео на одно и тоже, так и только определенные. Для примера я выбрал отрезок из известного художественного фильма.
В Preview мы уже видим предпросмотр того, что получится, навигация по кадрам осуществляется с помощью ползунка PREVIEW FRAME.
С помощью ползунков TRIM FRAME START и END можно обрезать начала или конец видео. Но это еще не все, дальше будет блок с анализом и заменой лиц.
У нас есть два режима замены лиц, режим many - заменит все лица в кадре, но вы можете указать пол и возраст лиц, которые будут проанализированы с помощью FACE ANALYSER AGE и FACE ANALYSER GENDER, например так можно менять только лица взрослых мужчин. Но работает это не идеально, бывают сбои.
В режиме reference мы мы двигаем ползунок PREVIEW FRAME и кликаем на те лица, которые нужно заменять в REFERENCE FACE. Если в процессе видео лицо которое мы заменяем перемещается в кадре слишком сильно или пропадает - отслеживание может сбиваться, поэтому прокрутите ползунком все кадры и проверьте везде ли лицо определяется правильно.
Единственное что я так и не понял, это как снять выделение у уже выбранного лица, можно только переключить на другое. Поэтому если в кадре несколько лиц и одно потом исчезает из кадра, то самое которое мы заменяли. То, чтобы алгоритм не перепрыгнул на соседние лицо автоматически можно отрегулировать REFERENCE FACE DISTANCE, это расстояние до лица, лица которые ближе или дальше будут игнорироваться. Это легко подобрать опытным путем ориентируясь на превью.
Вроде разобрались. Ура, у нас все готово к работе, но где взять сами гифки?
Мне понравились сайты giphy.com и gifer.com, тут без особых сложностей можно найти любую гифку и зачастую они идеально закольцованы.
Найдите гифку которая нравится, кликайте на неё правой кнопкой мыши и выбирайте сохранить видео, так анимация сохранится в формате mp4, и работать с ней будет немного удобнее чем с gif.
Ну а как действовать дальше вы уже знаете, запускаете и уже буквально через минуту получаете гифку с вашим лицом.
Что будет работать плохо или не будет работать вообще?
Если лицо в кадре не полностью, или слишком близко, обрезан лоб или подбородок, такие лица чаще всего плохо определяются или не определяются совсем.
Лица на которых есть очки будут заменяться плохо, особенно если на вашем фото очков нет. Кадры где что-то закрывает лицо, например рука или какие-то объекты, тоже будут давать артефакты.
Быстрые смены ракурса, плохое освещение, дым, вспышки, могут приводить к артефактам.
Лицо с бородой заменять на лицо без бороды, тоже плохая идея, касается и лысых.
Естественно лицо белого гетеросексуального мужчины средних лет плохо ляжет на персонажа другой расы, телосложения, гендера и, возможно, ориентации.
Где еще взять классные гифки для экспериментов? Конечно в телеграм, и они сразу в удобном формате mp4, сохраняйте и экспериментируйте.
К сожалению любимые всеми анимированные гаччи стикеры не подойдут, их придется пере конвертировать из формата webm в mp4. Я для этого использую бесплатный онлайн конвертор загрузите в него скаченный из телеги анимированный стикер и на выходе получите мп4, с которым уже можно работать.
Сконвертировать mp4 в гифки, если они вам по какой-то причине нужны, можно там же на сайте в секции MP4 в GIF. Большинство мессенджеров и социальных сетей сами переводят короткие мп4 без звука в гиф, и проигрывают автоматически.
Друзья, а на этом у меня все, теперь вы знаете как создать классные мемные гифки со своим лицом с помощью DeepFake нейросети FaceFusion и станете грозой всех чатов и комментариев.
Но помните, что только на вас лежит ответственность за использованием таких технологий, не применяйте их во вред, соблюдайте нормы этики и морали и просто будьте людьми.
Скидывайте то что у вас получится в наш чатик и в комментарии, а если что-то осталось непонятно, то приходите на стрим, разберемся, ближайший пройдет уже в пятницу, 13 октября на Бусти в 20:00, вход как и всегда свободный.
А в следующий раз расскажу как можно создавать вот такую уникальную анимацию самому, а не использовать готовые гифки, а потом наложить сверху свое лицо.
Всем привет, не так давно мы с вами научились делать крутые DeepFake видео, в пару кликов, а сегодня я научу вас генерировать красивые и стильные QR коды.
С помощью QR кода вы можете сделать любую ссылку, подключиться к WI-FI, отправить визитку, смс, емаил или геолокацию. Поехали.
Что нам понадобится:
Stable Diffusion в интерфейсе Automatic 1111 или Vlad Diffusion
Установленный и обновленный ControlNet и модель Tile
Расширение для генерации QR кодов
Любимая модель, у меня ReV Animated
Первым делаем установим ControlNet, если еще нет, для этого просто скопируйте ссылку на репозиторий и вставьте на вкладке Extension – Install from URL - URL for extension's git repository нажмите Install. За одно сразу же поставим таким же образом расширение для генерации QR кодов, чтобы два раза не вставать.
Поставили, теперь перезагружаем SD, полностью, закройте bat файл и откройте снова.
Далее скачиваем модель Tile, если не скачали ранее, кладем модель в папку stable-diffusion-webui\extensions\sd-webui-controlnet\models, теперь модель надо переименовать, назовите её control_v11f1e_sd15_tile.pth
Все готово, можем приступать. Первым делом рассмотри расширение для генерации QR кодов.
У нас появилась новая вкладка, которая называет QR Code. Переходим на неё и видим вкладки Text, WiFi, vCard, MeCard, SMS, Email, Location.
Рассмотрим каждую подробнее.
Text – позволяет вам зашифровать в код любой текст и в т.ч. ссылку.
WiFi – позволяет создать QR код для подключения к Wi-Fi точке
vCard и MeCard – позволяет зашифровать телефонный контакт, своего рода визитку.
SMS и Email позволяют вам создать пред заполненное сообщение, которое будет открыто для отправки сразу на нужных номер или на емаил.
Location – позволяет открыть геолокацию на карте.
Так же есть свернутая вкладка Settings, которая позволяет настроить генерацию самого кода.
Scale – это размер будущего QR кода. Моя рекомендация – 18.
Border – это отступ, от края кода. Коды с бордером считываются лучше. Моя рекомендация – 7.
Module Color – позволяет задать основной цвет.
Background Color – позволяет задать цвет фона.
Error Correction Level – уровень коррекции ошибок, по умолчанию стоит на H, менять не надо, как раз благодаря тому, что в QR кодах есть защита от потери данных мы и можем такое творить с ними и они продолжают работать.
И так создаем наш первый QR код, я сделаю ссылку на свой телеграм, а вы делайте на что хотите. Вот так выглядит у меня.
Далее мы сразу же отправляем код в ControlNet легким нажатием на кнопку Send to ControlNet (txt2img). Или же просто сохраняем код куда-нибудь, чтобы не потерять и загружаем в ControlNet ручками.
Ставим галочку Enable, ставим галочку Pixel Perfect, выбираем препроцессор inpaint global harmonious и модель Tile, которую скачали. На Resize Mode ставим Resize and Fill. Control Weight ставим на 0.7 для начала, Starting Control Step на 0.2. Ending Control Step на 0.9.
И так, почти все готово, поднимаемся наверх, ставим разрешение 768х768 и 30 шагов. Семплер Euler a. Batch count 4.
Теперь все что нам остается – придумать какой-нибудь интересный и простой промпт. Добавим легенький негативный эмбединг, я использую EasyNegativeV2, а пак всех негативных эмбедингов можно бесплатно скачать на моем Бусти, ну и нажмите «Отслеживать», раз уж зашли, вам не сложно, а мне приятно =)
Например, вот что получилось у меня по промпту - cyberpunk girl. Чем проще промпт вы используете, тем больше вероятность что код будет хорошо читаться.
Чтобы проверить код скачайте приложение сканер QR кодов на телефоне, не открывайте код во весь экран, сканер ожидает что код будет миниатюрным, или воспользуйтесь онлайн сервисом.
Попробуем что-то более милое - Fat cute cat.
А вот что получается по промпту - Japanese mountains.
И так, теперь вы знаете как быстро и просто создавать красивые и необычные QR коды на любой случай жизни, вы можете распечатать картинку с кодом и подключаться к Wi-Fi, сделать бесконечную визитку, или даже отправлять смски или письма. Все зависит от вашего воображения.
Обязательно поиграйтесь со значениями Control Weight и с Starting Control Step и Ending Control Step, немного подкрутив эти параметры вы сможете добиться более идеального результата, главное не забывайте проверять коды перед использованием т.к. не каждый сгенерированный код будет работать.
А на этом у меня все, подписывайтесь на мой телеграм и ютуб, там много интересного, или подпишитесь сразу на все мои каналы в телеграм в одной папке.
До новых встреч и увидимся на стримах.
Из этого видео вы узнаете про крутой установщик для большинства известных нам нейросетей.
Скачать Super Easy AI Installer Tool https://civitai.com/models/27574
Список нейросетей которые доступны к установке:
Если вы впервые устанавливаете нейронки, скачайте и установите сначала:
https://www.python.org/ftp/python/3.10.6/python-3.10.6-amd64... при установке не забываем ставить галочку PATH на первом экране, иначе ничего не будет работать.
https://github.com/git-for-windows/git/releases/download/v2.... просто кликайте Далее до самого конца.
https://developer.download.nvidia.com/compute/cuda/12.1.1/lo... Тут тоже проблем не возникнет.
Хотите быстро вкатиться в создание нейро-арта на профессиональном уровне? Онлайн интенсив по Stable Diffusion ждет вас.
Список моих полезных ресурсов:
Арт-нейросети от Nerual Dreming основной телеграм канал по нейросетям - подпишитесь, чтобы быть в курсе!
Nerual Dreming на YouTube тут проводятся стримы и выкладываются гайды - подпишитесь!
Nerual Dreming на Boosty - записи всех стримов, ххх сеты, ассеты и секретные гайды только для подписчиков, и доступ в чат для самых продвинутых.
ЧЕЛЛЕНДЖИ - группа с новыми нейро-челенджами каждый день - участвуй!
СКЛАД - все, что нужно для вашей нейросети: лоры, модели, эмбединги - осторожно, там нет цензуры.
Чат нейро-операторов - общайтесь, задавайте вопросы, делитесь опытом с более чем 700 нейро-операторами.
Илон Маск обвиняет OpenAI в нарушении соглашения и предательстве интересов человечества в пользу прибыли Microsoft. В этом обзоре мы рассмотрим историю OpenAI, суть претензий Маска и почему этот иск может стать важным прецедентом в отношении ответственности компаний, разрабатывающих технологии общего искусственного интеллекта (AGI).
История OpenAI
OpenAI была основана в 2015 году Илоном Маском, Сэмом Альтманом и Питером Тилем. Целью организации было обеспечить направить развитие исскуственого интеллекта на пользу человечества, а не в вред. OpenAI занималась исследованиями в области ИИ и разработкой технологий AGI, при этом стремясь к соблюдению принципов открытости и прозрачности.
Партнерство OpenAI и Microsoft
В 2019 году OpenAI объявила о партнерстве с Microsoft, в рамках которого компания инвестирует 1 миллиард долларов в развитие технологий AGI. Это решение вызвало критику со стороны некоторых экспертов, которые опасались, что OpenAI теперь будет работать в интересах Microsoft, а не в интересах человечества.
Претензии Илона Маска
В марте 2023 года OpenAI выпустила свою последнюю модель GPT-4, которая является закрытой, Microsoft планирует использовать GPT-4 для извлечения прибыли. В иске, поданном в Высший суд Сан-Франциско, Маск утверждает, что OpenAI превратилась в "де-факто закрытое дочернее предприятие крупнейшей технологической компании в мире: Microsoft". По словам Маска, компания нарушила свою первоначальную приверженность общедоступному, открытому исходному коду искусственного общего интеллекта (AGI) и теперь развивает технологии AGI исключительно для максимизации прибыли Microsoft.
Маск требует, чтобы OpenAI вернулась к открытому исходному коду и прекратила любые попытки монополизировать технологии AGI. Он также просит суд наложить запрет на любые попытки Microsoft извлекать прибыль из технологий AGI, разработанных OpenAI.
Значение дела
Этот иск вызывает серьезные вопросы о будущем и этичности развития технологий AGI. Если OpenAI и Microsoft действительно нарушают свои обязательства перед обществом и преследуют исключительно коммерческие интересы, то это может представлять угрозу для безопасности и благосостояния всего человечества.
Кроме того, этот иск может стать важным прецедентом в отношении ответственности компаний, разрабатывающих технологии AGI или искусственного интеллекта, и покажет, насколько важно соблюдение принципов открытости и прозрачности в этой области.
В настоящее время OpenAI и Microsoft не комментируют ситуацию. Дело будет рассматриваться в Высшем суде Сан-Франциско.
Заключение
Иск Илона Маска против OpenAI может стать важным прецедентом в отношении ответственности компаний, разрабатывающих технологии AGI. Этот иск поднимает важные вопросы о будущем и этичности развития искусственного интеллекта и показывает, насколько важно соблюдение принципов открытости и прозрачности в этой области. Я буду следить за развитием этого дела и информировать вас о самых интересных поворотах.
TemporalKit не в реальном времени.
На какие старые игры вам хотелось бы посмотреть в обработке?
Больше нейро-новостей в нашем сообществе Stable Diffusion на Пикабу.
И в моем телеграм канале посвященным нейро-сетям.
Видео взято из канала Арт-нейросети от Nerual Dreming
Друзья, всем привет. На волне успеха фильма Барби умельцы сделали простенький, но очень прикольный онлайн сервис, с помощью которого вы можете превратить любую фоточку в Барби или Кена. Я прогнал через сервис несколько фотографий известных актеров, пишите в комментариях кого узнали! Инструкция в конце.
Ну и себя конечно, тоже =)
Поехали тестировать сервис, заранее подготовьте несколько фотографий на которых хорошо и четко видно лицо.
Как работает сервис, все супер просто, выбираете пол - Барби или Кен соответственно женский или мужской. Выбираете цвет волос, на выбор у нас красный, черный, блонд и брюнет. Выбираете цвет кожи, светлый, загорелый, темный. Выбираете расу, белую, черную, азиат, латинос. Загружаете фото и нажимаете кнопку. Через несколько минут преображение в барби будет завершено и вы сможете скачать получившуюся фотографию.
Естественно мы не будем платить 2 доллара за то, чтобы избавиться от водяного знака, вместо этого мы отправимся на бесплатный сервис для удаления водяных знаков. Просто загрузите туда картинку с водяным знаком и через мгновенье сможете скачать чистую картинку без водяного знака.
А на этом у меня все, мне очень понравился этот простой сервис, у которого под капотом без сомнения Stable Diffusion. Развлеките себя и друзей и конечно скидывайте результаты в наш чатик.
Подпишитесь на мой основной телеграм канал, чтобы не пропускать интересные новости нейросетей. Или подпишитесь сразу на все мои проекты в удобной папке.
Друзья, ControlNet творит чудеса. И сегодня я научу вас как творить чудеса с освещением и включать несколько слоев ControlNet одновременно, это даст нам огромный простор для творчества, а еще очень понравится фотографам.
Вы научитесь делать так же
Что нам потребуется:
1. Актуальный Automatic 1111 с установленным и активированным ControlNet в коллабе или локально.
2. Изображение на котором мы будем менять свет, у меня Бунтарка, у вас может быть что угодно. 3. Пресеты для света бесплатно выложены на Бусти, просто нажми скачать. Можешь нажать "отслеживать" чтобы не пропустить мои новые стримы и видео 😜
По всему интернету для вас собирал мои пирожочки
Первым делом нам понадобится сгенерировать то, с чем мы будем играться, я взял Бунтарку вот из этого сета.
Бунтарка - обученная на синтетическом дата-сете текстовая инверсия.
Вот что у меня получилось.
Теперь отправляем все кнопкой в img2img, чтобы перенести настройки и промпт.
И тут мы делаем непривычное - загружаем не ту фотографию с которой будем работать, а маску для света из пака выше.
Я уже по-генерил, но у вас тут фоток справа не будет.
Затем опускаетесь в ControlNet, тут нам надо нажать галку Enable, для активации, выбрать препроцессор depth_leres и модель depth, разрешение анотатора LeReS Resolution ставьте такого же размера по самой большой стороне как и ваша фотография, у меня 768. И собственно загружаем нашу фото основу.
Знаете ли вы, что с помощью настройки Remove Background % можно очень хорошо вырезать персонажа с фона? Теперь знаете, поиграйтесь.
Задаем наши любимые параметры генерации, у меня это будет 2м Карась, выставляем размеры равные размеру нашего изображения загруженного в ControlNet. Denoising strength ставим на 0.90.
Настройки вполне стандартные
Теперь генерируем несколько вариаций с дефолтным светом и выбираем ту с которой будем играться, у меня будет вот эта
Включаем свет
Теперь у нас есть отправная точка, фиксируем сид и изменяем свет. Для этого надо нажать на карандашик рядом с крестиком.
Хватаем сетку за краюшек и двигаем куда хочется, мне хочется в лево.
Генерируем, теперь свет у нас с другой стороны.
Электричество кончилось
А теперь сделаем источник света уже и обрежем.
Как будто-то свет из окна
Еще раз меняем конфигурацию света, чтобы получить полностью совещенный кадр.
Включаем свет
Теперь все освещено.
И если снова захотим выключить свет, то можем просто сдвинуть квадратик на черную область.
И света снова нет.
Кто балуется с выключателем?
А еще мы можем загрузить совсем другие карты освещения, например в виде сердечек и в один клик получить потрясающий эффект на фото. Настройки ControlNet даже не меняем.
Просто меняем картинку уменьшаем деноизинг, чтобы сердечки проступали на фото
Милота и как мы любим в один клик
Или можем например сделать луну из окна и свет свечи сбоку, надо просто выбрать карту освещения по интереснее, я сейчас как раз собираю пак разных карт, эффектов и фонов для ControlNet и тоже залью на бусти, так что подпишись, чтобы не пропустить.
Собрал уже более сотни различных текстур и эффектов
Луна сверху, свеча сбоку, как на карте.
Что мы еще можем сделать, например можем загрузить текстуру огня и устроить пожар.
Этот и другие эффекты скоро тоже выложу
Очень мягкий и уютный свет, как на закате
А если уменьшим деноизинг еще сильнее, до 0.5, то буквально сожжем Бунтарку, как Жанну Д`арк
Гори, гори ясно
С учетом возможности включения многослойного ControlNet, это дает нам неограниченные возможности. Как вы не знали, что можно включить несколько слоев?
Сейчас расскажу, все очень просто. Идем в Settings, находим слева ControlNet, находим ползунок Multi ControlNet: Max models amount (requires restart), сдвигаем на сколько нам надо (помните что каждый слой это время и ресурсы видеокарты), мне пока хватает двух, но можно включить до 10 и комбинировать различные модели и препроцессоры. Для активация потребуется перезапуск web-ui.bat.
Что мы можем с этим сделать, а давайте включим еще один ControlNet, я возьму картинку из будущего пака с фонами, текстура листиков и открою её вместе с моделью depth и препроцессором depth_leres, уменьшу вес модели, выкручу вырезание фона у листиков.
Это уже второй слой, вон сверху написано
И в качестве результата у меня будет свет загруженный в img2img, персонаж вытащенный картой глубины с первого СontrolNet и листики со второго.
Легко и просто правда
А на этом у меня все друзья, скидывайте примеры ваших работ и ваши кейсы использования различных слоев ControlNet, возможности его применения просто поражают воображение, думаю мы еще долго будем открывать новые не стандартные методы применения ControlNet и различных вариаций препроцессоров и моделей. Увидимся на стримах.
----
Мой телеграм канал, все секреты и советы, мои работы, нейро-новости, промпты, ссылки на стримы и многое другое только в нем, подпишитесь!
В чате нейро-операторов, можно попросить картинку, поделиться опытом или задать вопрос.
Записи моих обучающих стримов доступны на Бусти, там же выложены ххх сеты и можно получить доступ в секретный чат, где я буду учить тебя генерить в ламповой и уютной атмосфере.
Мои видео уроки по Stable Diffusion можно посмотреть на YouTube, подпишитесь, чтобы не пропустить новые ролики.