Polygon - Midnight
Мои ссылки: телеграм канал, чат нейро-операторов, записи стримов на бусти, гайды на youtube канале.
Мои ссылки: телеграм канал, чат нейро-операторов, записи стримов на бусти, гайды на youtube канале.
Просто приятный трек с гифкой сделанной в SD
Кстати, могу научить использовать FFMPEG чтобы склеивать короткие мп4 и мп3 вместе, простая команда - для упрощения назовите свою гифку и мп3 просто цифрами откройте CMD в нужной папке и введите ffmpeg -stream_loop -1 -i 3.mp4 -i 3.mp3 -c:v copy -c:a copy -shortest output.mp4
Иногда если мп3 битая он может конвертировать бесконечно, имейте ввиду, у меня так пару раз место закончилось на диске.
Мои ссылки: телеграм канал, чат нейро-операторов, бусти.
Друзья, один из участников нашего нейро-комьюнити сделал расширение которое существенно упрощает для нас пайп с гифками.
Теперь вы сразу можете загрузить видео на вход и получить измененное с помощью ControlNet видео на выходе, больше не надо конвертить видео с ютуба в гиф и обратно.
Функционала пока не много только FPS, но будем надеяться что автор продолжит развивать этот скрипт, он очень полезен.
Выражаем большую признательность и благодарность участнику filarius.
Расширение доступно на гитхабе автора: https://github.com/Filarius/video2video
Устанавливаем так же как и все расширения указав ссылку на гитхаб на вкладке Extensions - Install from URL, не забываем перезагрузить юи. Автор говорит, что даже FFMPEG отдельно ставить не надо, все само заведется.
Помните, что устанавливая пользовательские расширения что-то может пойти не так, делайте это лишь в том случае, если сможете потом все с нуля переустановить.
Мои ссылки: телеграм канал, чат нейро-операторов, бусти.
Друзья, я понял, что один не смогу протестить все возможные варианты для простой и быстрой генерации классной гифки на основе собственного персонажа.
Поэтому давайте использовать наше секретное супер-оружие, наш коллективный нейро-разум. Сейчас я вас научу. И каждый попробует свои варианты и вместе мы в разы быстрее найдем оптимальные настройки и характеристики, так развивается и работает опенсорс мы тоже можем применять этот подход.
Что нам понадобится:
1. Раскадровка гифки, одна штука. Как сделать, взять готовую гифку с интернетов, и раскадрировать любым доступным способом, я это делаю в Adobe Primer, можно сделать и онлайн гайд например вот https://comp-doma.ru/kak-razbit-video-na-kadry-online.html
2. Актуальный Automatic 1111 с расширением ControlNet и моделями к нему, или еще есть облегченная версия моделей, тоже должна работать так же. Как работает ControlNet и как установить в этом видео. Можно и в коллабе.
Что нам надо от гифки, чтобы её фон не сильно менялся, чтобы сами движения персонажа не пересекались между собой, т.е. руки и ноги, это пока работает плохо. Я возьму вот такую гифку, разрешение у неё не очень, но нам это не принципиально мы будем генерировать в большем разрешении.
Теперь я раскадрирую гифку в Adobe Primer, но вам подойдет и способ по проще из пункта 1.
У меня получилось вот так, что-то подобное должно быть и у вас. Важно чтобы кадры были не смазанными и хорошо читались.
Подготовка исходника завершена.
Открываем txt2img и задаем промпт, генерируем пока у нас не появится персонаж который сможет занять место на гифке.
Отправляем все кнопкой в img2img, чтобы перенести и настройки генерации.
Я попробую сделать гифку на основе модели openpose, вы попробуйте в разных моделях и с разными настройками. Про разные модели рассказываю в видео. И не забывайте про галку Enable, без неё расширение не включено.
В img2img выставляем ваши любимые настройки, тут у нас задача поставить такой Denoising strength и так скорректировать промпт, чтобы персонаж нормально рисовался на кадре из гифки, пробуем несколько разных кадров, смотрим чтобы все ложилось. Я зафиксирую сид. Но это не обязательно и не то чтоб сильно помогает.
И теперь важный момент без которого ничего не будет работать, разработчик ControlNet явно хороший парень, но у него как и у многих не отбит педрильник (да я взял эту фразу сами знаете у кого). У меня пол дня ушло чтобы понять почему не работает пакетная генерация, оказалось все очень просто, этот отличный парень в пакетном режиме не сделал сохранение для карты которую генерирует для каждого изображения ControlNet и автоматик просто крашился не зная что делать с лишней картинкой. Исправлять это по законам жанра решили костылями. Идем в Settings, находим в списке слева ControlNet и ставим галку Do not append detectmap to output, теперь созданные для каждого изображения карты не будут сохраняться и проблема как бы решилась сама собой 🙄
Возвращаемся в img2img, где у нас все готово и открываем вкладку Batch, тут мы указываем папку в которой лежит раскадровка от гифки и выходную папку куда сохранится результат. При желании можно еще сгенерировать маску, например через Depth и указать путь к маскам, но это сами уже попробуйте и расскажите что получилось.
Можем генерировать.
Напоминаю, что все скрипты доступные для img2img доступны нам и в пакетном режиме, одновременно с ControlNet. Так что дальше дело ограничивается только вашей фантазией.
А у нас тем временем все готово, на выходе папка с кадрами, теперь надо собрать все обратно. Можно использовать любой видео редактор, Photoshop или вот эту онлайновую штуку, гифку ниже я сделал в ней.
Друзья, вот такой результат получился у меня.
Чего бы мне хотелось добиться, это не допускать мельтешения и сильного изменения, психоделии, но если уменьшать деноизинг то ничего не остается от нашего персонажа.
Используя ControlNet мы можем ставить деноизнг даже на единицу, чего я никогда не делал при обычно img2img, и получать полное дублировании позы через любую из моделей, но от этого тоже постоянно изменяется фон и одежда.
Поэтому если кто-то найдет оптимальную комбинацию настроек, или может быть какой-то правильный способ подготовки исходника, чтобы можно было быстро добиться более хороших результатов - дайте мне знать. Возможно собака зарыта в настройках ControlNet, весов или в одной из моделей.
Думаю вместе мы быстрее найдем нужный пайплайн. Жду ваши работы в комментах и в чатике.
UPD: Скрипт gif2gif позволяет значительно ускорить процесс убирая из пайплайна нарезку гифок на кадры и сборку их обратно. Все предельно просто устанавливаем как и все рассширения через Extensions, делаем Applay UI и в скриптах в img2img появляется новый скрипт.
Там все просто загружаете свою гифку, можно добавить интерполяцию или ускорить/замедлить, сразу в интерфейсе видите результат, скрипт полностью совместим с ControlNet.
---
Мой телеграм канал, все секреты и советы, мои работы, промпты и многое другое только в нем.
В чате нейро-операторов, попросить картинку, поделиться опытом, задать вопрос сюда.
Поддержать меня можно на Бусти, там выложены лучшие сеты и можно получить доступ в секретный чатик.
До этого я выкладывала персонажей семейки Аддамс, сгенерированные нейросетью. И решила пойти дальше и придать Уэнсдэй немного анимации. Добавила ее цитату из сериала.
Как по мне, так выглядит прикольно)
Только голоса пока хромают, на английском они более человечные.
Капитан Одноногий был известным пиратом, которого боялись все, кто плавал по морям. Но даже у него были свои слабости, и одна из них - сладкое пристрастие к жвачке. Поэтому, когда он услышал в местном продуктовом магазине об особенно сочной и вкусной марке, он понял, что должен ее получить.
Вместе со своим приятелем, комароподобным Тони, известным всем как Маскито, он отправился в магазин в поисках жвачки. Они пробрались внутрь через окно, стараясь не попадаться на глаза продавцу.
Оказавшись внутри, капитан Одноногий зашагал на своей деревянной ноге, положив руку на рукоять тесака, готовый к любым неприятностям, которые могут возникнуть на их пути. Маскито тем временем рыскал по магазину, его длинный нос вынюхивал их добычу.
Когда они подошли к проходу с жевательной резинкой, перед ними внезапно возник хозяин магазина, грузный мужчина с кустистой бородой и ружьем в руках.
"Что, по-вашему, вы здесь делаете?" - закричал хозяин магазина, направив ружье на двух нарушителей.
Капитан Одноногий стоял на своем, его рука по-прежнему лежала на тесаке. "Мы пришли за жвачкой", - сказал он, его голос был низким и грозным.
Кладовщик рассмеялся. "Вы уйдете с пустыми руками, негодяи", - сказал он. "Я не потерплю воровства в своем магазине".
С молниеносной быстротой капитан Одноногий выхватил свой меч и бросился на кладовщика, а Маскито с визгом бросился наутек. Они сцепились в жестокой схватке на мечах, их клинки звенели в узком проходе.
Как раз в тот момент, когда капитан Одноногий, казалось, одержал верх, в магазин ворвалась группа горожан, крича, чтобы лавочник выдал им пирата. Капитан Одноногий и Маскито были быстро окружены, бежать было некуда.
Но капитан Одноногий был не из тех, кто легко сдается. С яростным боевым кличем он пробился сквозь толпу, его тесак сверкал в тусклом свете магазина. Маскито следовал за ним, его крошечный голос подбадривал его.
Они бежали в ночь, все еще сжимая в руках жвачку. Когда они скрылись в темноте, то услышали за спиной ругань и крики горожан.
С того дня легенда о капитане Одноногом и Маскито продолжала жить, их имена шептали вполголоса моряки и торговцы. И хотя они были известны как воры и негодяи, нельзя было отрицать храбрости и хитрости, которые позволили им сбежать с желанной жвачкой.
Продолжение следует....
Источник: https://dzen.ru/a/Y-JaJK-_-TCsahPq
Одна вакансия, два кандидата. Сможете выбрать лучшего? И так пять раз.
Нейросети генерируют бесконечный сериал — его можно посмотреть в трансляции (https://www.twitch.tv/watchmeforever) на твиче. Nothing, Forever — пародия на старые ситкомы. Есть и закадровый смех, и перебивки с адресными планами, и компания друзей, живущих в одной квартире.
💭За диалоги отвечает GPT-3, а картинку создают нейросети Stable Diffusion и DALL-E. Пока сериал выглядит абсурдно, с нелогичными разговорами и странными персонажами. Зато идет бесконечно. В общем, полноценная замена «Дому-2».
Источник: innovations.ru