Всем привет, небольшой обзор интересных нейросетей, основной акцент сделан на доступность и возможность попробовать без каких-либо знаний.
Мой предыдущий пост на Pikabu:
Как улучшить изображение нейросетью 2021: обзор новых сервисов без смс и регистрации.Получил очень много + , за это всем пикабушникам спасибо, Вы лучшие =)
Данный пост получился длинным, но вроде +- познавательно и интересно.
p.s. Я не являюсь программистом, многие термины и формулировки могут быть нюбскими, основная цель доступно донести как можно просто и удобно использовать нейросети. 1. Удаляем фон на видео (green screen).
Недавно был опубликован алгоритм Robust Video Matting (RVM) от ByteDance Inc - создатели тикток, основная фишка в том, что в отличие от существующих нейронных моделей, которые обрабатывают кадры как независимые изображения, RVM использует рекуррентную нейронную сеть для обработки видео с временной памятью. RVM может выполнять матирование в режиме реального времени на любых видео без дополнительных входов. Он обеспечивает скорость 4K 76FPS и HD 104FPS на графическом процессоре Nvidia GTX 1080 Ti.
Код -
https://github.com/PeterL1n/RobustVideoMattingВидео обзор -
YoutubeСравнение алгоритма (eng) -
Youtube (Если хочется на ру, запустите в ябраузере и заюзайте перевод видео)
Попробовать -
https://huggingface.co/spaces/akhaliq/Robust-Video-Matting Внимание! В данный момент сервис не работает, скорее всего в будущем обновят.
Попробовать Web Camera -
https://peterl1n.github.io/RobustVideoMatting/#/demoПопробовать Colab (можно закачать своё видео) -
Colab Для тех кто боится этих колабов, нюб обзор предоставляется, кому это не интересно, придется немного пролистать вниз.
Google Colab — это бесплатный облачный сервис на основе Jupyter Notebook. Google Colab предоставляет всё необходимое для машинного обучения прямо в браузере, даёт бесплатный доступ к невероятно быстрым GPU и TPU.- переходим по ссылке Colab, что указана выше.Колаб состоит из блоков, которые надо запускать последовательно, пока не завершит работу запущенный блок следующий не запускать. К каждому блоку чаще всего добавляют описание, важно читать. - Запускаем первый блок, ниже появится кнопка добавить видео, добавляем, ждём окончания выполнения блока.
- Так визуально выглядит статус окончания выполнения блока.
- Второй блок в этом колабе пропускаем.
"Option 2: Try our demo video"
- Далее запускаем поочередно все остальные блоки, можно свернуть их в один большой блок и запустить.
- Ждём окончания, на 10 сек видео при тесте потратилось 50сек.
Результат находится в файле "com.mp4: The matting result composited on top of a green screen background."
Слева жмём папку, открываем, видим файл.
- Готово, Вы великолепны (^▽^)
Второй вариант удалить фон на видео через мобильное приложение CapCut, плюс сразу заменить фон (видео в шапке поста).
- Качаем приложение
CapCut, естественно есть различные моды без рекламы и тд.
Жмём новый проект → Добавляем фото/видео(это будет фон) → Жмём "Наложение-добавить наложение" находится снизу в панели инструментов → выбираем видео → выделяем видео, ищем снизу "удалить фон" → масштабируем, перемещаем, добавляем ещё видео если надо, Готово.
Мысли: CapCut сотрудничает с TikTok, вполне возможно алгоритм описанный выше присутствует в данном приложении, возможно с какими-то ограничениями.
2. Превращаем рисованных героев в людей.
Для данной манипуляции мы используем StyleCLIP: Text-Driven Manipulation of StyleGAN Imagery.
Код - https://github.com/orpatashnik/StyleCLIP
Попробовать - https://replicate.ai/orpatashnik/styleclip
Нейронка изменяет фото с помощью текстовых описаний, в процессе рисования изменного фото происходит очеловечивание, важно что бы на фото было найдено лицо.
Пример использования:
- Взяли такое вот изображение.
- Далее нам надо убедиться, что на изображение имеется лицо (для нейронки).
Я использую для этого бот https://t.me/deeppaintbot так как там стоит очень чувствительный поиск лица и сразу улучшаю его.
Если бот нашёл лицо, он выдает фото до/после, эти фото имеют разрешение 512x512, что нам хорошо подходит.
- Берём улучшенное лицо и грузим в сервис.
!Выставляем текстовые подсказки: Toon,Photo
- Запускаем, Другие параметры не трогаю.
И котик превращается ...
Ну и основная функция StyleClip это изменение фото согласно тексту.
Подробнее о ней в видео Youtube
Примеры текста:
neutral = face, target = male face
neutral = face, target = sad face
target = hair afro
и тд.
3. Stylegan-Nada (редактора фото с помощью текста).
Код - https://github.com/rinongal/StyleGAN-nada
Попробовать - https://replicate.ai/rinongal/stylegan-nada
Заходим по ссылке, грузим фото с лицом, что бы сделать сразу все стили ничего не меняем, получим фотоколлаж.
Что бы сделать видео, ставим галочку generate_video.
Если вы сделали коллаж, можно выделить интересный результат(обрезать) и заюзать бота, в целом если выбирать один стиль получается хорошее разрешение.
Делитесь результатами в комментариях, пробуйте разные текстовые описания, нейросети это интересно! ٩(。•́‿•̀。)۶