Инструкция: Улучшения видео нейросетями (подробный гайд)
Посмотрев несколько видеороликов Дениса Ширяева, вдохновился попробовать улучшить свой видеофрагмент, и какого было мое разочарование узнав, что человек который уже фактически является мастером этого ремесла, тратит столько времени на эту сферу (судя по количеству роликов на его канале) - не сделал ни одной инструкций по этому процессу.
Anyway, хочу поделиться своими знаниями, полученными неделей поисков решений, проб и ошибок, ожидании рендеринга.
Весь процесс состоит из 4 этапов:
(Почему именно в таком порядке - объясню в конце)
1) Покраска
2) Увеличение FPS
3) Разрешение 4К
4) Чистка дефектов
В начале каждого этапа, буду указывать:
- Название программы
- Ссылку где скачать (если она бесплатная)
В конце каждого этапа:
- Ссылку на автора урока
- Технические результаты
- Затраченное время
Система (бюджетная):
AMD Ryzen 3300X
ОЗУ - 16 Гб
MSI GeForce GTX 1650
Потребуется примерно 10-15 Гб места на жестком диске - за 1-о минутное видео.
Оригинал - 960х720 / 30 FPS / 72,6 Мб
1) Покраска ~ 30 мин
Переходим по этой ссылке и нажимаем на кнопку (внизу страницы) как на картинке.
Затем:
1 - Заходим на свой аккаунт Google
2 - Подключаемся к серверу
3 - Сохраняем проект себе на Google Диск
4 - Спускаясь все включаем по очереди, дожидаясь загрузки каждого отдела
Далее:
1 - Указываем ссылку на ваше видео в YouTube
2 - Запускаем процесс
Если видео большое, нужно разделить его на несколько частей.
Свое я нарезал по 10 секунд.
В качество 35 (render_factor), 10 сек (960х720 / 30 FPS) рендерится - 4 мин.
2) Увеличение FPS ~ 2 часа
DAIN_APP - бесплатная
https://grisk.itch.io/dain-app
Рекомендую сначала перезагрузить компьютер и не открывать ничего, кроме данной программы.
Распаковываем архив, запускаем этот файл:
Не закрывайте черное окно.
Тут всего три шага:
1 - Нужно выбрать ваше видео
2 - Место куда сохраниться файл
3 - Запуск процесса (по умолчанию увеличивает FPS в два раза)
Настройки увеличения FPS, если нужно увеличить более двух раз:
Ошибки вида:
Означают нехватку видеопамяти, заходим в настройки показанные ниже и (до запуска процесса) уменьшаем разрешение видео:
При моей конфигурации допустимая высота видео - 600 пикселей.
800х600 / 60 FPS / 34,8Мб
3) Разрешение 4К ~ 4 часа
Topaz Video Enhance AI - платная
(Поиск в сети)
Выбираем все настройки - как на картинках:
Рекомендую не менять место сохранения - у меня после этого вылетала программа.
3840x2160 / 60 FPS / 3,31 Гб
4) Чистка дефектов ~ 3 часа (суммарно)
Flicker Free - плагин для Adobe Premiere Pro
(Поиск в сети)
1 - Устанавливаем плагин
2 - Применяем на видео
В различных уроках советуют оставлять стандартные настройки.
3 - Ставим галочку рядом с Detect Motion
4 - Экспортируем видео
Лучше провести процесс чистки 2 раза.
3840x2160 / 60 FPS / 70,3 Мб
5) Дополнительные эффекты
Цветокоррекция - Adobe Premiere Pro
Удаление шума из аудио - Audacity (бесплатная)
Эффект до / после - стандартные эффекты Adobe Premiere Pro
Результаты:
3840x2160 / 60 FPS / 71 Мб
~ 9-10 часов
Уверен можно добиться лучших результатов если поиграться с настройками.
Ошибочные пути:
Попытка 1) Сначала увеличил видео в 4K, потом попытался поднять FPS до 60 - максимально допустимое разрешение для моей системы видео высотой 600 px .
Попытка 2) Поднял FPS, потом увеличил видео в 4K, затем провел чистку и попытался покрасить - нейросеть DeOldify тоже очень ресурсоемкий.
Попытка 3 (Финальная) Сначала покрасил видеофайл, потом поднял FPS, затем увеличил разрешение до 4K, провел чистку и добавил эффекты.
Выводы:
1) Для серьезного увлечения этой сферой - нужен очень мощный PC.
Улучшать 1 минутное видео 10 часов - приносит радость и удовлетворение только в первый раз.
2) В сети на эту тему крайне мало уроков (особенно на русском языке), либо специалисты не хотят делиться своими знаниями, либо заинтересованных редакторов и читателей не слишком много, в любом случае из - за этого приходится искать информацию обрывками.
Возможно, порядок этапов улучшение видео - другой, но опять же, в сети на эту тему нет никакой информации.
Если вы также как и я, хотели сконвертировать "Metropolis" (1927) Фрица Ланга до цветной версии в 4K и 60 FPS - сейчас все еще слишком рано.
Надеюсь мой пост был полезным и максимально доступным. Peace.