«Тайна третьей планеты» HD-ремастер нейросетями

сравнение оригинал-ремастер

«Тайна третьей планеты» HD-ремастер нейросетями Тайна третьей планеты, Нейронные сети, Машинное обучение, Мультфильмы, HD, Видео

Как это сделано:


Использовались следующие технологии:


FFMPEG
ESRGAN
Gigapixel AI

Смотрим доступные форматы на ютубе


youtube-dl -F https://www.youtube.com/watch?v=%D0%98%D0%94%D0%95%D0%9D%D0%A2%D0%98%D0%A4%D0%98%D0%9A%D0%90%D0%A2%D0%9E%D0%A0

Качаем нужные форматы (аудио и видео)


youtube-dl -f 11 https://www.youtube.com/watch?v=%D0%98%D0%94%D0%95%D0%9D%D0%A2%D0%98%D0%A4%D0%98%D0%9A%D0%90%D0%A2%D0%9E%D0%A0

Проверяем фреймрейт файла


ffprobe -v error -select_streams v -of default=noprint_wrappers=1:nokey=1 -show_entries stream=r_frame_rate input.mp4

Раскадровка


ffmpeg -i "input.mp4" -start_number 0 -vf fps=25 "convert/capture-%002d.png"

Далее стандартная процедура увеличения кадров с помощью нейросети.


Склеивание из png + аудио


без заданного разрешения - ffmpeg -framerate 25 -i convert/capture-%002d.png -vb 20M -i audio.webm -vcodec mpeg4 -y "ffmpegtest.mp4"
с заданным разрешением - ffmpeg -framerate 25 -s 900x720 -i convert/capture-%002d.png -vb 20M -i audio.webm -c:v libx264 -pix_fmt yuv420p -crf 23 -y "ffmpegtest3.mp4"

автор ремастера: Евгений slimper

источник: https://www.reddit.com/r/GameUpscale/comments/a7msxo/getting...

Всё о кино

19.8K поста58.2K подписчик

Добавить пост

Правила сообщества

1. Запрещено нарушать основные правила Пикабу (нет спаму, оскорблениям, вбросам, рекламе, политике).

2. Запрещены посты не по теме, посты о поиске фильмов и неинформативные посты. В случае несоответствия тематике сообщества или неинформативности пост будет удален в общую ленту.

3. Категорически запрещены спойлеры без специального тега или предупреждения как в постах, так и в комментариях.

4. Ставьте корректные теги при создании поста и указывайте в названии суть. Для постов с видеообзорами обязательно указывать тег "видеообзор". Для постов с видео c Youtube рекомендуется указывать название канала в тегах и небольшое описание, чтобы было понятно о чём это видео.

5. Запрещено целенаправленное разжигание негатива с отсутствием всякой аргументации. Авторы регулярных токсичных и агрессивных комментариев будут блокироваться. Давайте поддерживать дружественную атмосферу и уважать друг друга.

6. Будьте грамотны при составлении поста. В случае множественных ошибок в тексте пост будет удален в общую ленту, а автор, в случае неоднократного несоблюдения правил, заблокирован.

7. В сообществе не приветствуются фэйки, вбросы, теории заговора, конспирология и параноидальные бредни.

8. Запрещены посты о ТВ-шоу и реалити-шоу сомнительного качества в очевидно рекламных целях.

Вы смотрите срез комментариев. Показать все
2
Автор поста оценил этот комментарий

А до FullHD, 4K можно допилить таким макаром? или у нейросети есть ограничения?

раскрыть ветку (3)
5
Автор поста оценил этот комментарий

Я развлекался таким (методику использовал такую же но в качестве нейросети использовал waifu2x). Ограничений нет. Хоть 16К делай. Состаришься пока она всё обсчитает, но технических ограничений нет.


Проблема в другом. Нейросеть то конечно может посчитать 16К но ей для этого все равно нужны исходные данные. То есть она пытается дорисовывать, но если увеличивать во много раз она дорисовывает всякую ересь. То есть например я взял картинку. Уменьшил её в 8 раз, а потом нейросетями обратно увеличил в 8 раз. Результат конечно лучше, чем если бы я увеличивал бы обычными алгоритмами. Но чуда не случилось и нейросети насажали столько артефактов, что толку от разрешения никакого.


По могу сказать, что для waifu2x предел это 2-4 раза. Дальше уже особо смысла нет, они начинают такую ересь дорисовывать, что лучше не надо.

Иллюстрация к комментарию
Иллюстрация к комментарию
раскрыть ветку (1)
2
Автор поста оценил этот комментарий

Покажи дичь

1
Автор поста оценил этот комментарий
Можно и 360р до 8к растянуть. Вот только результат будет мягко говоря не очень)) Это по сути интерполяция изображения, нейросеть пытается угадать промежуточные пиксели, чем больше пикселей нужно угадать (по отношению к общему числу пикселей) тем хуже будет результат
Вы смотрите срез комментариев. Чтобы написать комментарий, перейдите к общему списку