Альтернативное применение нейросети ESRGAN

Тут недавно был пост, который очень меня зацепил.

https://pikabu.ru/story/neyroseti_sposobnyi_reanimirovat_sta...

Я поставил эту штуку и проводил различные опыты. Короче, наиболее хороший результат получается, когда картинка не зашакалена. Вот хороший пример с текстурой из Sims 4:

Альтернативное применение нейросети ESRGAN Нейронные сети, Esrgan, Видео, Фильмы, Будущее, Длиннопост
Альтернативное применение нейросети ESRGAN Нейронные сети, Esrgan, Видео, Фильмы, Будущее, Длиннопост

Но не было бы этого поста, если бы я не решил пойти дальше и не сделать такое с каждым кадром в видео маленького размера. Сделал такое с 2 короткими роликами. Для этого был произведён распил на кадры софтом DeepFaceLab, обработка ESRGAN и сборка обратно опять же дипфейком.


Вот, например, один из них:

Как видите, уже что-то интересное.

Но далее я покусился уже на большее, практически, целый фильм с разрешением 672*288. На участок длиной в 20 минут потребовалось 22 часа обработки в ESRGAN (30000 кадров). Результат по-человечески загрузить куда-либо не могу, так что держите пример:

Альтернативное применение нейросети ESRGAN Нейронные сети, Esrgan, Видео, Фильмы, Будущее, Длиннопост
Альтернативное применение нейросети ESRGAN Нейронные сети, Esrgan, Видео, Фильмы, Будущее, Длиннопост

Фильм называется Мыслитель из Хавукка-Ахо.


В чём же вывод? Так можно обрабатывать старые фильмы для более комфортного просмотра. Мне хочется так обработать «Магистраль», например, но для неё нужно очень много видеопамяти. А ещё остаётся только мечтать о том, чтобы появились скейлеры, которые это будут делать «на лету», а не со скоростью 1 кадр в 2 секунды.