Альтернативное применение нейросети ESRGAN
Тут недавно был пост, который очень меня зацепил.
https://pikabu.ru/story/neyroseti_sposobnyi_reanimirovat_sta...
Я поставил эту штуку и проводил различные опыты. Короче, наиболее хороший результат получается, когда картинка не зашакалена. Вот хороший пример с текстурой из Sims 4:
Но не было бы этого поста, если бы я не решил пойти дальше и не сделать такое с каждым кадром в видео маленького размера. Сделал такое с 2 короткими роликами. Для этого был произведён распил на кадры софтом DeepFaceLab, обработка ESRGAN и сборка обратно опять же дипфейком.
Вот, например, один из них:
Как видите, уже что-то интересное.
Но далее я покусился уже на большее, практически, целый фильм с разрешением 672*288. На участок длиной в 20 минут потребовалось 22 часа обработки в ESRGAN (30000 кадров). Результат по-человечески загрузить куда-либо не могу, так что держите пример:
Фильм называется Мыслитель из Хавукка-Ахо.
В чём же вывод? Так можно обрабатывать старые фильмы для более комфортного просмотра. Мне хочется так обработать «Магистраль», например, но для неё нужно очень много видеопамяти. А ещё остаётся только мечтать о том, чтобы появились скейлеры, которые это будут делать «на лету», а не со скоростью 1 кадр в 2 секунды.
