Предварительные кадры грядущей 2й части. Делал из Blu-Ray. На скринах лишь маленькая область от полного кадра, если что.
Прикладываю кусок видео, тут есть этот кусок в оригинале: https://vk.com/public199553164
Дорожку планирую поставить от НТВ, норм?
Может это я дефективный, но для меня фильмы в 60 фпс выглядят как-то странно. Точнее они начинают выглядеть как какой-то сюжет с новостей первого канала, а не художественный фильм.
это предварительные кадры, будет допиливаться еще. да и в динамике этого вообще не заметно
Могу немного рассказать о том, как делается реставрация в ультра-хай-рес в случае с профессиональным пакетом, который использует одна из студий-гигантов. Цель мероприятия в их случае - растянуть до 1/2/4к и продавать за отдельные деньги на стриминговые платформы/в интернет-магазины.
Могу рассказать, т.к. был причастный к разработке этого самого пакета.
Первое, оно же главное, оно же самое обидное - процесс реставрации все ещё не заключается в простом нажатии кнопки "сделать заебись", которая должна скормить фильм искусственному интеллекту и на выходе получить конфетку.
Собственно, никакого "искуственного интелекта" тут нет. Это очередное убийство журналиста учёным. Есть нейронная сеть. Если совсем просто и в двух словах - то это математическая модель в программном исполнении, которая в ходе "обучения" способна сама "подставлять" коэффициенты, выбирать необходимые функции и налаживать связь между различными блоками. Т.е. никакого "интеллекта" тут нет, тупо очень сложный алгоритм, функции и связи в котором добыты в ходе большого количества испытаний под контролем человека.
Чтобы определить, нахрена нужна нейросеть для обработки видео, чё она делает, а что приходится доделывать человеку, можно рассмотреть типовые задачи.
В контексте обработки видео ставятся следующие ключевые задачи:
1 - "Растянуть" изображение до нужного разрешения. Т.е. увеличить количество пикселей. Как? Если совсем просто - вокруг каждого имеющихся пикселей сделать поле из "пустых" пикселей. Таким образом исходное изображение "растянется" в ~1.8 раз. А "пустые" пиксели надо заполнить подходящими цветами. Повторить эту операцию N раз, пока не растянем до нужного разрешения. Так вот для определения подходящего цвета в базовом варианте используются методы интерполяции, когда цвет пустого пикселя определяется исходя из цвета соседних пикселей. Ну т.е. если у 15 соседних пикселей цвет в районе розового, вряд ли (запомним это слово) этот пиксель будет зелёный. Методов интерполяции понапридумывали целую гору. В первом приближении их все можно выразить в виде детерминированных алгоритмов с известными коэффициентами.
Нейросеть тоже обучается не с полного нуля, а на базе имеющихся алгоритмов интерполяции. Её задача - определить наиболее подходящий алгоритм интерполяции, определиться с коэффициентами и учесть особые случаи - те самые "вряд ли".
2 - Убрать шум, дефекты и прочее. Собственно, опять же, имеется масса алгоритмов для "улучшения" статичного изображения. Задача нейросети - взболтать, перемешать, выбрать подходящее, доработать коэффициенты исходя из "обучения", применить ко всем кадрам.
3 - Выправить резкость/контраст. См пункты выше. Уже понапридумывали кучу алгоритмов для этого дела (напр. высокочастотные/низкочастотные фильтры, алгоритм Байеса и пр.).
Казалось бы - где тут противоречие с кнопкой "Сделать заебись". А в том, что во-первых, сетке неизвестно, чё в конечном итоге надо, сетке, как и человеку, непонятно, какой конкретно алгоритм (или чаще их последовательность) тут лучше подойдёт.
Поэтому типовой процесс выглядит так. Берём сетку, наиболее натренированную под данный тип фильмов.
Кстати да, тоже важно. Для наилучшего результата предпочитают иметь целый зоопарк сеток, натренированных под различных контент. Например для мультиков наиболее подходящий один тип алгоритмов, а для "живых" боевиков - другой. Даже для разных временных промежутков стараются тренировать разные сетки, чтобы лучше работало - это в первую очередь диктуется типом дефектов, наиболее свойственный для тогдашней апаратуры.
Так вот. Берём сетку, скармливаем ей фильм, надеемся что получится всё очень круто (спойлер: нет). Собственно тут и нужен человек, который начнёт творить и управлять железкой.
Фильм обычно разбивается на сцены. Сцена опять же скармливается софтине, которая пропускает фильм через несколько разных сеток, а задача человека определить, какой результат наиболее норм, и что в получившейся картинке желательно поменять. Так повторяется N раз для достижения нужного результата.
Если результат никак не достигается, сцену разбивают на операторские планы. И проделывают то же самое для каждого отдельного плана. Если снова получается фигня, используется метод референсных значений - т.е. человек берёт кадр, руками улучшает его до нужных кондиций и отдаёт обратно сетке для обучения, чтобы она смогла подобрать нужные алгоритмы, чтоб результат наиболее соотвествовал референсу.
После обработки каждой сцены идёт процесс "дообучения" сетки на основе полученного результата. В надежде что следующая сцена получится лучше (спойлер: нихуя)
Уровень "детализации" процесса и кол-во итераций зависит от бюджета. А тот в свою очередь от планируемого гешефта. Некоторые фильмы дорабатывают вручную напильником, некоторые выпускают как есть.
В целом процесс обработки изображения нейросетью - это процентов 20-30 от общего объема работы, с учётом всех итераций. Всё остальное по прежнему лежит на плечах кожаных мешков.
я не поленился и всё прочитал)
отвечаю - все выше описанное я методом тыка, проб и ошибок уже давным давно понял) что я понял в первую очередь - так это то, что для разных планов нужны разные алгоритмы, либо те же, но с плавающей запятой, проще говоря, тут так подкрутить, тут сяк, и т.д... То же касается и типа фильмов - фильм это, или мультик образно. Мультики могу вообще чуть ли ни в вектор уже восстанавливать.
- "сетке, как и человеку, непонятно, какой конкретно алгоритм (или чаще их последовательность) тут лучше подойдёт" - собственно, я изначально понимал, что так называемый искусственный интеллект это нифига не интеллект, а просто сложный алгоритм интерполяции. И мультфильмы, к примеру, я допиливаю плагинами в премьере, что как раз и занимает процентов 50-70 общего времени работы) В общем ваш комментарий полезен тем, кто хочет начать этим заниматься) я уже всё перевыкурил и иногда просто упираюсь в железо. Я для себя выработал такой алгоритм - нахожу средние значения для всей картины в целом, а потом после просмотра готового результата перезаписываю определенные кадры определенных сцен по правильным в данных сценах алгоритмах, надеюсь, поняли) А вообще респект за то, что не поленились расписать всё!
могу, но не буду, артефакты нехорошие появляются и атмосферу фильма портит, плюс времени в 5 раз больше нужно, если по уму делать.
С зернистостью на блюрее можно посмотреть, смысл делать то же, но в бОльшем разрешении? При желании зерна всегда накинуть можно, но у меня своя религия в этом плане) Зерно это артефакт, а я не люблю артефакты)
только оперативы сейчас 32, и второй ссд-шник добавил. По времени сейчас уже дня 3-4, до этого неделю мучался
Вот ж фильмы, посмотрел отрывок в 2 минуты, забыл что смотрю отрывок. Думаю дальше сейчас смотреть :)
завтра-послезавтра выйдет в вк, ютуб не раньше четверга, он сейчас долго обрабатывает, майнит наверное)
Боке не имелось в виду. Именно блюр. Именно он превращает людей в уродливых героев аниме.
Например Джеки крупным планом.
Всё бы здорово, но почему нос вроде выглядит естественно, с порами и отблеском пота, а всё остальное будто после макияжа запудрено?
мож непривычно просто?) у нас с детства все прывыкли к дерьмовому качеству, думаю поэтому
если вы хотите VHS улучшить, то результат вас огорчит, топаза достаточно, чтобы это попробовать
как раз не смотрел ни одной части. первую не улучшали? нафиг 4к, хотяя бы под нормальный 1080р
1080 есть на блюрее в торентах, с шумами и мылом, моя задача сделать резко, а параллельно в 4К вывести
Ну хз. Пленка сама по себе зернистая. Я тож раньше не понимал, но... Потом понял :) Я когда фотки обрабатываю, а матрица шумит, я не стремлюсь задавить все зерно - так, убираю шум в цветах, а в яркости оставляю, типа пленка. Она визуально картинку резче делает (то есть резче она не становится, но ощущение резкости дает).
в премьере попробую накинуть, так, для интереса, но в финале скорее всего не буду рендерить. Задача вывести в идеал, а там дальше кто как хочет - пусть зёрна накидывают, дорожки любые, хоть китайские)
