AI анимация и монтаж (Stable Diffusion)⁠⁠

Монтаж вышел на 13 сцен. Каждую сцену я отдельно сохранял в PNG секвенцию (в 25фпс, как в оригинале). В каждой сцене выбрал от 1 до 3 ключевых кадра (если один кадр, то старался брать его из середины). Затем все кадры прогонял в SD, модель revAnimated_v122, там же и апскейлил до FHD. В самой длинной сцене было до 40 кадров.

Генерировал каждый кадр отдельно. В КонтролНет миксовал из 2-х основных моделей, - softedge_hed, canny, lineart_coarse, openpose_full, 3 модель всегда была неизменной temporalnet. Все это для того, чтобы все кадры были максимально похожи между собой.

Дальше, все сцены по отдельности пропустил через EbSynth. Где-то пришлось уменьшить ключевый кадры с 3 до 2 (точно в сцене сложенных вместе рук).

Полученный результат монтажил в PremierePro. Дым из самой первой сцены сделал в AE, плагин Saber. Там переход по чернилам через Luma mate, сам дым из этих же чернил.

Перед монтажом, я также дополнительно замедлил 3 сцены. И дорисовал кадры силами Premierа, режим Optical Flow, с большим трудом он справился.