Серия «Neuro Animation»

Тысячу лет назад ко мне в аудиозаписи в ВК попала, запись начитки стихотворения «Ворон» Эдгара Алана По. Эта запись была изменена, отредактирована и наложена на музыку. И вот пришло её время.

Я разделил стихотворение на сегменты по две строки и поставил временные метки для каждого чтения. Вот как нейросеть Stable Diffusion видит поэзию Эдгара Аллана По. Я также добавил стилистические подсказки, имитирующие стиль По, что, как мне кажется, идеально подходит для проекта.

После 16 часов рендеринга для версии 1024x512 и еще 10 часов апскейлинга в 4 раза, и эта прелесть у нас в руках.

Конечно, когда вы используете такие сложные соединения из сторонних систем, всегда что-то идет не так. Но я думаю, нам удалось сделать крутой арт.

Апсемплеры ESRGAN_4x и R-ESRGAN 4x+ работают отлично, но размывают текстуру карандашного рисунка, что для нас неприемлемо. Lanczos отличный апсемплер, работает быстро и сохраняет текстуру в целости, но течет в оперативной памяти, буквально через час Python уже занял 25гб моей оперативной памяти (шутка про змею, которая слишком много ест, ха-ха, это же Python , ты знаешь это). Мне пришлось запустить процесс 4 или 5 раз, перезапустив его, когда закончилась память.

Как обычно, я использовал генератор ключевых кадров довольно простым способом. Я был бы очень признателен, если бы кто-то предоставил руководство по созданию математических функций специально для анимации, я такого не нашел. Если у вас есть такая ссылка, дайте пожалуйста знать, буду признателен и смогу сделать больше интересного. Как вариант, вы можете просто написать мне и дать дельный совет, как сделать универсальную формулу для поворота 2D-перспективы, или для динамического зума в обе стороны в соответствии с BPM моего трека.