«Аватар» Джеймса Кэмерона в свое время произвел настоящий фурор в кинопрокате, обновив рекорд по кассовым сборам. Резонанс был настолько большим, что некоторые зрители всерьез поверили, что это чуть ли не первый стереофильм в истории кино. Из каждого утюга раздавались лозунги про революцию в кинопроизводстве. Кэмерон как заправский Ленин взобрался на киноброневичок и кричал о том, что простому кино скоро придет конец. Только 3D. Спустя годы все эти возгласы и реплики ничего кроме улыбки не вызывают. Производители 3D-телевизоров понесли такие убытки, чтобы до сих пор вздрагивают. Со вторым «Аватаром» уже нет возгласов про революцию в кино, но поскольку прошло 13 лет, то целый ряд новшеств был внесен. Вот об этом сегодня и расскажу.
Видео для тех, кому интереснее смотреть, а не читать. Бонусом мое мнение о самой картине, а не технологиях.
Съемка в воде
Первый «Аватар» снимался в сухом павильоне, а второй, как видите, в настоящем бассейне. Поэтому видеореференсы для аниматоров были совершенно другого качества. Съемочная площадка, где происходил захват актерской игры, была 36 метров в длину и 18 в ширину. Глубина же бассейна составляла 9 метров. Чтобы световые приборы, размещенные у потолка павильона и вокруг бассейна, не давали ненужных рефлексов, кинематографисты покрыли поверхность теннисными шариками белого цвета. Схожий трюк Кэмерон и команда провернули в свое время при работе над «Бездной». У меня на канале есть видео о создании этой легендарной картины.
На площадке кинематографисты использовали инфра-красные датчики при съемках актеров на поверхности и ультра-фиолетовые под водой. Еще одной проблемой могли стать пузырьки воздуха, выдыхаемые человеком, потому что они бы мешали камерам снимать лицо актера. Чтобы избежать такого геморроя исполнителей попросили задерживать дыхание. Если верить маркетологам, то Кейт Уинслет так усиленно тренировалась, что научилась задерживать дыхание на 7 минут. А еще выловила вот такого морского окуня голыми руками.
В первом фильме актеры катались на гидравлических установках изображавших летающих леоноптериксов. В сиквеле лицедеи уже плавали под водой вот на таких штуковинах. Что касается непосредственно воды, то в фильме 2225 шотов с ней. Разница между анимацией под водой и на суше заключалась в том, что для подводных кадров трехмерщики не анимировали взаимодействие по ключам, а симулировали движения из-за плотности объемов водной среды.
В работе применялся программный инструмент Loki, который позволял симулировать мельчайшие детали вплоть до пены и пузырей. Помимо этого если сравнивать поведение волос в воде с первой картиной, то в сиквеле аниматоры получили возможность поведение каждой пряди. Но будет ошибкой сказать, чтол вся вода в фильме сгенерирована в графике. Это не так. Есть сцены, где вода настоящая, но смешанная с компьютерной симуляцией. Прорабатывать кадры помогла виртуальная камера, которая стала работать быстрее в сравнение с первой картиной за счет использования игрового движка, а не программы моушн билдер. Но основные изменения связаны с анимацией лиц.
Новый пайплайн
Студия Wētā FX полностью обновила свой производственный конвейер для работы с лицами компьютерных персонажей после завершения проекта «Алита: Боевой ангел». Итак, что же нового привнесли создатели Голлума, Нави и Цезаря? Новая система лицевой анимации студии Weta основана на переходе от системы лицевого кодирования FACS-к кривым мышечных волокон в качестве анатомической основы. Новый подход называется Anatomically Plausible Facial System APFS и представляет собой ориентированную на аниматора систему для моделирования лица и анимации.
После того, как метод FACS, основанный на исследованиях и разработках, был чрезвычайно интенсивно использован для фильма "Алита: Боевой ангел" (2019), супервайзер Джо Леттери решил, что эта система имеет слишком много серьезных проблем, таких как разделение лицевых мышц, недостаточный охват и линейное комбинаторное использование. Например, FACS отображает набор гримас, которые обозначают выражения, управляемые мышцами, но для получения адекватной лицевой анимации все равно может потребоваться добавить до 900 блендшейпов, чтобы аниматор смог добиться правдоподобной мимики. И дело не в том, что FACS плоха, просто система не была разработана для анимации лица основанной на тайминги. Она была построена не вокруг речи, а скорее вокруг изолированных эмоциональных выражений.
"Нам требовался метод, который позволял бы художникам напрямую контролировать поведение лица", - комментирует Леттери. "Система FACS эмулирует лицо только снаружи и имеет очень ограниченные возможности... это только система, основанная на эмоциях, которая кодирует выражения. В FACS не закодирован диалог, с которым мы имеем дело постоянно».
Хотя FACS может представлять точное выражение лица, в системе нет информации о том, как переходить от одной гримасы к другой, поэтому и используются блендшейпы. Леттери и его команда решили начать все сначала и подойти к созданию всего пайплайна для лица с нуля. Команда сосредоточилась на том, что при выражении и активации какой-либо мышцы другие мышцы активизируются в тандеме или же тянутся пассивно.
"Из-за того, как мышцы взаимосвязаны, они образуют своего рода сеть, которая очень похожа на нейронку ", - рассуждает Леттери. Тогда я подумал: "Почему бы нам просто не создать нейронную сеть, использующую непосредственно мышцы в качестве основы? Другими словами, многие методы глубокого обучения используют кучу данных и пытаются найти в них корреляции. Но мы уже их знали, поэтому я подумал, почему бы их сразу не взять за основу? Если вникнуть в математику, то это просто большая цепочка производных и базовое исчисление".
APFS
Новая система APFS основана на 178 кривых мышечных волокон или кривых "деформации". Эти кривые могут сокращаться или расслабляться, чтобы обеспечить тонкую высокоточную человеческую мимику. Система не является отображением мышц человека в соотношении 1:1, поскольку некоторые аспекты лица, такие как изгиб верхней губы, на самом деле являются результатом работы челюстных и нижних лицевых мышц. Так что система скорее представляет собой охватывающий массив из 178 кривых, которые позволяют использовать анатомические элементы управления, но не являются прямой эмуляцией и имитацией плоти и мышц. Промежуточные шейпы делались посредством доработанной FACS с помощью машинного обучения. Нейросети скормили от 6000 до 8000 кадров из 80 клипов. Около 60% - это были выражения FACS и 40% касались мимики в процессе разговора. Игра каждого актера опиралась на 340 маркеров и только проверенные выражения.
Перенос библиотек поз
Аниматоры, естественно, привыкли иметь библиотеки поз. И в этом нет ничего плохого, но позы не обеспечивают и не кодируют движение, а их комбинаторное использование может легко выйти за рамки модели. Чтобы обеспечить привычную рабочую среду для аниматоров специалисты подготовили библиотеку движений на основе деформации. Растяжение и сокращение мышц может быть интуитивно понятным, но управлять выражением лица с помощью вектора деформации не так просто. Команда включила автоэнкодер (AE), который ограничивал векторы деформации и помогал художникам оставаться в пределах границ правдоподобной лицевой анимации. При этом аниматор сам определял, что являлось правдоподобным из предложенных вариантов.
Deep Shape
В фильме "Аватар: Путь воды" многие актеры снимались в воде, но большая часть их лицевой анимации была основана на съемке в сухом павильоне, которая затем смешивалась с основной съемкой. Лица актеров снимал стерео головной риг (HMC) с двумя камерами, который благодаря новой технологии был не тяжелее, чем оригинальный с одной. Этот риг впервые был использован на проекте «Алита: Боевой ангел».
Благодаря фиксированному стереорасположению камер HMC команда Wētā разработала новый мощный инструмент визуализации под названием Deep Shape. Стереоизображения использовались для создания трехмерной реконструкции игры актера в виде облака точек, которое можно рассматривать под любым углом. Подобная визуализация позволяла аниматору получить виртуальную камеру, которая снимала в десятке сантиметров от лица без широкоугольного искажения и странного угла, характерных для реальных камер захвата. Такой 3D-реконструированный по глубине вид позволял гораздо более эффективно просматривать растяжение губ и работу челюстей. Вьюер оказался инновационным и супер полезным, поскольку предоставил эталонный инструмент для сравнения и оценки эмуляции APFS.
Если подводить некий итог, то производственная группа проделала огромный объем работы и заслуженно получила премию «Оскар» за лучшие визуальные эффекты. Ну а как сам фильм? В ролике дан ответ, но здесь не хочу разводить холивар.
