fetricepm

Камеры с искусственным интеллектом проходят испытания в музее Болоньи / Фото с сайта The Telegraph

В музеях Болоньи внедрили систему ShareArt — рядом с экспонатами разместили камеры, отслеживающие посетителей. Система вычисляет, как долго и как близко люди рассматривают картины, скульптуры и артефакты, а затем выдаёт «оценку привлекательности». Модель классифицирует эмоции по пяти выражениям лица — счастливому, грустному, нейтральному, удивленному или сердитому, а также определяет пол, возраст и движение глаз посетителей.

Таким образом кураторы выставок хотят понять, какие именно экспонаты привлекают больше посетителей и на основе этого изменить планировки. По задумке руководства музеев, это позволит увеличить число туристов и возместить хотя бы часть из 190 миллионов евро выручки, которые музеи потеряли из-за пандемии.

Систему разработала команда из правительственного агентства ENEA, которое занимается развитием новых технологий в Италии. ShareArt использует камеры рядом с экспонатами, а затем объединяет и сравнивает, как люди проводят время рядом с разными картинами, скульптурами и артефактами.

Изначальный вариант системы разработали ещё в 2016 году, однако первые публичные тесты начали только в июле 2021 года после открытия музеев и галерей. Пока в музеях установили 14 устройств ShareArt: данные транслируют в специальный график, который отражает, на чём именно концентрируется внимание людей.

Разработчики уже получили первые результаты. К примеру, выяснилось, что в случае с картиной Трофима Биго «Святой Себастьян, помогающий Святой Ирэн», посетители фокусировались не на центре композиции, а на правой части лица Себастьяна. По мнению исследователей, причиной стала игра света и тени.

Картина Трофима Биго / Фото с сайта Saatchiart

ShareArt также отслеживает, как много посетителей останавливаются перед картинами и как долго на них смотрят. Оказалось, что очень немногие работы способны удерживать людей больше чем на 15 секунд. В среднем у экспоната проводят от 4 до 5 секунд.

Некоторые выводы исследователей оказались неожиданными: например, на диптихе 14-го века художника Витале дельи Экви внимание всегда привлекала только правая половина произведения. Левую часть большинство посетителей просто пропускали.

Диптих Витале дельи Экви / Фото Istituzione Bologna Musei

Пока в музее не поняли, в чём причина такого поведения посетителей, но считают, что чем больше данных они смогут получить, тем лучше смогут организовать выставки. Анализ поведения зрителей может привести к изменениям в освещении, постановке и размещении произведений искусства по отношению друг к другу.

Другим примером применения технологии стал анализ привлекательности статуи Аполлона Вейского, датированной 510-500 годами до Нашей Эры. Хотя кураторы Римского национального этрусского музея считали её одним из украшений коллекции, на неё обращают внимание лишь немногие зрители. Если бы статую разместили по принципу «лучшее напоследок», то её бы вообще не стали смотреть, пояснили в ENEA.

Аполлон Вейский / Фото из Мировой исторической энциклопедии

Дополнительно к описанному выше функционалу, камеры предупреждают персонал музея, если посетители находятся слишком близко друг к другу или снимают маски. Данные, получаемые с камер ShareArt, являются конфиденциальными. В частности, они не выполняют распознавание лиц, а фотографии посетителей после обработки нейросетью сразу же удаляются. Художники положительно оценили новую технологию: они утверждают, что ShareArt предоставляет ценный инструмент анализа влияния искусства на людей и выводит на новый уровень диалог между человеком и искусством.

Источник 1

Источник 2

Источник на английском языке

Презентация инструмента для создания снега, использованного в мультфильме «Холодное сердце»

Меня тянуло к математике еще со школы. Я учился в 57-й в Малом Знаменском переулке. Сначала математика шла хорошо, потом что-то не очень. В итоге решил пойти в МФТИ на физику. Когда учеба стала уходить в более прикладные вещи — программирование, инженерию, — меня снова потянуло в математику. Доучившись до бакалавра в 2009 году, я стал искать программы, где возможно совмещать математику и физику. Параллельно я занимался компьютерной графикой — рендерингом картинок, 3D-моделированием, но скорее как хобби. В итоге я подал в разные институты в США, где есть интердисциплинарные программы. Получилось так, что я поступил в UCLA (Калифорнийский университет в Лос-Анджелесе) на факультет математики. Здесь много профессоров занимаются применением математики к реальным вещам. Сначала я пошел к профессорше, которая занималась статистикой. Поработал с полицейским департаментом в Лос-Анджелесе. Мы даже помогали раскрывать преступления: у них была куча статистики по преступлениям, нам нужно было ее анализировать и предсказывать, где случится следующее. В общем, позанимавшись этим, я понял, что мне хочется что-то более значимое, то, что будет видно, что можно представить визуально.

В тот же год я посмотрел мультик «Рапунцель», и он меня сильно впечатлил. Я увидел, сколько там математики. Тогда я пришел к университетскому профессору, который частично консультировал Disney — занимался вычислительной физикой, и начал работать с ним. Я стал моделировать физические системы, решать дифференциальные уравнения численными методами. Потом попал на практику в Disney. В первое лето успешно прошел мой первый интерншип, и меня позвали второй раз. Кстати, недавно именно то, чем я занимался четыре-пять лет назад, попало в мультик «Зверополис». Шкурки и мускулы персонажей делали с помощью той штуки, которую я программировал, когда был интерном.

Однажды я случайно узнал от моего научного руководителя, что на студии нужно сделать снег для «Холодного сердца» и требуются люди. Меня пригласили заняться им. В итоге снег получился довольно успешным, и, собственно, этот проект стал основой для моей диссертации PhD. После чего меня позвали в штат, где я и работаю до сих пор.

Кадр из мультфильма «Моана»

Зачем мультфильмам Disney столько сложной математики

Двадцать лет лет назад куча аниматоров все рисовала от руки — каждый кадр карандашом. Появлялись, конечно, всякие хитрые методы, потом проникали компьютеры, планшеты. Но сейчас требования к качеству сильно возросли: хочется 3D, хочется больше погружения с точки зрения зрителя, хочется, чтобы человек верил в то, что все происходит вокруг него. Нужен определенный уровень реализма. Персонажей, конечно, до сих пор анимируют по отдельности, создают им мимику, двигают практически вручную из кадра в кадр — и это очень тяжелая работа. Но среда, в которой они обитают, их одежда, волосы и прочее — это руками не подвигаешь. У персонажа может быть тысячи и сотни тысяч волосинок. А если взять, например, воду, то там еще больше деталей. Ни один человек просто не сможет все это прорисовать. Такие вещи приходится обсчитывать компьютерам. Есть законы физики, которые описывают движение разных вещей: воды, снега, волос, одежды — всего чего угодно. Есть художники, которые задают начальные условия: допустим, есть вода и скалы, и они сталкиваются. Эти данные отправляются в программу, которая на их основе решает соответствующее дифференциальное уравнение и все обсчитывает. Это довольно типичная задача численных методов математики.

Кадр из мультфильма «Зверополис»

Как происходит разработка проекта

Перед запуском мультика в продакшен у режиссеров уже есть свое видение. Они приходят к нам и говорят — нужно сделать, допустим, снег. Причем со снегом все просто, не нужно объяснять, как он выглядит (если, конечно, это не люди из Южной Калифорнии). Мы начинаем смотреть вокруг, не было ли каких-то разработок в этой области. Когда мы делали снег, выяснилось, что про него практически нет данных. Тогда мы сделали ресерч, выписали список вещей, которые хотим получить: снег должен слипаться, рассыпаться и т. д. Для более волшебных эффектов все сложнее. Мы начинаем выписывать характеристики того, что мы хотим нарисовать, а затем пытаемся подобрать уравнения, придумываем численные методы.

Хани Лемон и ее оружие, созданное тем же инструментом, что и снег в «Холодном сердце»

Тот инструмент для снега теперь мы используем начиная с «Холодного сердца» в каждом мультике: и в «Зверополисе», и в «Моане». Если изменить характеристики уравнения, то вместо снега мы можем получить лаву и много чего другого. Допустим, в «Городе героев» у Хани Лемон были бомбы, раскидывающие такую липкую штуку. Липкая штука тоже была сделана с помощью того же инструмента. Мы активно публикуем свои результаты и статьи по теме. То есть любой может их прочитать и спрограммировать что-то подобное. Но сама программа — это собственность компании, поэтому она не распространяется.

Каково работать в студии Disney и как найти взаимопонимание с художниками

Кадр из мультфильма «Моана»

Я не знаю, насколько уместно сравнить наш офис с Диснейлендом, но здесь здорово. Как заходишь в студию, сразу видишь всех этих персонажей на стенах, и со всех сторон атмосфера правильная. На работу ходить нравится. В принципе, я программист, но я не отправляю свои программы каким-то людям, которых я никогда не увижу. Все наши потребители — художники, которые сидят с нами под одной крышей. Процесс взаимодействия с ними происходит каждый день, это здорово. Мне очень нравится общение с ними. Это люди совершенно с другим складом ума и подходом к искусству. Они свои нужды описывают в довольно абстрактных терминах, и для меня это выглядит как размахивание руками. Но это все надо как-то взять, преобразовать в нечто формальное, математическое и заставить работать.

Кадр из мультфильма «Город героев»

Например, в «Городе героев» есть армия из целого миллиона маленьких роботов. Когда мы пришли на встречу с режиссерами в первый раз, у них было много зарисовок и комментариев о том, как эти роботы должны взаимодействовать. С одной стороны, они должны вести себя как колония муравьев, как большой организм, а с другой — они не хотели органического движения. Они показывали картинки печатных плат и хотели, чтобы роботы строились определенным образом. То есть у нас был набор из десяти разных абстрактных характеристик. И вот ты берешь и пытаешься это осознать и представить, какая физика может лежать в их основе.

Были задачи попроще, например, с водой в «Моане». Саму воду сделать просто, уже кучу лет назад были написаны все уравнения. Но в «Моане» океан живой. И хотелось, чтобы эта вода не просто плескалась «по физике», а чтобы какая-то штука вылезала из воды и разговаривала. С одной стороны, штука должна выглядеть как физическая, с другой — она должна быть нужной формы и двигаться как надо. Это очень тонкий баланс.

Технологии или история — что первично

У нас в студии на первом месте задумка режиссера. Есть задача рассказать историю, а то, как технологии помогут этому или нет, — уже зависит от нас. При этом у нас есть определенные наработки. Мы знаем, что мы можем сделать, а что нет, чтобы супервайзеры могли оценить возможности.

Но с точки зрения индустрии ситуация чуть иная. Когда разрабатывается какая-то технология и по ней публикуются результаты, эти новые спецэффекты постепенно мигрируют в коммерческие продукты, в Maya и Houdini, на рынке появляются новые пакеты с набором спецэффектов. А потом эти технологии получают более широкое распространение.

В Disney мы комбинируем коммерческие продукты и свои разработки. Например, существуют хорошие готовые решения для создания одежды и волос. И иногда их вполне достаточно, и вовсе не обязательно разрабатывать что-то свое. Тем более что это довольно накладно. Свои инструменты мы используем, только если они превосходят доступные на рынке.

Где проходит граница между реализмом и сказочностью

С точки зрения индустрии реализм в анимации — это всегда хорошо. Особенно если мы берем фильмы, где актеров снимают на зеленом фоне, а сзади нужно подставить что-то натуральное. Обычно в таких фильмах требования к реализму гораздо выше. Но в студии Disney фокус смещен в другую сферу. Для нас нет задачи создать реальный мир. У нас есть свои традиции, свои способы анимировать персонажей. Например, есть диснеевская принцесса, которая и не выглядит как настоящий человек. И если такого анимированного персонажа поместить в реальный мир, то возникает диссонанс. Хочется не реализма, а так называемого беливабилити — чтобы зритель верил происходящему.

Все спецэффекты должны быть стилизованы под анимацию персонажей. Например, Рапунцель бегает не как человек, у нее движения немножко более резкие. Поэтому когда на нее надели платье, смоделированное по всем физическим законам, во время бега юбка перелетала через голову. Соответственно, нужно было создать вокруг нее силовые поля, которые эту юбку удерживали. Или, допустим, взять эпизод в «Моане», где дельфины прыгают перед лодкой. Лодка плыла нормально и была более-менее физическая. А вот дельфины по задумке двигались со скоростью 100 миль в час, и когда они врезались в воду, получался всплеск как от пушечного ядра. Поэтому стояла задача добавить воде вязкости. То есть они практически ныряли в подобие глицерина. Или же там есть момент, когда перед Моаной расходится океан. Обычная вода такого сделать не может, и приходилось экспериментировать с гравитационным полем.

Но все равно многое приходится доделывать, скажем так, от руки. Все компьютеру доверить нельзя. Будет здорово, если появится какая-то автоматическая программа, которая сможет анимировать персонажа или, например, старить его. Сейчас развивается содействие аниматорам с помощью каких-то новых технологий, в том числе и с помощью машинного обучения. Но это уже не по моей специальности.

Источник