ГП с трассировкой — устройство и принцип работы

Несмотря на все ухищрения, для быстрых расчетов трассировки все также требуется мощное вычислительное оборудование. Поэтому видеокарты, поддерживающие ее, оснащаются тысячами шейдерных процессоров и специализированными вычислительными блоками — RT-ядрами.

Шейдерные процессоры выполняют арифметические операции, в то время как RT-ядра разработаны и оптимизированы именно для операций трассировки лучей.

Внутри RT-ядер находится два вычислительных движка. Первым начинает работу движок, занимающийся поиском пересечений лучей с объемами-коробками BVH.

Когда находится самая маленькая коробочка, пересекающая луч, в дело вступает второй движок. Он ищет пересечения лучей с полигонами.

Как и шейдерные процессоры, RT-ядра работают параллельно друг с другом. На современных видеокартах это позволяет обрабатывать несколько миллиардов лучей в секунду, а общий счет выполненных операций при этом достигает триллионов. Например, NVIDIA GeForce RTX 3090 родом из 2022 года выполняет за одну секунду до 36 триллионов операций. Тогда как самый мощный суперкомпьютер 2000 года, полагающийся на грубую вычислительную мощность центральных процессоров, за то же время осуществлял лишь 12,3 триллиона.

Чем отличается трассировка лучей

Трассировка пути — наиболее продвинутый способ получения компьютерных изображений. Но из-за ее высоких требований в играх пока более распространена обычная трассировка лучей. Оба способа имеют схожую основу, но трассировка лучей обеспечивает меньшую реалистичность освещения взамен на гораздо более скромные требования к оборудованию.

Для реализации трассировки лучей существует несколько техник. Рассмотрим две самые распространенные. Первый вариант схож с трассировкой пути, но имеет некоторые упрощения. Сначала для моделей сцены создаются дубликаты низкого разрешения с малым количеством полигонов.

Кадр с этими моделями просчитывается вне экрана, чтобы получить карту освещенности поверхностей. А затем полученная карта накладывается на кадр высокого разрешения, выводимый на экран.

Это позволяет хорошо интерполировать непрямое освещение, не прибегая к огромному количеству вычислений. Данный способ является одним из методов трассировки, который используется системой освещения Lumen в графическом движке Unreal Engine 5. Второй вариант техники называется трассировкой лучей в экранном пространстве. Тут используется совершенно другой подход на основе трех составляющих: изображения, полученного с помощью традиционного рендеринга, карты глубины кадра и карты нормалей. Из отрендеренного изображения берется информация о цвете объектов. Карта глубины показывает, насколько далеко они находятся от камеры.

В свою очередь, карта нормалей сообщает, в какую сторону полигоны отражают свет.

Когда в процессе трассировки луч попадает на отражающую поверхность, его дальнейшее распространение продолжается в соответствии с этой информацией. Например, попав в озеро, лучи отразились в сторону деревьев — значит на поверхности озера появится искаженное изображение последних.

Главная проблема подобного подхода в том, что он может использовать только отрендеренные кадры с экрана. То есть, когда деревья исчезнут из поля зрения игрока, пропадет и их отражение в озере. Такую технику трассировки лучей используют многие игры прошлых лет, в том числе — Cyberpunk 2077.

Трассировка пути — продвинутая технология построения изображений в компьютерной графике. Она широко применяется для создания реалистичных сцен в фильмах, и все больше становится популярной в новых играх для ПК и консолей. Как работает эта технология, и в чем ее отличия от более распространенной трассировки лучей?

Что такое трассировка пути

Компьютерная графика, используемая в современном кинематографе, основана на одной из техник трассировки лучей — трассировке пути (Path Tracing). Этот алгоритм появился в далеком 1986 году, но из-за своей сложности лишь спустя 30 лет начал массово использоваться для создания графики в фильмах.

Чтобы понять, почему все это время трассировка пути оставалась неосуществимой, ознакомимся с основами построения подобной картинки. Сначала 3D-художники вручную моделируют форму объектов в сцене, а программное обеспечение для рендера разбивает их на мелкие треугольники — полигоны.

Затем на модели накладываются текстуры, которые симулируют материалы определенного цвета и типа — например, шероховатые, гладкие или стеклянные.

Готовые объекты и источники света: солнце, небо, фонари, размещаются в нужных положениях на 3D-сцене. После этого добавляется виртуальная камера и запускается процесс рендеринга — благодаря ему картинка в кадре визуализируется в виде привычного 2D-изображения.

С помощью трассировки пути имитируются отражения света от различных материалов. К примеру, попав на матовую красную черепицу крыши, часть света ей будет поглощена, а другая часть — отразится красным. Отраженный свет от каждого объекта попадает в виртуальную камеру, внося свой вклад в создание изображения.

Для образования каждой точки конечной картинки осуществляется несколько тысяч подобных расчетов. А для формирования одного кадра изображения с разрешением 4К их потребуется несколько миллиардов.

Именно из-за этого долгое время создание изображений с использованием трассировки пути было очень медленным процессом. Например, в 2016 году рендерингом фильмов «Зверополис» и «Моана» занималась ферма из тысяч серверов, которые производили вычисления в течении нескольких месяцев — и это всего для двух часов анимации.

Формирование изображения

Для начала ознакомимся с принципом создания изображения при трассировке пути. Этот алгоритм относится к виду вычислений, которые очень хорошо распараллеливаются: точки картинки независимы друг от друга, поэтому тысячи лучей для каждой из них можно рассчитывать одновременно.

Если показать на картинке траектории всех лучей, которые просчитываются для этой сцены, то она заполнится огромным количеством линий. Поэтому рассмотрим данный процесс на примере одной точки. Первый луч испускается из ее центра и попадает на полигон какого-либо объекта в кадре.

Базовый цвет точки формируется с помощью нескольких лучей, которые попадают рядом с центральным — для этого все их цвета усредняются. Подобные лучи называются первичными.

В результате такого подхода формируется изображение с правильной перспективой.

Глобальное освещение

Мы рассмотрели, как цвет полигонов передается точкам виртуального кадра. Но для получения реалистичной сцены нужно просчитать глобальное освещение объектов — ведь яркость и оттенок цвета каждой точки зависит именно от него.

Для этой цели комбинируются два вида расчетов: прямого (Direct) и непрямого (Indirect) освещения. При первом виде вычислений просчитываются лучи непосредственно от источников освещения — солнца, неба и ламп. Они называются теневыми.

Теневые лучи отражаются от всех объектов сцены, попутно приобретая характер и окраску от их материалов. Таким образом все поверхности, на которые попадает прямое освещение, становятся источниками непрямого. Отраженный свет проникает во все области кадра. В том числе в те, которые закрыты преградами от лучей прямого освещения. На примере ниже можно увидеть, как освещенная зеленая точка на стене отражает свой свет на синюю точку столба, находящуюся в тени.

Этот луч, проходящий между двумя точками, называют вторичным. Если при первом отражении он снова попадет в тень, то от него будут просчитаны дополнительные лучи. Так будет продолжаться либо до попадания на освещенную прямым светом точку, либо до достижения лимита отскоков, при котором дальнейший поиск траектории луча прекращается.

Вместе с траекториями лучей от источников прямого освещения это создает большое количество вычислений. Например, в кадре ниже для получения 20 первичных лучей необходимо рассчитать почти сотню вторичных и теневых.

Благодаря непрямому освещению реалистично просчитывается не только изменение яркости точек, но и их взаимное влияние на цвет друг друга. К примеру, если расположить рядом со столбом красный воздушный шар, то за счет непрямого освещения в его оттенок окрасится и тень от столба.

Не менее важно и то, что направление распространения вторичных лучей зависит от свойств материала объекта. Если он идеально гладкий, то угол падения луча будет равен углу его отражения — благодаря этому поверхность будет выглядеть зеркальной. А от шероховатого материала того же цвета лучи будут отражаться в случайные стороны — из-за этого он, как и положено, будет отображаться матовым.

В случае, если материалом выступает стекло, то будет просчитываться не только отражение света, но еще и его преломление при прохождении насквозь.

Сложность трассировки пути зависит от количества источников света, количества лучей на точку и предельно допустимого числа их дополнительных отскоков. У сцены из первого примера с замком используется четыре источника света, тысяча лучей на точку и 12 отскоков. Чтобы визуализировать один ее кадр в 4К, нужно просчитать примерно 400 миллиардов лучей.

А для создания всего одной секунды такого видео их понадобится просчитать уже около триллиона. Именно поэтому в течение нескольких десятилетий трассировка пути для фильмов считалась невозможной.

Чтобы достичь приемлемой производительности, в современных играх трассировка пути реализована намного проще — один-два луча на точку и от одного до четырех отскоков. Но даже при таких параметрах и базовом разрешении Full HD для комфортной игры каждую секунду видеокарте понадобится просчитывать около полумиллиарда лучей.

Иерархия ограничивающих объемов

Еще одна ключевая трудность при трассировке пути — узнать, на какой именно полигон луч из точки попадает первым, чтобы определить ее основной цвет. В случае, если полигонов десятки или сотни, можно воспользоваться вычислением траектории луча с помощью математических уравнений. Но в современных сценах их миллионы, поэтому этот способ потребует огромных вычислительных ресурсов. Чтобы упростить данный процесс, используется иерархия ограничивающих объемов (Bounding Volume Hierarchy, BVH). При таком подходе сцена разделяется на виртуальные объемы-коробки, в каждой из которых оказывается одинаковое количество полигонов.

Коробки делятся надвое до тех пор, пока в каждой из них не останется всего несколько полигонов (обычно от 4 до 32). В нашем примере сцена состоит из трех миллионов полигонов, которые «раскладываются» в полмиллиона небольших коробочек.

Положение каждой коробки в пространстве выровнено строго по осям координат. Когда луч начинает свое путешествие из точки, его направление сравнивается с координатами первой пары больших коробок. Коробка, которую он не пересекает, исключается из расчетов — как и все более мелкие, на которые она поделена.

Затем направление луча сравнивается с координатами двух меньших коробок, на которые разделена исходная. И так до тех пор, пока луч не достигнет самой маленькой коробки.

В виду ограничения фотоматериалов

ПРОДОЛЖЕНИЕ СЛЕДУЕТ...

Но куда интереснее посмотреть в небо, в котором пролетают листья и прочий мусор. Тут у XeSS начинаются проблемы, которых нет и не может быть ни в полном кадре, ни при использовании FSR.

Мы также в очередной раз видим, как ИИ-апскейл начинает смазывать хвою ели, когда ее колышет ветер. Несколько примеров подобного бага было раньше.

Но вот чего на более сложном фоне было не видно — так это того, как XeSS обрабатывает мелкие движущиеся объекты. А количество и длина смазанных хвостов из остаточных изображений, да и разрушение самих объектов при смене положения или вектора движения — это то, что в комментариях не нуждается.

Зато если зайти в дом — в статике XeSS снова неплох и хорошо справляется со сглаживанием. Как результат — жалюзи не дрожат и не мерцают, как в полном кадре со штатным сглаживанием, и выглядят четче, чем в варианте с FSR 2.

И, как ни парадоксально, но лес за окном превращается в цветную кашу именно с FSR. XeSS позволяет увидеть движения отдельных кустов и веток, хоть и смазанные. На этом с Dying Light 2 мы заканчиваем и переходим к другому варианту дистопического будущего: Cyberpunk 2077.

Для начала — снова о DLSS и XeSS. У нас тут динамичный облет сцены, и легко заметить, что технология Nvidia намного лучше отрисовывает вывеску на заднем плане, страницы газет на стенах, да и вообще все движущиеся в кадре объекты.

При этом в статике заметной разницы в качестве нет, да и с глубиной сцены технология Intel справляется отлично — бутылки в баре хорошо это доказывают. А если очень хорошо присмотреться, можно заметить, что шлейфы за силуэтами NPC оставляет и DLSS. В гораздо меньших объёмах, конечно.

Но что удивило, так это как XeSS дорисовывает колючую проволоку. Да, тут есть небольшое мыло — но это результат все тех же проблем с динамичным движением камеры. Сам же объект весьма хорошо детализирован, что ранее удавалось только DLSS.

Впрочем, текстуры бетонных плит на переднем плане технологию Intel снова подводят, DLSS справляется гораздо лучше.

То же можно сказать и о бетонном козырьке, и о матрасе с картонкой. А вот прорисовка прутьев стального забора дается XeSS не хуже, чем технологии Nvidia.

Однозначно хуже решению Intel даются стволы и листья пальм: технология просто не может работать с такими тонкими деталями. Причем это в равной мере и результат динамики цены, и сложности самих моделей и текстур деревьев.

Ну да ладно, снова возвращаемся к сравнению с FSR и полнокадровым режимом.

Итак, XeSS косячит в движении — но на поверку оказывается, что в полнокадровом режиме косяков не меньше!

Местами даже больше, потому что и бильярдный стол...

...и газетные страницы, находящиеся на переднем плане, смазываются сильнее именно БЕЗ апскейла.

FSR 2.1, кстати, отрабатывает лучше XeSS, но это и не удивительно: у технологии нет проблем со сценами в динамике, да и с передним планом она практически всегда работает хорошо.

С неоновыми вывесками на заднем плане наблюдается относительный паритет во всех трех случаях. Единственный момент: у некоторых вывесок в полном кадре трубки оказываются толще, а свечение — ярче по сравнению с обеими технологиями апскейла.

С дальней перспективой все уже не так однозначно. XeSS со своим слаживанием работает лучше — это можно заметить и по световой полосе на холодильнике, и по неоновым светильникам на задней стене.

Бутылки смотрятся одинаково во всех трех случаях. Однако XeSS снова косячит, оставляя остаточное изображение за кранами на барной стойке и фигурами NPC, а также сомнительно обрабатывая вывеску с названием заведения.

Качество отрисовки колючей проволоки у XeSS не отличается от полного кадра, если не принимать во внимание дефекты движения. Однако, оказывается и FSR 2.1 работает немногим хуже, лишь замыливая края у колючек.

А вот с текстурой бетонных плит забавный момент: хотя XeSS работает хуже DLSS, он рисует их лучше, чем полнокадровый режим и FSR 2.1. А FSR 2.1 — немного лучше, чем полнокадровый режим, но это мы уже видели в Dying Light 2.

Примерно то же мы видим на прутьях забора. XeSS отрисовывает их далеко не идеально, но лучше, чем полный кадр и FSR 2.1. А что еще любопытнее — гораздо лучше он работает с постерами у забора.

Еще можно заметить, насколько четче с XeSS смотрится текст и графика на рекламном стенде, а также насколько лучше от отрабатывает дальний план улицы.

С другой стороны, пальмы с их мохнатыми стволами и тонкими кончиками листьев для XeSS являются серьезной проблемой. С ними он работает намного хуже, чем FSR 2.1 и полный кадра Тут вам и дефекты резкости, и остаточные изображения за стволами, и пропадающие детали в листве.

Следующий пример — Hitman 3. Здесь технология DLSS уже не тестировалась, так что сразу перейдем к сравнению XeSS и FSR.

Если FSR в открывающей катсцене встречает нас косяками с отработкой прозрачности облаков и дрожащим фасадом небоскреба, чего нет при задействовании XeSS...

...то у XeSS ворох других проблем!

В первую очередь можно заметить, что у технологии Intel явные трудности с отрисовкой костюма, раздувающегося от ветра: трепещущаяся ткань опять вызывает гостинг. Но это только первый косяк в списке.

Пройдем немного дальше и посмотрим вниз. Тут нас ждет наилюбопытнейшее отображение ферм строительного крана. Казалось бы, объект полностью статичен, а с дальним планом XeSS обязан работать лучше. А работает он только периодически:

Но у нас тут есть и динамический объект, хоть он и движется по заданной траектории. Вертолет изначально нарисован не слишком детализированным, но с XeSS он еще больше рассыпается и периодически оставляет за собой шлейфы из остаточных изображений.

Но и это еще не все. Как вам контуры воздушного шара, будто бы нарисованные толстым маркером (нет, cellshading не является частью визуального стиля игры), да еще и мерцающие при этом?

Впрочем, рифленый алюминий на полу одинаково замыливают обе технологии апскейла. А вот защитную сетку на плафоне XeSS рисует лучше.

В виду ограничения фотоматериалов

ПРОДОЛЖЕНИЕ СЛЕДУЕТ...

Хью Месси оцифровывает машинную вышивку с помощью программ на языке JavaScript Processing и создает из этого удивительные цифровые анимации. Этот художник работает на стыке new media, экспериментальной анимации и алгоритмического дизайна, исследуя алгоритмы машинной вышивки.

Хью стал заниматься stop-motion анимацией, когда ему было 7 лет, увидев фильм Яна Шванкмайера «Алиса». В средней школе он освоил After Effects, визуализируя в программе свои идеи и данные, делая упор на анимацию статичных картинок. Далее следовало изучение программирования и machine learning. В итоге Месси сформировал свои подходы к созданию анимации и стиль: его программы преобразуют любое изображение в «путь стежков».

Помимо анимации Хью также изготавливает то, что он называет «мягкой скульптурой»,- вещи, сотканные по алгоритмам его программ, - и сотрудничает с парижским модным домом Hermes.