Всем привет! Вот уже больше двух лет я зарегистрирован на Пикабу и чёрт дёрнул написать меня свой самый первый пост на нём за всё это время (у меня даже комментарий за всё время один). Момент для меня волнительный, надеюсь, что тема поста будет людям интересна.
Я хочу рассказать вам немного о том, как виртуальная реальность проникает в нашу жизнь на примере того как мы с товарищами сами смогли сделать моднейшее видео с компьютерной графикой. Это сейчас называется Mixed Reality, когда кадры из игрового процесса накладываются на кадры из камеры.
Получается очень круто, причём можно делать прямо в реальном времени. Мы поняли, что это лучший способ показать человеку со стороны что такое виртуальная реальности и решили сделать своё собственное видео.
_______________________________________________________________________________
Если кому интересно, то я решил вставить небольшую ремарку о том, что именно побудило меня написать свой пост. Если не интересно, то я пометил ремарку, чтобы вы её легко пропустили.
Затеял я это потому-что вижу, что на моём любимом Пикабу тема VR преступно обходиться стороной, либо освещается плохо, поэтому мало кто о ней знает. Я понял, что мой долг это исправить. Потому что VR это реально круто, я искренне верю, что тот, кто говорит иначе просто не распробовал.
Дело в том, что уже около года моя работа очень тесно связана с темой виртуальной реальности, мне повезло попробовать и тесно изучить все самые современные и крутые устройства - PS VR, Oculus и мой любимый HTC Vive. В будущем я бы очень хотел написать подробный обзор, если это будет интересно и объяснить почему HTC - лучшее, что есть на рынке сейчас (почти все обзоры с которыми я сталкивался либо попахивают проплатой, либо ленью обозревателя вникнуть в вопрос)
_______________________________________________________________________________
Но давайте перейдём к делу. Я хотел выложить само видео, но обнаружил, что мой рейтинг слишком мал, поэтому отправлю только ссылку и скриншот :)
https://www.youtube.com/watch?v=WoCQHEWm_Jo
Сделать такое видео на самом деле очень просто. Для этого нужны:
1) Самое дорогое - мощный компьютер и камера.
2) Комплект HTC Vive.
3) Специальная штука Vive Tracker, которая позволяет сделать любой объект реального мира частью виртуальной реальности. О нём я бы тоже хотел отдельно как-нибудь написать. Правда когда мы делали это видео Tracker ещё не вышел и мы справились с третьим контроллером для HTC (если кто не знает, то у Vive есть специальные контроллеры, которые люди во время игры держат в руках и которые видны в виртуальной реальности, благодаря этому вы можете, например видеть свои руки и выглядит это очень реалистично).
4) Chroma Key. Специальный зелёный задник, который вам знаком по индустрии кино. Чем больше - тем лучше. Мы снимали для этого студию.
5) Много времени на монтаж.
Я не буду углубляться здесь в технические подробности, если кому-либо они нужны, то я с удовольствием дам подробные инструкции и советы в личном порядке.
Но основные моменты я поясню. Скажу сразу - проблем в ходе работы возникла куча, но когда со всем разберёшься один раз, то дальше уже реально просто.
Самая хитрая часть это сделать так, чтобы камера в игре следовала за камерой реальной. То, что происходит на видео это не какой-то хитроумный монтаж с компухтерс графикс, это именно синхронизированный кадр, где игровая камера привязана к камере реальной.
Вот как раз для этого и нужен Vive Tracker или третий контроллер. Он физически прикрепляется к камере, после чего с помощью проб и ошибок мы программно синхронизируем источник игровой камеры с объективом из реального мира (плюс угол съёмки и угол обзора, что тоже является небольшой задачкой).
Параллельно со съёмкой надо также делать захват изображения с экрана. Это не сложно, сойдёт любая программа типа Bandicam, главное, убедиться в качестве записи, а также в том, что процессор компьютера тянет нагрузку. Нагрузка просто гигантская! Одновременно происходит 3 рендера изображения и их захват.
Вот так выглядит захват изображения. Экран при записи делится на 4 части движком Unity.
Лево-верх - передний план (всё, что между камерой и человеком).
Право-верх - специальная маска, которая поможет при монтаже, чтобы отделить задний фон от переднего.
Лево-низ - само изображение из игровой камеры, приклееной к реальной камере.
Право-низ - вид из глаз играющего.
Тут самое сложное было добиться нужного качества изображения. Ведь если у вас не не 4К монитор (у нас нет), то каждый экранчик размером всего 640 на 480. Очень мало и некрасиво, нам пришлось программно искуственно расширять разрешение. Владельцам современных NVidia карт это не составит труда.
Последний шаг это монтаж. Тут сказать особо нечего. Просто много рабочего времени
Заключение!
К чему я всё это пишу? К тому, что я считаю, что это очень крутое и очень близкое будущее, только подумайте, очень скоро любому желающему будет открыта возможность делать компьютерную графику не сильно уступающей голливудской имея при себе только камеру, хромокей и компьютер. Любой видео блогер автоматически становится участником невероятно эпических событий прямо у себя в комнате.
А ведь это применимо не только в видео-блогинге. Это совершенно другой уровень повествования на который не нужны много миллионные бюджеты. Конечно Голливуд это не потеснит, там другой уровень качества, но это продукт доступный для любого среднего человека.
И я считаю это очень круто. А ведь это только один аспект, есть ещё, например творчество с помощью VR, которое очень активно развивается Google. И это супер круто.
PS.
Спасибо всем кто дочитал до конца, очень надеюсь на ваши комментарии и любую критику. Если эта тема реально интересна людям, то я бы очень хотел о ней писать и делать это максимально интересно. Возможно вам будут больше интересны какие-то конкретные вещи.
Мне неловко об этом просить, но я также был бы очень рад плюсикам. А то и правда, без возможности вставки видео чуть-чуть тяжеловато :)
