В 2009 году вышел «Аватар», первый фильм, который показал, что 3D – это действительно может быть круто. После его выхода разные компании на хайпе кинулись разрабатывать 3D-телевизоры, надеясь впарить потребителям очередной очень нужный им девайс. Однако очень быстро выяснилось, что смотреть телевизор в очках не очень-то и удобно, а контент качеством уровня «Аватара» внезапно стоит как «Аватар».

В общем, все поигрались, да и забили, так что года с 2017 3D-экраны покинули массовый сегмент. Тем, кому прям нужно было объёмное изображение, переместились в VR.

И вот Google зашёл на новый круг со своей инновационной (действительно инновационной) системой Google Beam, в девичестве Project Starline:

Представили её в 2021 году, а разрабатывать начали ещё раньше. Тогда на хайпе был коронавирус и удалёнка, так что компания надеялась впарить клиентам оборудование для телеконференций:

Только в отличие от ныне существующих систем Google Beam действительно создаёт эффект присутствия:

Как всё это работает? К сожалению, компания практически не поделилась техническими подробностями (корпорации хранят свои секреты), но известно, что человека одновременно снимает сразу несколько камер. Затем получившееся изображение синтезируется при помощи нейросети и транслируется на 3D-дисплей, способный отображать глубину:

Наиболее вероятной технологией Beam является световое поле, когда изображение захватывается целой матрицей камер:

Основной фишкой Beam является отсутствие необходимости в очках. Приходит, включаем, общаемся. Проведённые исследования показали, что примерно треть испытуемых заметили улучшения общения: запоминается большей деталей разговора, люди меньше перебивают друг-друга и и дополняют общение жестами.

На этом хорошие новости заканчиваются и начинаются не очень. Стоит такая система как чугунный мост: 25 тысяч американских долларов за одно рабочее место. Учитывая, что систем нужно две, нужно быть готовым раскошелиться как минимум на 50 тысяч долларов.

Кроме этого, для 65-дюймового экрана нужен соответствующих размеров стол, причём желательно в отдельном закутке и с экраном за спиной, на фоне которого будет проще обрабатывать изображение человека.

Так что пока это игрушка для богатеньких, которые получили возможность поменьше гонять свои суперджеты. С другой стороны, именно так и развиваются все технологии — сначала дорого для избранных, а потом для всех.

P.S. Ещё у меня есть бессмысленные и беспощадные ТГ-каналы (ну а как без них?):

О науке, творчестве и прочей дичи: https://t.me/deeplabscience

Об играх и игровой индустрии: https://t.me/gameprodev

Народ, в общем увлекаюсь 3д моделированием, в частности делаю модельки для одного симулятора. Вопрос как стать соавтором Google Earth и экспортировать туда свои модели и есть ли ограничение по кол-ву полигонов?

Для этого достаточно снимков одного объекта с разных ракурсов.

В Google показали технологию NeRF-W, которая позволяет создавать объёмные 3D-сцены разных мест по всему миру на основе случайных фотографий из сети. Инструмент исследователей сам «очищает» изображения от прохожих и выравнивает их по экспозиции, цвету и тону.

С помощью технологии авторы воссоздали в объёме Бранденбургские ворота в Берлине, базилику Сакре-Кёр в Париже и Фонтан Треви в Риме. Для этого они использовали только фотографии с сайтов вроде Flickr. В результате у исследователей получились детальные 3D-рендеры локаций с возможностью выбрать точку обзора вручную и изменить освещение в сцене.

NeRF-W основана на NeRF — первоначальной работе исследователей, которая позволяла делать то же самое, но работала нормально только в строго заданных контрольных условиях. Технология строит карты глубины резкости с помощью нейросетей, а потом синтезирует объёмную сцену с помощью прямого 3D-рендеринга

Сама по себе NeRF не могла работать со случайными изображениями из сети: у системы возникали проблемы из-за разных показателей света, экспозиции и пост-обработки. Кроме того, на снимках зачастую находились машины или люди, и это мешало созданию объёмной модели: на ней могли появиться «призраки», пересветы, смазанные объекты и другие артефакты.

В NeRF-W исследователи дополнили технологию, снизив её зависимость от «статичности» мира. Для корректного освещения и пост-обработки авторы использовали низкополигональную проекцию: это не только позволило моделировать освещение для конкретной фотографии, но ещё и «переосветить» сцену с новых углов.

https://twitter.com/duck/status/1291310603835977728

https://youtu.be/yPKIxoN2Vf0

Вчера обнаружила интересную штуку. Если набрать  в Google Chrome некоторых животных, то можно увидеть их в 3D! Это работает только на более новых моделях телефона. Очень забавно!

Набираете в Google Chrome одно из животных:

Tiger

Shark

Turtle

Lion

Horse

Dog

Cat

Bear

Alpine goat

European hedgehog

Emperor penguin

panda

duck

leopard

pug

wolf

angler fish

rottweiler

snakes

eagle

alligator

shetland pony

macaw

Затем нажимаете View in 3D:

Затем следуете инструкции на экране. Вам потребуется просто поводить телефоном, чтобы найти твёрдую поверхность. Когда появится животное, его можно уменьшить и переместить в другое место.