Spoilyou

Чуть-чуть моих размышлений на тему увиденного:

1. Создание 3д модели по фото или видео. Вроде ничего нового, фотограмметрия, но есть нюанс, 3д модель создаётся и "додумывается" нейросетью. Пока что выглядит очень сыро, но если в классических программах для фотограмметрии пару кадров не удались, свет не тот, смазано или ещё куча других нюансов, то модель нормальная не получится. Я этим занимаюсь с 2012 года и много чего уже напробовался, наэксперементировался "в стол". Так вот, если эта нейросеть будет "кушать" качественный материал для создания модели, то некоторые моменты и дополнительная детализация уже будут генерироваться, то есть шансы запороть модель, которую ты фоткал в другом городе уже почти нет. В общем, работа идёт и это хорошо.

2. В статье вскользь упоминают о нейросети, которая умеет создавать большие изображения, например, круговые панорамы. То есть, раз, два, три и все фотографы HDRI карт могут уже со своими штативами, камерами и другими штуками в свадебщики переобуваться. И так демпер в лице polyhaven убил вообще эту сферу, а сам на гранты живёт и здравствует, так теперь и он не нужен, потому что иногда сложно задник подобрать для визуализации, все как-то не то, а тут можно лихо будет корректировать все свои хотелки. Да, динамический диапазон скорее всего придется вручную делать, но я думаю, что это вопрос времени и будет нейросеть сама динамический диапазон делать.

3. Там в самом конце ещё и аниматорам привет передали. Продемонстрировали анимацию болвана по описанию.

Короче, через год-два будут решать те, кто умеет нормально формулировать свои мысли письменно и на английском. :)

А теперь сама статья, перевод тоже нейросетью, гугловской:

Цифровой ренессанс: NVIDIA Neuralangelo Research реконструирует 3D-сцены

Neuralangelo, новая модель искусственного интеллекта от NVIDIA Research для 3D-реконструкции с использованием нейронных сетей, превращает 2D-видеоклипы в подробные 3D-структуры, создавая реалистичные виртуальные копии зданий, скульптур и других объектов реального мира.

Подобно Микеланджело, создающему потрясающие, реалистичные образы из блоков мрамора, Нейраланджело создает трехмерные структуры со сложными деталями и текстурами. Творческие специалисты могут затем импортировать эти 3D-объекты в дизайнерские приложения, редактировать их для дальнейшего использования в искусстве, разработке видеоигр, робототехнике и промышленных цифровых двойниках .

Способность Neuralangelo преобразовывать текстуры сложных материалов, включая черепицу, оконные стекла и гладкий мрамор, из 2D-видео в 3D-объекты значительно превосходит предыдущие методы. Высокая точность делает его 3D-реконструкции проще для разработчиков и творческих профессионалов, чтобы быстро создавать пригодные для использования виртуальные объекты для своих проектов, используя кадры, снятые смартфонами.

«Возможности 3D-реконструкции, предлагаемые Neuralangelo, будут огромным преимуществом для создателей, помогая им воссоздавать реальный мир в цифровом мире», — сказал Минг-Ю Лю, старший директор по исследованиям и соавтор статьи. «Этот инструмент в конечном итоге позволит разработчикам импортировать детализированные объекты — будь то небольшие статуи или массивные здания — в виртуальные среды для видеоигр или промышленных цифровых двойников».

В демонстрации исследователи NVIDIA продемонстрировали, как модель может воссоздавать такие знаковые объекты, как Давид Микеланджело, и такие обычные, как бортовой грузовик. Neuralangelo также может реконструировать интерьеры и экстерьеры зданий, что демонстрируется подробной 3D-моделью парка в кампусе NVIDIA Bay Area.

Модель нейронного рендеринга видит в 3D

Предыдущие модели искусственного интеллекта для реконструкции 3D-сцен изо всех сил пытались точно зафиксировать повторяющиеся узоры текстуры, однородные цвета и сильные цветовые вариации. Neuralangelo использует мгновенные нейронные графические примитивы, технологию, лежащую в основе NVIDIA Instant NeRF , чтобы помочь запечатлеть эти мельчайшие детали.

Используя 2D-видео объекта или сцены, снятой с разных ракурсов, модель выбирает несколько кадров, которые захватывают разные точки зрения — подобно художнику, рассматривающему объект с разных сторон, чтобы получить ощущение глубины, размера и формы.

После определения положения камеры для каждого кадра ИИ Neuralangelo создает грубое трехмерное представление сцены, подобно скульптору, начинающему высекать форму объекта.

Затем модель оптимизирует визуализацию, чтобы сделать детали более четкими, подобно тому, как скульптор кропотливо обтесывает камень, чтобы имитировать текстуру ткани или человеческую фигуру.

Конечным результатом является 3D-объект или крупномасштабная сцена, которую можно использовать в приложениях виртуальной реальности, цифровых двойниках или разработке робототехники.

Neuralangelo — один из почти 30 проектов NVIDIA Research , которые будут представлены на конференции по компьютерному зрению и распознаванию образов (CVPR), которая пройдет с 18 по 22 июня в Ванкувере. Документы охватывают такие темы, как оценка позы, 3D-реконструкция и создание видео.

Один из этих проектов, DiffCollage , представляет собой метод распространения, который создает крупномасштабный контент, включая длинную альбомную ориентацию, 360-градусную панораму и изображения с циклическим движением. При подаче обучающего набора данных изображений со стандартным соотношением сторон DiffCollage обрабатывает эти меньшие изображения как части более крупного визуального элемента — как фрагменты коллажа. Это позволяет диффузионным моделям генерировать целостный большой контент без обучения на изображениях того же масштаба.

Этот метод также может преобразовывать текстовые подсказки в видеопоследовательности, что демонстрируется с использованием предварительно обученной модели распространения, которая фиксирует движение человека: