Вы делаете 200+ фоток объекта со всех ракурсов, загружаете их в программу, а дальше редактируете полученный меш. Из программы есть экспорт в формате fbx, obj, и даже сразу на скечфаб

За 7 минут рассказываю как сделать пончик в RC галопом по Европам

2) Если вы не планируете заморачиваться над качеством моделей, хотите для души попробовать-поиграться, ваш путь - приложения на телефон. Принцип такой: вместо несколько сотен фотографий вы медленно водите камерой телефона вокруг объекта, приложение само делает снимки с разных ракурсов и сшивает внутри себя, формируя меш. У Reality Capture есть своё приложение тоже.
У меня айфон без лидара, использую чаще Scaniverce, реже Luma ai. Доступ для первого идёт с 12 айфонов, для анродидов доступ появился, но я не тестировала. Scanverce склеивает из видео, и телефон надо водить по отмеченным зонам, справляясь лучше, второе показывает конкретные положения телефона, в которые надо попасть в пространстве. В сумерках, при плохом освещении, или слишком контрастном, где глубокие тени, на модели будут дыры. И если идти путём Reality Capture, где сначала сам готовишь пачку фото, то все тени можно выправить в фотошопе\лайтруме настроив групповую обработку. Приложение на телефоне же, как считало, так и выдаст, вероятность косяков выше. Из приложения есть экспорт 3д-форматов, Scaniverce может сразу грузить на скечфаб.

Сходила в парк, отсканила деревянные столбы в форме зверей через Scaniverce

Самая лояльная площадка, без сверх-требований по оформлению моделей - тот же скетфаб, имеющий ограничения по весу моделей. Перед загрузкой из RC стоит делать ремеш, уменьшать количество полигонов. А приложения сами ужимают.

Спасибо что дочитали, подписывайтесь:
ютуб / скетчфаб / нельзяграм для нейронок / телега / линкедин
остальные ссылки тут

Деревня. Дед научился моделировать местность в масштабе 1:1. Понятно, что уже давно так делают, но к нам в село новинки доходят с некоторой задержкой. Мне вот интересно, кто нибудь так умеет? Где ты, чувак, в возрасте до 35, с правами категории В и л/а, в/о и опытом работы 3-6 лет со всем необходимым оборудованием для этого, с желанием работать и зарабатывать))). У меня для тебя есть высокооплачиваемая работа на крупном промышленном предприятии))).
И соцпакет???
И соцпакет!!!
А после 35 вы не соответствуете ценностям компании, поэтому заткнитесь.

Чуть-чуть моих размышлений на тему увиденного:

1. Создание 3д модели по фото или видео. Вроде ничего нового, фотограмметрия, но есть нюанс, 3д модель создаётся и "додумывается" нейросетью. Пока что выглядит очень сыро, но если в классических программах для фотограмметрии пару кадров не удались, свет не тот, смазано или ещё куча других нюансов, то модель нормальная не получится. Я этим занимаюсь с 2012 года и много чего уже напробовался, наэксперементировался "в стол". Так вот, если эта нейросеть будет "кушать" качественный материал для создания модели, то некоторые моменты и дополнительная детализация уже будут генерироваться, то есть шансы запороть модель, которую ты фоткал в другом городе уже почти нет. В общем, работа идёт и это хорошо.

2. В статье вскользь упоминают о нейросети, которая умеет создавать большие изображения, например, круговые панорамы. То есть, раз, два, три и все фотографы HDRI карт могут уже со своими штативами, камерами и другими штуками в свадебщики переобуваться. И так демпер в лице polyhaven убил вообще эту сферу, а сам на гранты живёт и здравствует, так теперь и он не нужен, потому что иногда сложно задник подобрать для визуализации, все как-то не то, а тут можно лихо будет корректировать все свои хотелки. Да, динамический диапазон скорее всего придется вручную делать, но я думаю, что это вопрос времени и будет нейросеть сама динамический диапазон делать.

3. Там в самом конце ещё и аниматорам привет передали. Продемонстрировали анимацию болвана по описанию.

Короче, через год-два будут решать те, кто умеет нормально формулировать свои мысли письменно и на английском. :)

А теперь сама статья, перевод тоже нейросетью, гугловской:

Цифровой ренессанс: NVIDIA Neuralangelo Research реконструирует 3D-сцены

Neuralangelo, новая модель искусственного интеллекта от NVIDIA Research для 3D-реконструкции с использованием нейронных сетей, превращает 2D-видеоклипы в подробные 3D-структуры, создавая реалистичные виртуальные копии зданий, скульптур и других объектов реального мира.

Подобно Микеланджело, создающему потрясающие, реалистичные образы из блоков мрамора, Нейраланджело создает трехмерные структуры со сложными деталями и текстурами. Творческие специалисты могут затем импортировать эти 3D-объекты в дизайнерские приложения, редактировать их для дальнейшего использования в искусстве, разработке видеоигр, робототехнике и промышленных цифровых двойниках .

Способность Neuralangelo преобразовывать текстуры сложных материалов, включая черепицу, оконные стекла и гладкий мрамор, из 2D-видео в 3D-объекты значительно превосходит предыдущие методы. Высокая точность делает его 3D-реконструкции проще для разработчиков и творческих профессионалов, чтобы быстро создавать пригодные для использования виртуальные объекты для своих проектов, используя кадры, снятые смартфонами.

«Возможности 3D-реконструкции, предлагаемые Neuralangelo, будут огромным преимуществом для создателей, помогая им воссоздавать реальный мир в цифровом мире», — сказал Минг-Ю Лю, старший директор по исследованиям и соавтор статьи. «Этот инструмент в конечном итоге позволит разработчикам импортировать детализированные объекты — будь то небольшие статуи или массивные здания — в виртуальные среды для видеоигр или промышленных цифровых двойников».

В демонстрации исследователи NVIDIA продемонстрировали, как модель может воссоздавать такие знаковые объекты, как Давид Микеланджело, и такие обычные, как бортовой грузовик. Neuralangelo также может реконструировать интерьеры и экстерьеры зданий, что демонстрируется подробной 3D-моделью парка в кампусе NVIDIA Bay Area.

Модель нейронного рендеринга видит в 3D

Предыдущие модели искусственного интеллекта для реконструкции 3D-сцен изо всех сил пытались точно зафиксировать повторяющиеся узоры текстуры, однородные цвета и сильные цветовые вариации. Neuralangelo использует мгновенные нейронные графические примитивы, технологию, лежащую в основе NVIDIA Instant NeRF , чтобы помочь запечатлеть эти мельчайшие детали.

Используя 2D-видео объекта или сцены, снятой с разных ракурсов, модель выбирает несколько кадров, которые захватывают разные точки зрения — подобно художнику, рассматривающему объект с разных сторон, чтобы получить ощущение глубины, размера и формы.

После определения положения камеры для каждого кадра ИИ Neuralangelo создает грубое трехмерное представление сцены, подобно скульптору, начинающему высекать форму объекта.

Затем модель оптимизирует визуализацию, чтобы сделать детали более четкими, подобно тому, как скульптор кропотливо обтесывает камень, чтобы имитировать текстуру ткани или человеческую фигуру.

Конечным результатом является 3D-объект или крупномасштабная сцена, которую можно использовать в приложениях виртуальной реальности, цифровых двойниках или разработке робототехники.

Neuralangelo — один из почти 30 проектов NVIDIA Research , которые будут представлены на конференции по компьютерному зрению и распознаванию образов (CVPR), которая пройдет с 18 по 22 июня в Ванкувере. Документы охватывают такие темы, как оценка позы, 3D-реконструкция и создание видео.

Один из этих проектов, DiffCollage , представляет собой метод распространения, который создает крупномасштабный контент, включая длинную альбомную ориентацию, 360-градусную панораму и изображения с циклическим движением. При подаче обучающего набора данных изображений со стандартным соотношением сторон DiffCollage обрабатывает эти меньшие изображения как части более крупного визуального элемента — как фрагменты коллажа. Это позволяет диффузионным моделям генерировать целостный большой контент без обучения на изображениях того же масштаба.

Этот метод также может преобразовывать текстовые подсказки в видеопоследовательности, что демонстрируется с использованием предварительно обученной модели распространения, которая фиксирует движение человека:

Первая полноценная цифровая модель «Титаника», лежащего на глубине 3800 м в Атлантическом океане, создана с использованием технологий глубоководного сканирования. Она позволяет увидеть уникальный трехмерный вид обломков судна и подробно изучить каждую деталь. Сканирование было проведено летом 2022 года компанией Magellan Ltd, занимающейся глубоководным сканированием, и Atlantic Productions, которые снимают документальный фильм о проекте.

Подводные аппараты, управляемые дистанционно, сделали более 70000 изображений со всех сторон, создав точную 3D-реконструкцию. Герхард Зайфферт из Magellan, руководивший планированием экспедиции, сказал, что это был самый крупный проект подводного сканирования, который он когда-либо предпринимал на глубине почти 4000 м.

Сканирование показывает как масштаб всего судна, так и мелкие детали – теперь можно рассмотреть даже серийный номер 401 на одном из винтов. Также она демонстрирует состояние обломков в целом - по сравнению с 1985 годом, деградация кардинальная.

В дальнейшем получившаяся 3D-модель может стать доступной для изучения всеми желающими.

Общий вид на левый борт носовой части "Титаника" состоянием на 2022 год

Вид на надстройку шлюпочной палубы, а именно на крышу радиорубки, каюты офицеров (справа, включая обрушившуюся крышу ванной капитана) и холл парадной лестницы (справа)

Все еще узнаваемая среди груды покореженного металла корма "Титаника"

С момента обнаружения в 1985 году ее состояние заметно ухудшилось. На изображении можно различить остатки шлюпочной палубы с холлом лестницы второго класса, остатки кормовой мачты, грузовые краны и другие детали

Модель позволяет разглядеть и знаменитый винты, чьи валы были выгнуты на несколько десятков метров вверх при столкновении кормы с океанским дно

Модель позволяет разглядеть даже серийный номер 401 на одной из лопастей винта правого борта

Фото и видео (с) ATLANTIC PRODUCTIONS/MAGELLAN