3D здание превращается в поезд
Я поиграл с нейросетями: Перевод Elevenlabs, фоновая музыка Suno
Трехмерная реклама теперь настолько реалистична, что кажется: этот поезд действительно мчится на вас прямо из экрана.
И угадайте, где это возможно? Конечно, в Китае.
Если вам интересны новые технологии, полезные сервисы и новости будущего, добро пожаловать в ИИшница 🍳 - пища для ума в мире высоких технологий
Нейросети для создания 3D моделей
Год назад смотрел видео в youtube “Картинку в 3D объект с помощью нейронной сети”, которая из изображения делает 3D модели. Ссылка на видео https://youtu.be/vHYxAMVFOb4?si=Q5vIlqkqz-7TAUxC Из недостатков этой нейросети было долгое ожидание генерации 3d модели (1 день) и сумма за готовую 3d модель, которая сопоставима со стоимостью заказа 3D модели на фрилансе. Под этим видео был комментарий следующего характера «Скорее это не нейронка, а просто дешёвый труд”. На тот момент я тоже подумал, что скорее всего делают люди и моделят за деньги. Со временем мое мнение поменялось. За последнее время нейронные сети стремительно развиваются. И сегодня доступно несколько нейронных сетей которые генерируют 3д модель по изображению или текстовому описанию
Большая Гауссова Модель
По своей сути Большая Гауссова Модель — это тип нейронной сети, которая может обучаться и генерировать сложные трехмерные фигуры на основе простых входных параметров. По сути, она действует как своего рода цифровой скульптор или художник, используя вероятности и статистику, чтобы заполнить пробелы между известными точками данных и создать связное, цельное целое. В одной из недавних демонстраций исследователи использовали Большую Гауссову Модель для создания детальных реконструкций целых зданий всего лишь из нескольких фотографий, сделанных под разными углами. Анализируя закономерности и особенности, общие для нескольких изображений, модель смогла заполнить недостающие детали и создать полное и точное представление экстерьера здания.
Видео по созданию с помощью программы LUMA AI
Нейросеть Pifu HD
Нейросеть PIFU - это алгоритм машинного обучения, который позволяет создавать 3D-модели человека на основе одной фотографии. Он был разработан в 2019 году командой ученых из Университета Цюриха в Швейцарии.
Процесс создания 3D модели с помощью PIFU начинается с загрузки фотографии человека в специальную программу для обработки изображений. Затем программа использует алгоритмы машинного обучения для анализа формы и пропорций лица на фотографии. На основе этих данных создается геометрическая модель, которая затем преобразуется в 3D модель.
Одной из особенностей PIFU является то, что он может создавать 3D модели людей с различными типами кожи, волос и глаз. Это позволяет создавать более реалистичные модели, которые могут быть использованы в различных областях, таких как медицина, кино и видеоигры.
Однако, следует отметить, что PIFU не является идеальным алгоритмом для создания 3D моделей людей. Он может иметь некоторые ограничения и ошибки, особенно если фотография не очень хорошего качества или если человек на фотографии имеет необычный тип лица или прическу. Кроме того, для создания 3D модели требуется достаточно высокое качество фотографии, чтобы алгоритмы могли точно проанализировать форму и пропорции лица.
Нейросеть ICON
ICON – революционная нейронная сеть, которая меняет традиционные методы создания трехмерных аватаров. В отличие от существующих методов, которые требуют либо постановочного 3D-сканирования, либо тщательно контролируемых двумерных изображений, ICON может создавать реалистичные 3D аватары из неограниченного количества реальных положений человека, используя только стандартные фотографии. ICON – Implicit Clothed humans Obtained from Normals (Неявные одетые люди, полученные от нормальных людей)
Попробовать нейросеть ICON https://hubai.ru/icon/
Создание 3D модели по текстовому запросу (описанию)
Мы рассказали Вам как нейросети могут создавать 3д модели по изображению. Но, нейросети способны не только создавать 3D модели из изображений, но и по текстовому описанию. Создание 3d моделей по текстовому описанию было лишь вопросом времени. Компания OpenAI создала генеративную нейросеть, которая способна преобразовывать текстовые промты в 3D-модели.
Нейросеть Shap E состоит из двух моделей: первая генерирует простое изображение на основе текстового запроса, а вторая — преобразовывает его в 3D-модель. Для этого она создает облака точек в пространстве, которые повторяют трёхмерную форму объекта.
Специалисты OpenAI обучили нейросеть Point-E создавать 3D-модели на массиве данных состоявшего из нескольких миллионов 3D объектов. В компании продолжат обучение алгоритмов, а также будут работать над тем, чтобы повысить качество детализации генерируемых моделей.
Нейросеть Shap-E с легкость генерирует предметы, скульптуры, архитектуру. И после повышения качества генерируемых 3д моделей в будущем это может пригодиться для 3D-печати. Или созданные нейросетью 3д модели будут появляться в виртуальных мирах,
В настоящее момент многие созданные нейросетью 3д модели из выглядят очень просто и даже примитивно, но потенциал этой нейросети весьма значителен.
Нейросеть TripoSR
TripoSR AI — уникальная платформа от компании Stability AI и Tripo AI, которая использует искусственный интеллект для создания первоклассных и удобных в использовании трехмерных моделей за считанные секунды! Благодаря современным методам синтеза и алгоритмам машинного обучения нейросеть TripoSR AI позволяет пользователям мгновенно преобразовывать тексты или визуальные изображения в сложные 3D-проекты, значительно сокращая время и ресурсы, необходимые для художественного творчества.
Попробовать нейросеть TripoSR https://hubai.ru/triposr/
Нейросеть для создания 3D модели с помощью карты глубины
Нейронная сеть, называемая генеративно-состязательной сетью (GAN), может быть обучена для преобразования двухмерных изображений в трехмерные модели. В данном случае нейросеть использует маску глубины изображения для определения глубины каждого пикселя на изображении. Затем эта информация используется для создания трехмерной модели, которая включает в себя текстуры и цвета, соответствующие исходному изображению.
Модель созданная при помощи нейрости с помощью карты глубины https://skfb.ly/oFoQz
Для обучения нейронной сети требуется большой набор данных, состоящий из пар изображений: двухмерного изображения и соответствующей ему трехмерной модели. Эти данные могут быть получены с помощью специальных 3D-сканеров или путем ручной работы.
После обучения, генеративно-состязательная сеть может быть использована для преобразования любого двухмерного изображения в трехмерную модель. Однако, следует учитывать, что результаты могут быть не очень точными, особенно если исходное изображение имеет низкое разрешение или содержит сложные детали.
Одним из основных преимуществ создания нейронных 3D-моделей является то, что оно устраняет многие ограничения, связанные с другими методами. Например, фотореалистичные 3D-модели, созданные традиционными методами, требуют обширных ресурсов, включая дорогостоящее оборудование, специализированное программное обеспечение и квалифицированных операторов. Более того, создание этих моделей вручную требует значительного времени и усилий, особенно для сложных сцен. Напротив, новый подход позволяет быстро и экономично создавать невероятно детализированные модели на основе базовых изображений. Это также облегчает создание динамических анимаций с участием виртуальных персонажей, которые убедительно двигаются и ведут себя.
Эта технология имеет множество практических применений в различных отраслях. Например, в сфере развлечений кинематографисты и игровые дизайнеры могут использовать Neural 3D Model Generation, чтобы воплощать в жизнь вымышленные миры и персонажей с большей легкостью и эффективностью, чем раньше. Между тем, преподаватели могут использовать его, чтобы предоставить учащимся интерактивную и увлекательную среду обучения, выходящую далеко за рамки простых учебников и слайд-шоу. Архитекторы и инженеры могут использовать его для виртуального тестирования проектов перед созданием физических прототипов, тем самым экономя ценные ресурсы и сводя к минимуму ошибки. Медицинские работники потенциально могут применять его для моделирования операций, помогая им в подготовке процедур и снижая риски во время реальных операций. Кроме того, розничные предприятия могут извлечь из этого выгоду, предлагая клиентам персонализированную демонстрацию продуктов удаленно через приложения дополненной реальности.
Несмотря на огромные перспективы, существует ряд проблем, которые необходимо преодолеть, прежде чем генерация нейронных 3D-моделей получит широкое распространение. Некоторые эксперты утверждают, что нынешний уровень точности все еще может не соответствовать определенным стандартам в конкретных областях. Более того, вычислительные требования для запуска алгоритмов могут существенно повлиять на производительность системы и энергопотребление, что требует мощной аппаратной настройки. Тем не менее, исследователи продолжают добиваться успехов в решении этих проблем, поэтому вполне вероятно, что в ближайшем будущем нас ждут дальнейшие улучшения.
В заключение отметим, что создание нейронных 3D-моделей — это инновационная и преобразующая технология, которая обещает изменить многие аспекты нашей жизни. По мере развития этой технологии мы ожидаем увидеть все более сложные и универсальные реализации, которые откроют множество новых приложений.
Парадокс технологий в камерах и CG
Производители камер упорно работают над стабилизацией матриц и объективов, придумывают различные громоздкие монструозные устройства, чтобы движения и тряска камеры от перемещения человека были максимально незаметны.
Разработчики CG программ имитируют то самое передвижение, шаги человека, делая максимально реалистичное движение без стабилизатора.
Объяснить это сложно. В камерах это нужно чтобы было красиво и плавно, в CG это нужно чтобы красиво и реалистично.
Такой вот парадокс.
Хочу показать вам свою анимацию "блин" сделанную в программе Endorphin 2.5.2
Endorphin — это пакет программного обеспечения для динамического синтеза движений, разработанный NaturalMotion .Эндорфин можно использовать для создания компьютерных симуляций большого количества независимых персонажей, взаимодействующих друг с другом и с миром в соответствии с краткими сценариями или «поведениями». Он сочетает в себе физику, искусственный интеллект и генетические алгоритмы для создания реалистичной анимации.
Я создал эту анимацию задав только ключевые позы:
Можно добавлять окружение с которым будут взаимодействовать ваши персонажи:
Все анимации и их окружение можно сохранить и использовать в игре или в создании мультиков и фильмов.
Длина записи анимации 5 тысяч кадров.
Заранее сделанные анимации можно соединить с симуляцией например персонаж будет идти по анимации, а его руки будут вести себя по симуляции в той позе в которую вы их поставили в Endorphin.
Основу ходьбы вы можете увидеть слева.
Поза персонажа была этой:
Можно сделать чтобы до какого момента была анимация а потом симуляция когда анимация не активная она серая(такой тип анимации не может взаимодействовать с окружающим миром и персонажами) а когда анимация белая она уже может со всем взаимодействовать это всё легко настраивается (в программе уже есть куча анимаций):
Можно сделать так чтобы симуляция плавно перешла в анимацию с помощь события перехода:
При помощи значка маска на панели инструментов можно добавить персонажам поведение например: сохранение равновесия, прыжок, принимание позы эмбриона, шатание.
Можно толкнуть персонажа используя стрелочку также в панели инструментов:
С помощью значка замочка можно ограничит или полностью остановить части тела персонажа:
А чтобы создавать объекты нужно использовать фигуры на панели иструментов серые фигуры поддаются законам физики в отличие от синих фигур которые статичны:
Можно изменять гравитацию используя пункт который так и называется и находится в правом углу экрана:
И ещё в программу можно загружать или прямо в ней создавать своих персонажей и оъекты.
В этой программе можно поиздеваться над персонажами:
Сделав например из этого:
Это:
Внутри программы есть наглядные туториалы.
Программа Endorphin 2.5.2 использовалась фильмах и видеоиграх, таких как Troy , Poseidon и Tekken 5.
В основе программы лежит технология euphoria которая вам наверняка известна по серии игр GTA и Star Wars - The Force Unleashed.
В Endorphin 2.5.2 можно загружать собственных персонажей например монстров, пришельцев и собственные объекты например танк, самолёт, вертолёт или простой стул стол т.д.
Бесплатно скачать торрент Endorphin 2.5.2 можно по этим ссылкам:
Яндекс диск: https://disk.yandex.ru/d/rz13Hk8uAiOv1A
Кейсы применения 3D моделей
В современном мире маркетинга, где внимание потребителей становится все более ценным ресурсом, использование передовых технологий становится неотъемлемой составляющей успешной стратегии продаж. Одной из таких технологий, которая с каждым днем завоевывает все большую популярность, являются трехмерные (3D) модели.
В этой статье я с радостью поделюсь с вами увлекательной подборкой кейсов и проведенных маркетинговых исследований, освещающих применение 3D технологий в онлайн-продажах.
Пример показа 3D модели на сайте с помощью сервиса Site3D Configurator
Кейс с рекламой автомобиля
В 2020 году MG Motor и Poplar Studio совместно представили новый формат 3D рекламы, который оказался настоящей инновацией. Благодаря этой кампании пользователи получили уникальную возможность взаимодействовать с реалистичной 3D-моделью автомобиля прямо на веб-странице.
Результаты этого эксперимента поразили: уровень вовлеченности вырос в 8 раз в сравнении с обычным мультимедийным контентом. В наше время, когда большинство покупок осуществляется онлайн, такие инновационные форматы предоставляют брендам уникальную возможность презентовать свою продукцию в высокореалистичной форме и улучшить опыт покупателей, даже находясь на расстоянии.
Подробнее здесь.
Эксперимент с брендовой одеждой
Rebecca Minkoff и ее команда смело утверждают, что 3D-модели и AR не только привлекают внимание клиентов, но и способствуют углубленной связи с продукцией. Более высокий уровень вовлеченности и понимания продукта приводит к большей мотивации совершить покупку. Это подтверждено данными, где покупатели, взаимодействующие с 3D-моделями, на 44% чаще добавляют товары в корзину, а те, кто использует AR, размещают заказы на 65% чаще.
Rebecca Minkoff и ее успешный опыт являются доказательством того, что внедрение 3D-моделирования и дополненной реальности в онлайн-продажи может привести к росту продаж и улучшению опыта покупателей. Эти передовые технологии открывают новые горизонты в маркетинге и помогают брендам выделиться на фоне конкурентов.
Детали читайте в блоге платформы Shopify.
Пример внедрения 3D моделей в магазин товаров для животных
Gunner Kennels использовали 3D/AR для сокращения возвратов на 5% и увеличения конверсии на 40%. Используя Shopify Plus, они позволили покупателям виртуально разместить конуру рядом со своей собакой для определения правильного размера.
Результаты:
На 3% увеличилось число пользователей, положивших товар в корзину
На 40% увеличилась конверсия в покупку
На 5% сократились случаи возврата товара
Эти результаты свидетельствуют о том, что 3D/AR технологии могут служить мощным инструментом для улучшения маркетинговых стратегий и повышения эффективности онлайн-продаж. В будущем Gunner Kennels планирует использовать 3D инновации для разработки новых продуктов и аксессуаров, улучшая опыт покупателей и повышая конверсию.
Какие еще инсайты открылись для бизнеса после применения 3D на сайте читайте тут.
Загляните в мир результатов маркетинговых исследований, где 3D технологии преображают сферу онлайн-продаж:
Согласно исследованию Vertebrae, ритейлеры, применяющие дополненную реальность во время пандемии Covid-19, отмечают увеличение вовлеченности клиентов на 19%. А потребители, использующие AR, имеют на 90% больший коэффициент конверсии по сравнению с теми, кто не использует эту технологию.
Deloitte сообщает, что 40% покупателей готовы заплатить больше за продукт, если им предоставлена возможность протестировать его с помощью AR.
iPerceptions показывает, что 60% покупателей с большей вероятностью совершат покупку в интернет-магазине, если увидят трехмерное изображение товара.
Согласно Gardner, интерактивные 3D модели приводят к 40% большему числу конверсий по сравнению с традиционным маркетингом.
Опрос GlobeNewswire говорит, что 60% покупателей желают больше интерактивных сред, таких как 3D и AR, а 42% готовы платить больше за продукты, включающие эти элементы на цифровой полке.
Cappasity сообщает, что 95% респондентов предпочитают интерактивные 3D модели видео.
Исследование Columbus показывает, что замена 2D изображений на 3D модели увеличивает средний чек онлайн-продаж на 30%, а демонстрация клиентам того, что они получают, сокращает онлайн-возвраты на 80%.
A/B тестирование от "Связного" показало, что добавление 3D обзора товара на страницу приводит к увеличению конверсии на 7%.
Итог
Инновационные 3D-технологии уже взорвали зарубежный рынок онлайн-продаж и превратили покупки в захватывающие путешествия.
Но что насчет нашей страны? Пока я видел только результаты применения фотографий 360 градусов. Буду благодарен, если кто-то поделится результатами отечественных экспериментов именно с 3D моделями.
VR-гарнитуры нового поколения – реальный виртуальный мир
Сегодня уже никого не удивить VR-гарнитурами, так называемыми очками виртуальной реальности. Когда-то бывшие выставочными образцами они давно вышли в серийное производство и есть почти у каждого современного подростка. Я лично привык видеть их в каждом парке развлечений и игровой зоне торговых центров, как одно из десятков представленных там развлечений.
На самом деле разновидностей подобного гаджета очень много. Самые простые из них позволяют посмотреть любой кинофильм с максимальным погружением, даже в неприспособленных для этого местах, таких как самолеты. Далее обратим внимание на более серьезную их разновидность, а именно очки виртуальной реальности или VR-очки. Тут уже для полноценной работы необходим смартфон и естественно, чем лучше ваш смартфон, тем эффектнее будет картинка. Тут уже можно посмотреть различные видеоролики в формате 360⁰, например, совершить 3D экскурсию по какому-нибудь городу или музею. Главная же особенность, что подобные очки позволяют поиграть владельцу в тысячи игр, в том числе и бесплатных. Ну и апогеем в эволюции VR-очков можно назвать шлемы виртуальной реальности, которые являются полноценным устройством и не нуждаются ни в каких смартфонах. Кроме того, они снабжены огромным количеством датчиков движения, что и делает их максимально реалистичными со стороны физики игрового процесса. Но они все-таки не такие и самостоятельные, т.к. их необходимо сконектить либо с ПК, либо с игровой консолью. Яркий пример использования подобных VR-шлемов это применение их в тренировке профессиональных спортсменов-стрелков, с эффектом максимального погружения. Единственный минус, что в отличие от интерактивного лазерного тира в руках спортсмена не будет электронного макета винтовки, а будет лишь некий джойстик, если его можно так назвать.
И вот совсем недавно небезызвестный Марк Цукерберг заявил от лица своей компании Meta Platforms о разработке VR-гарнитур нового поколения с эффектом смешивания реальности. По его заявлению эти очки огромный шаг на пути к реализму технологий, но при этом добавив, что все еще необходимо много времени для создания идеальной виртуальной реальности.
Я думаю, подобные гаджеты быстро найдут свое применение не только в спортивной сфере, но и сфера медицины не обойдет их стороной, позволив студентам и практикантам тренироваться в проведении операций и сложных врачебных процедур видя перед глазами реальную операционную обстановку и необходимую визуализацию процесса.