Image-to-3D - сравниваю доступные нейронки
Бюст штурмовика создан при помощи Dall-E и tripo3d.
Астрологи объявили взрывной рост объемов 3D-контента — только за последние месяцы опубликовано 13 статей про генерацию трехмерных объектов из текста и изображений.
SV3D: Stability AI показала новую модель для реконструкции изображения в 3D с высоким разрешением.
LATTE3D от NVIDIA: новый метод преобразования текста в 3D, позволяющий генерировать текстурированные сетки из текста всего за 400 мс.
Isotropic3D: генерация изображения в 3D на основе создания многоракурсных плоских изображений.
MVControl: преобразование текста в 3D с управлением по типу ControlNet (резкость, глубина и т. д.).
Make-Your-3D: преобразование изображения в 3D с возможностью управления генерацией с помощью текстовых подсказок.
MVEdit: поддерживает преобразование текста в 3D, изображения в 3D и 3D в 3D с генерацией текстур.
VFusion3D: преобразование изображения в 3D на базе предварительно обученных моделей видеодиффузии.
GVGEN: преобразование текста в 3D с объемным представлением.
GRM: эффективное преобразование текста в 3D и изображения в 3D за 100 мс.
FDGaussian: преобразование изображения в 3D с предварительной генерацией разных ракурсов в 2D.
Ultraman: преобразование изображения в 3D с упором на человеческие аватары.
Sculpt3D: и снова преобразование текста в 3D.
ComboVerse: преобразование картинок в 3D с комбинированием моделей и созданием сцен.
Не везде доступен код, так что сравнивать сложно, но первые результаты уже есть. Я сравнил восемь image-to-3d нейронок на картинках, сгенерированных в Dall-E. Все модели созданы при настройках по умолчанию.
2. TripoSR
3. CRM
4. GRM
5. mvedit
6. InstantMesh
7. tripo3d
Условно, эти решения делятся на три группы.
Самые слабые - GRM и dreamgaussian не справляются реконструкцией невидимых на картинке деталей и оставляют сквозные отверстия. Они создают деформированные, непригодные для дальнейшей обработки модели.
У второй категории решений: TripoSR, CRM, mvedit, InstantMesh - наблюдаются сложности с созданием симметричных моделей, мелкие артефакты, например, каверны и искаженные текстуры. Под ними - грязные сетки и сглаженные болванки-обмылки.
3d.csm tripo3d - лучше создают текстуры, додумывают детали на невидимых частях объекта. Хотя tripo3d умеет в ретопологию, генерациям все еще недостает выраженного рельефа. Большая часть деталей остается на текстуре.
Пока что технология image-to-3d находится в зачаточном состоянии и напоминает результаты, которые выдавали первые версии stable diffusion. Реконструкции поддаются только сравнительно простые изображения монолитных предметов.
Да, сравнивать 3d.csm, tripo3d с демо на huggingface нечестно, так как это демонстрационные версии коммерческих сервисов, которые используют более сложные пайплайны и генерируют в несколько этапов. Однако сейчас именно они юзабельнее. Более детальные текстуры - заметное преимущество, так как их можно преобразовать в карту высот и перенести часть деталей в меш.
Вряд ли результаты их работы подойдут для нужд 3D-художников, однако уже сейчас они могут быть основой для скульптинга и годятся для распечатки на FDM-принтере. Буду продолжать эксперименты в телеграм.
Нейросеть генерирует движения для 3D-моделей на основе 2D-записей
Новое слово в мокапах, модель с открытым кодом переносит движения реального человека или животного из видео на модель, при этом плавность и динамика не теряются.
Multi-view Ancestral Sampling (MAS) — это техника для создания 3D-движений из 2D-данных. Эта методика использует модель диффузии для обработки нескольких 2D-последовательностей движений, снятых с разных углов, чтобы синтезировать последовательное 3D-движение.
Преимущество
Основное преимущество MAS заключается в возможности создавать реалистичные 3D-анимации без необходимости текстового описания исходных движений, что особенно важно в областях, где сбор 3D-данных осложнён.
MAS применяет алгоритм обратного диффузионного моделирования для синтеза чистых 2D-образцов движения, а затем согласует их в единое 3D-движение. Этот процесс включает этапы триангуляции и репроекции, обеспечивая согласованность между разными взглядами на движение, что позволяет добиться высокой точности и естественности анимации.
Для более подробной информации о проекте и его технических деталях можно посетить официальную страницу проекта MAS здесь или ознакомиться с их научной работой на arXiv.
В качестве примеров применения, разработчики MAS демонстрируют, как модель справляется с анимацией профессиональных баскетбольных маневров, элементов художественной гимнастики с мячом и соревнований по конному спорту. У технологии большой потенциал в различных областях, где традиционные методы 3D-моделирования либо слишком дороги, либо технически невозможны.
Хотите узнавать первыми о полезных сервисах с искусственным интеллектом для работы, учебы и облегчения жизни? В своем телеграм канале НейроProfit я рассказываю, как можно использовать нейросети для бизнеса
В Питере шаверма и мосты, в Казани эчпочмаки и казан. А что в других городах?
Мы постарались сделать каждый город, с которого начинается еженедельный заед в нашей новой игре, по-настоящему уникальным. Оценить можно на странице совместной игры Torero и Пикабу.
Реклама АО «Кордиант», ИНН 7601001509
Нейронные сети
Нашла хорошие работы. #немоё
Превратить фильм в 3d с помощью AI
Отрывки из культовых фильмов превратили в 3D-сцены с помощью нейронки Gaussian Splatting! Полетать внутри легендарных локаций можно самому:
Нейросеть Face to All: Революция в трансформации лиц
В мире искусственного интеллекта появилась новая звезда - нейросеть Face to All, которая предлагает захватывающие возможности для трансформации изображений лиц. Теперь вы можете превратить любое лицо в произведение искусства, используя различные стили и эффекты.
Face to All использует передовые алгоритмы, чтобы преобразовать обычное изображение лица в ожившую 3D-модель. Нейросеть способна добавить объем и текстуру, создавая гипerreалистичный аватар. Но на этом возможности не заканчиваются. Face to All также предлагает целый набор стилей, которые превратят ваше лицо в произведение пиксельной графики, персонаж видеоигры или даже пластилиновую скульптуру!
Face to All открывает безграничные возможности для творчества. Художники и дизайнеры могут использовать эту нейросеть, чтобы создавать уникальные аватары для игр, фильмов или просто для развлечения. Вы можете экспериментировать с разными стилями, создавая удивительные портреты, которые выходят за рамки традиционного искусства.
Одна из лучших особенностей Face to All - это ее простота. Вам не нужно быть экспертом в области искусственного интеллекта или графического дизайна. Достаточно загрузить фотографию, выбрать желаемый стиль и запустить процесс трансформации. Через несколько секунд вы получите удивительный результат, который можно сохранить и поделиться с миром.
Face to All - это захватывающая нейросеть, которая предлагает творческие возможности для трансформации лиц. С ее помощью вы можете создавать удивительные аватары, выходящие за рамки реальности. Простота использования и разнообразие стилей делают Face to All доступным инструментом для всех, кто хочет попробовать себя в роли художника или просто поиграться с фотографиями.
Так что не стесняйтесь, загрузите свое фото и откройте для себя магию Face to All! https://hubai.ru/face-to-all/
Фото реалистичный аватар в полный рост
Перевел через Elevenlabs , не знал, что они там несут)) Благо особо не заморачивался))
Meta* сделали нейросеть audio2photoreal, которая может сгенерировать видео с двигающимися аватарами по аудиофайлу. Достаточно загрузить аудио разговора и на выходе получаются реалистичные 3D-аватары.
Проект в открытом доступе на GitHub
Теперь уровень дипфейков шагнет вперед - аватары настолько реалистичны, что воспроизводят мимику, жесты и другие движения. Алгоритм способен даже распознать, когда в речи используется ухмылка, смех.
Подписывайтесь на ИИшница 🍳 - тут все самое интересное из мира новых технологий и нейросетей 🤖