Ну вот, допустим, я художник. Говорят, нейросети меня скоро заменят.
- Зачем ты стараешься? Лучше сразу подстроиться, нагнуться. А то обломят бедного!
В связи с этим, заявляю во всеуслышание...
С этого понедельника я обязательно брошу быть собой! О-бя-за-тель-но брошу! ))
На любой поганой работе, в коллективе, в отношениях, говорят так же:
У нас незаменимых нет! *
_______________________________ * - БОЙСЯ! Тебя можно заменить кем-то другим! Здесь ты ничего не стоишь. Даже не старайся. (И я ничего не стою... и я заменим... и я боюсь... и я не стараюсь). (прим.переводчика)
Слышу такое и заменяюсь немедленно! НЕ-МЕ-ДЛЕ-ННО! Качусь и вам советую! ;)
Бюст штурмовика создан при помощи Dall-E и tripo3d.
Астрологи объявили взрывной рост объемов 3D-контента — только за последние месяцы опубликовано 13 статей про генерацию трехмерных объектов из текста и изображений.
SV3D: Stability AI показала новую модель для реконструкции изображения в 3D с высоким разрешением.
LATTE3D от NVIDIA: новый метод преобразования текста в 3D, позволяющий генерировать текстурированные сетки из текста всего за 400 мс.
Isotropic3D: генерация изображения в 3D на основе создания многоракурсных плоских изображений.
MVControl: преобразование текста в 3D с управлением по типу ControlNet (резкость, глубина и т. д.).
Make-Your-3D: преобразование изображения в 3D с возможностью управления генерацией с помощью текстовых подсказок.
MVEdit: поддерживает преобразование текста в 3D, изображения в 3D и 3D в 3D с генерацией текстур.
VFusion3D: преобразование изображения в 3D на базе предварительно обученных моделей видеодиффузии.
GVGEN: преобразование текста в 3D с объемным представлением.
GRM: эффективное преобразование текста в 3D и изображения в 3D за 100 мс.
FDGaussian: преобразование изображения в 3D с предварительной генерацией разных ракурсов в 2D.
Ultraman: преобразование изображения в 3D с упором на человеческие аватары.
ComboVerse: преобразование картинок в 3D с комбинированием моделей и созданием сцен.
Не везде доступен код, так что сравнивать сложно, но первые результаты уже есть. Я сравнил восемь image-to-3d нейронок на картинках, сгенерированных в Dall-E. Все модели созданы при настройках по умолчанию.
Самые слабые - GRM и dreamgaussian не справляются реконструкцией невидимых на картинке деталей и оставляют сквозные отверстия. Они создают деформированные, непригодные для дальнейшей обработки модели.
У второй категории решений: TripoSR, CRM, mvedit, InstantMesh - наблюдаются сложности с созданием симметричных моделей, мелкие артефакты, например, каверны и искаженные текстуры. Под ними - грязные сетки и сглаженные болванки-обмылки.
3d.csm tripo3d - лучше создают текстуры, додумывают детали на невидимых частях объекта. Хотя tripo3d умеет в ретопологию, генерациям все еще недостает выраженного рельефа. Большая часть деталей остается на текстуре.
Пока что технология image-to-3d находится в зачаточном состоянии и напоминает результаты, которые выдавали первые версии stable diffusion. Реконструкции поддаются только сравнительно простые изображения монолитных предметов.
Да, сравнивать 3d.csm, tripo3d с демо на huggingface нечестно, так как это демонстрационные версии коммерческих сервисов, которые используют более сложные пайплайны и генерируют в несколько этапов. Однако сейчас именно они юзабельнее. Более детальные текстуры - заметное преимущество, так как их можно преобразовать в карту высот и перенести часть деталей в меш.
Вряд ли результаты их работы подойдут для нужд 3D-художников, однако уже сейчас они могут быть основой для скульптинга и годятся для распечатки на FDM-принтере. Буду продолжать эксперименты в телеграм.
Имба для художников — нейронка превращает наброски в полноценные портреты. ИИ прост в использовании и неплохо работает с мелкими деталями. Единственное — стоит быть аккуратнее с изображением рта.