Слово «нейросети» в последний год вызывает противоречивые чувства: у кого-то тревогу, у кого-то — радость. Меня, как художника по 3D-моделям, волнует практический вопрос: можно ли с помощью ИИ создать достойную модель для печати?
Я решила провести эксперимент. Выбрав популярный нейросервис для генерации 3D-объектов, я загрузила в него картинку Мику с Pinterest (скорее всего, тоже нарисованную нейросетью).
Первое впечатление: общая форма читается.
При детальном рассмотрении: очевидны проблемы с мелкими деталями — руками, волосами, артефакты сетки и непонятные мелкие формы. Как готовый продукт такая модель не годится.
Но я не остановилась. Разделив сгенерированную модель на части (голова, куртка, ноги, ботинки), начала работу над каждой: перестраивала сетку, исправляла ошибки, детализировала. Итог моих усилий на фото.
Мой вывод: нейросеть — это инструмент для быстрого наброска, проработки общей идеи. Она ускоряет начальный этап, но финальный результат по-прежнему зависит от руки и глаз человека. Это не замена художника, а новый вид кисти.
Но вопросы которые мучают
Чье авторство этой фигурки?
По отношению к другим художникам не использующим нейросети это честно?
Как бы вы отнестись к работе художника, зная что он использует нейросети?
Мне искренне интересно узнать ваше мнение. Давайте обсудим это в комментариях.
Не так давно в отечественном медиа и игрушечном пространстве появился заморский уродец Лабубу. Я напечатал одного ради интереса, но нам с детьми совершенно не понравился агрессивный вид монстрика.
Первый Лабубу, которого я напечатал
При этом я заметил очень большое сходство между современной игрушкой Чебурашки и игрушками Лабубу: пушистая фигурка и пластиковые вставки.
1/2
Внешний вид игрушек. Очень похожи
Так у меня зародилась идея скрестить этих персонажей и получить Чебубу. И так 28 мая я начал работу над образом. Тут стоит сделать оговорку, что моих навыков 3d моделирования не хватает для реализации подобной модели, поэтому я прибег к помощи специалиста на фрилансе. Так как я ясно представлял концепцию новой игрушки, я снабжал исполнителя максимально подробным описанием того что нужно сделать и поправить. Для больше наглядности генерировал примеры и эскизы.
Ключевая концепция игрушки стостоит в том, чтобы адаптировать образ Лубубу под отечественный культурный контекст, добавив ему характерные узнаваемые уши, а агрессивные черты заменить на добродушные и игривые. Проще говоря, дать более привлекательную и узнаваемую альтернативу.
Вооружившись помощью современных технологий (в лице нейросетей), я подготовил эскиз для разработки модели.
Самый первый эскиз Чубубу
Очень забавный зверек, но я сразу понял, что если к кому-то не добавить большие круглые уши, в конечном итоге получится родственник Чебурашки. Тем не менее, я не стал опускать руки и продолжил работу. Даже если бы получился Чебурашка, то все равно мы создали бы хорошую модель любимого отечественного детского персонажа. Было решено сначала сделать тельце, а после него заняться мордочкой.
1/2
Первая черновая 3D модель Чебубу
Как видите, художник начал работу ровно так как и договаривались. Вместо лица оставил пустую поверхность. Я не придал этому значения, пока не сделал тестовую печать для проверки текстуры шерсти
Первая напечатанная модель Чебубу
И вот когда я вертел в руках отпечаток, меня осенило! Произошло то, что я очень люблю в творчестве - в процессе создания чего-то рождаются крутые идеи-ответвления. В этот раз случилось создание абсолютно гениального, так сказать, кроссовера. Благо у меня осталось немного пластика золотого цвета и краски металика...
1/2
Чебутомик или атомикбу. Полностью золотой теперь тоже канон
Этому персонажу я написал даже коротенький лор:
Изделие "Ч-6". Не пошло в серию по причине ошибки в расчетах центра масс допущенной при проектировании. Опытные образцы выявили невозможность стабильного удержания положения в пространстве . Тестовые задания прерывались спонтанным резким переходом образца в горизонтальное положение (падением). Прошу оставить опытный образец для подсобных работ на стройке зоопарка. Ведущий инженер Геннадий Каиман
Надеюсь, этого достаточно для тега рукоделия. Рукодельники 🫶
Так я отметил, что у нас теперь будет 2 версии модели: с обычной мордочкой и мордой кирпичом плоской.
Для разработки мордочки, я сделал еще несколько эскизов с фокусом на мимике
1/2
Вторая часть эскизов Чебубу
И у нас получился вот такой тип
1/2
Возможно, его разыскивает полиция
Я повеселился. Потом чуть-чуть погрустил, что не могу скинуть свои мысли художнику и приступил к генерации объемных эскизов.
Глаза делаю больше и выразительнее, а мордочку более рельефной. Для более детального примера делаю объемную иллюстрацию. Такие большие зрачки вызывают подозрения, но получается мило.
Творческая дорожка уводит модель все дальше от Лабубу и даже от Чебурашки. Уже начинает проглядываться что-то от ежика. Тем и интереснее, что получится в итоге.
1/2
К вот таким красавчикам мы стремились
И вот результат! Чебубу значительно похорошел, хоть и стал похож на обезьянку, но разве это плохо?
1/3
Смотрит на тебя практически как финальный образец
Дальше было много подгонки для процесса печати. Пришлось убрать все тонкие элементы. Сделали очень крутые мягкие переходы шерсти от одной части тела к другой. Часть финальной полировки модели я не буду описывать подробно, там были маленькие точечные изменения для повышения качества печати. Просто покажу, что получилось
Было сделано несколько вариантов мордочек на любой вкус
Вся эта работа заняла больше месяца времени. Это хобби, и я не могу позволить себе художника, который целый день будет рисовать мне варианты, поэтому пришлось пожертвовать скоростью, в угоду качеству. Вносить пришлось правки умеренно, предварительно проверив и подготовив к каждой описание и эскиз.
И вот когда мы завершаем модель, как гром среди ясного неба, приходит новость: "Союзмультфильм подал заявку на регистрацию товарного знака «Чебубу»".
1/2
Чебубу по версии Союзмультфильма
Пока непонятно, чем конкретно грозит это моему Чебубу, в которого вложено столько сил, любви и пластика, но похоже, придется что-то придумывать. Если у вас есть идеи, поделитесь, пожалуйста. Жалко тратить время на это, а не на творчество, но кто бы мог подумать, что кому-то в голову придет регистрировать такой товарный знак
Моя модель опубликована и находится в свободном доступе. Это моя первая серьезная публикация на Printables. С удовольствием, приму ваши советы по оформлению и доработке модели.
Это было пятничное, пока еще, моё. Спасибо, что дочитали.
P.S. я веду телеграмм канал имени себя, в котором делюсь процессом создания чего бы я в текущий момент не создавал, стараюсь остроумно шутить и там же можно написать мне лично: https://t.me/groog_ru
Привет всем! Недавно открыл для себя в рамках одного проекта open source инструмент Stable Projectorz и возможность к нему подключать любые 2д и 3д нейросетевые модели. Этакая замена Substance Painter, но только без pbr (и не замена :Р)
Помимо всего прочего я попробовал генерацию моделей через этот же софт, но с движком Hunyuan 2. Выходит интересно!
Доработанная миска с малиной из картинок ниже. Только добавил текстуру с помощью нейросети.
Со сложными объектами, особенно выделенными на фоне, справляется неплохо. С совсем мелкой детализацией - так себе. А вот если объект имеет общие формы - очень даже! Мне кажется, это отличный способ работы с лоу-поли моделями если вы делаете игру.
Вместо покупки супер-детализированных моделей и упрощения их для вашей игры, просто берете скрин с сайта покупки моделей, прогоняете через ИИшку и получаете лоу-поли модель со средними текстурами (которые можно доработать до крутых, кстати).
Если подытожить и провести небольшой анализ по скринам с тестов, то: 1) Модель цветка неплохая, детализированная сетка, но врет по текстурам, можно доработать до норм
2) Женщина в платке с акварельного арта всратая, но сетка нормальная, так что можно доработать текстуры до нормальных
3) У наушников поломанная модель, нужна доработка. И текстуры
4) Дерево не вдуплилось от слова совсем. С мелкими деталями - большая проблема. Но оно так-то и у всех.)
5) Пуф получился отличным сразу
6) Миска с малиной классная по геометрии, но нужны нормальные текстуры
7) Кресло хорошее сразу. Можно слегка доработать
8) Кофемолка в целом ок, но со стеклом большие проблемы, как и ожидалось. В остальном дорабатываемо.
Выводы: софт, генерирующий 3д модели по картинкам еще достаточно сырой. Но в нужных руках и с доработкой - вполне себе ничего!
Нейросеть Hunyan3D-2, генерирующая 3D модели по 2D картинкам, от компании Tencent появилась недавно в открытом доступе. Ее рабочая версия в виде «3D студии» существует, но доступна только владельцам китайских мобильных номеров (или если у вас есть WeChat). Но также она выложена в виде исходных кодов и поэтому ее уже «запилили» для использования с ComfyUI. Если вам повезет, то вы сможете все поставить быстро и просто. Если же нет, то... но об этом упомяну позже.
Враппер для ComfyUI под названием ComfyUI‑Hunyuan3DWrapper/ создал юзер Kijai и он пока находится в экспериментальном статусе и в него постоянно вносятся изменения. Но он уже в достаточно работоспособном состоянии, особенно если вы используете ComfyUI под Windows.
Системные требования: видеокарта Nvidia (на CPU очень медленно) хотя бы с 8 Гб видеопамяти (у меня RTX 4060) и 16 Гб ОЗУ (но лучше больше, так как у меня нейросеть при работе съедала от 17 до 20 Гб оперативки) и Windows 11.
Порядок установки следующий:
Качаем последнюю версию ComfyUI. Так как у меня на компьютере зоопарк из разных нейросетей и версий Python, то все дальнейшие действия будут относиться к Portable версии. Распаковываем архив. У меня он находится по пути D:\ComfyUI-windows-portable\ относительно него и будут дальнейшие команды.
Затем открываем командную строку, переходим в папку D:\ComfyUI_windows_portable\ComfyUI\custom_nodes\ (или заходим в нее в Проводнике и вводим в поле пути:cmd и нажимаем Enter) и устанавливаем враппер
Если же после этого растеризация и создание текстур не заработают, то тогда вам придется собирать его и mesh генератор вручную, установив библиотеки разработчика C++, Cuda, заголовочные файлы Python и взяв в руки бубен. Если же вы вдруг решите все поставить под Linux, то вам придется собирать ядро растеризации и генератора сетки в любом случае — читайте внимательно инструкцию на github враппера.
Далее качаем саму модель Hunyan3D-2 в виде safetensor файла по ссылке и кладем ее в папку D:\ComfyUI_windows_portable\ComfyUI/models\diffusion_models\.
Если после этого запустить ComfyUI и попытаться открыть пайплайн генерации, то мы получим кучу предупреждений об отсутствующих нодах. Нам нужно установить расширение ComfyUI‑Essentials, если оно у вас не установлено ранее.
Это проще всего сделать через ComfyUI‑Manager. Для этого в командной строке снова переходим в папку D:\ComfyUI_windows_portable\ComfyUI\custom_nodes\ и там ставим расширение командой
Все. Можно запускать ComfyUI. После этого нужно открыть (или перенести в окно браузера) пайплайн генерации hy3d_example_01.json, который находится по пути D:\ComfyUI_windows_portable\ComfyUI\custom_nodes\ComfyUI-Hunyuan3DWrapper\example_workflows.
Нам высыпет кучу ошибок, поэтому вызываем менеджер кнопкой Manager в правом верхнем углу и выбираем пункт Install Missing Custom Nodes.
Отмечаем ComfyUI_essential и нажимаем на Install. Потом перезапускаем ComfyUI.
Теперь все должно запуститься и все ноды обнаружиться.
После нужно указать путь к модели, так как по умолчанию в примере он неверный. Щелкните на название модели в поле model и выберите ее из появившегося списка.
Можно нажать на генерацию и насладиться 3D моделью. Но можно и не насладиться. Если у вас не выводит текстурированную модель, то нужно удалить, вытащить на экран и заново связать две ноды: Hy3DExportMesh и Preview3D:
После генерации модели сохраняются как обычно в папке output в двух GLB файлах: просто геометрия и с текстурами. Для конвертирования можно использовать любой софт или сервисы, например я конвертировал в OBJ тут: https://convert3d.org/glb‑to‑obj
По скорости: на моей машине генерация 3D‑модели занимает порядка 200–220 секунд. Все зависит от числа полигонов и не рекомендуется делать его большим (по дефолту стоит 50 000 полигонов). Для сравнения ниже внешний вид модели при числе полигонов 300 000, 50 000, 10 000 и «шакальных» 1000 штук.
Я создавал 3D модели фигурок роботов для использования в версии моей настольной игры «Битва Големов» для Tabletop Simulator, который после экспорта в OBJ и вставки в него модели на 50 000 полигонов выдает ошибку. Поэтому я остановился на 10 000, благо игра сама оформлена в low-poly стиле.
Также вы можете включить параметр сглаживания сетки:
Модели нормально импортируются в тот же Blender и там дорабатываются. Маленькая хитрость — если экран 3D модели ничего не отображает, попереключайте режимы кнопками в левом верхнем углу ноды:
Итоговый результат в Tabletop Simulator на картинке:
Да, генерация еще не оптимальная и сильно зависит от качества исходного изображения и его сложности, так как картинка импортируется в низком разрешении. Есть вопросы к скорости и качеству текстуризации, но мы еще в начале пути 3D моделей и уверен дальше будет лучше.
Пользователь Igor Aherne выложил в свободный доступ сборку Trellis — мощный AI-инструмент для генерации 3D моделей из изображений от Microsoft, оптимизированную для видеокарт Nvidia с 8 Гб видеопамяти (типа моей 4060)
Идем на Github, качаем архив, распаковываем его себе и запускаем run-gradio-fp16.bat. Если у вас 12-16 GB, то можно запустить полную версию с полной точностью (а не половинной). Можно работать через также через API.
После в браузере получаем доступ к UI по ссылке 127.0.0.1:7860. Генерация на моей видеокарте 3D-ассета занимает порядка 20 секунд, GLB файла (меш + текстуры) порядка 30 секунд.
Нравятся мне все эти восточно-азиатские мотивы, поэтому неофициальный праздник ниндзя/ниндзюцу (5 декабря), решил праздновать каждый последующий год "официально". Никакого скрытного застолья и пряток по углам, моё празднование заключается в разработке фигурок на столь манящую тему.
Всё началось в марте 2024, когда нейросесть создала вот такой заманчивый образ, мимо которого я не смог пройти. Детали не ясны, но это даже хорошо, ведь каждый может увидить что-нибудь своё.
Разработка началась в апреле, с мыслями о том, что прошлый "День ниндзя" я пропустил и надо поскорее наверстать.
Спустя пару дней модель была полностью готова к печати.
Возвращаясь обратно к генерации складывается чувство, что это должна быть миниатюра в ±3 см. Что бы принтер не съел мелкие детали, решил запустить печать высотой в 15 см. Не стандартный масштаб 1:11, но на тот момент мне не было дела до масштабов.
Примерно на этом месте у многих возникнет вопрос: "Что за непонятная катана?" Я и сам не понимал что сгенерировала нейросесть, но переделывая оружие в металл ссылался на образ традиционной нагинаты.
Спустя 9 дней, после печати, ниндзя был готов.
На момент 17 апреля 2024 имел лучшую покраску, которую я только мог выдать.
Сейчас рассматривая фигурку "опытным" взводом вижу косяки в анатомии, недочёты в обработке пластика и покраске. Так же хочется дополнить образ тканевыми элементами. Переделать или сделать v.2., но остальные творческие планы двигаться пока не буду.
Знакомые говорят продать его, но всё же это сырой прототип, который я не решался даже показывать здесь, не то что продавать. Если вас заинтересовала данная работа, готов улучшить её для вашей полки под заказ в любом размере. А пока просто продолжу творить и готовить новую ниндзя-фигурку: "Непобедимый лотос", о которой расскажу в будущих постах, спасибо за внимание. С наступающим Китайским Новым годом.
Заказать фигурку, 3D модель, пообщаться и посмотреть этапы разработки может тут: https://t.me/miniwander
