Делаю игру на Unity3d. Эпизод 9: ComfyUI, AI генерация изображений, 3д меша, текстур и анимирование
Здравствуйте, дорогие Пикабушники и Пикабушницы!
Темой "пятничного моё" будет вышеупомянутая AI генерация. И генерировать будем в ComfyUI.
ComfyUI — это современный и модульный графический интерфейс для работы с нейросетями Stable Diffusion, разработанный для максимально простого и гибкого взаимодействия с моделью. Это своего рода узловой интерфейс (node-based GUI), в котором пользователи могут визуально создавать сложные операции по обработке изображений или их генерации с помощью нейронных сетей.
Основные особенности ComfyUI:
Узловой подход (Node-based UI): Пользователи работают с блоками (или узлами), которые представляют различные функции. Эти узлы можно соединять между собой, создавая сложные графы для обработки изображений. Узлы могут включать:
Настройку параметров генерации.
Применение различных фильтров и эффектов.
Указание моделей и разверток.
Такой подход намного удобнее классических интерфейсов, где приходится вручную прописывать параметры в строках команд.
2. Поддержка Stable Diffusion: ComfyUI разработан специально для взаимодействия с моделями Stable Diffusion, включая генерацию изображений, модификацию и эксплуатацию возможностей обработки.
3. Гибкость и кастомизация: Система создана для опытных пользователей, но в то же время позволяет комфортно новичкам собирать нужный процесс благодаря визуальным элементам. Имеется возможность добавлять свои собственные узлы или использовать сторонние расширения.
4. Интерактивная визуализация: Вы напрямую видите, как данные передаются между узлами и какие изменения на выходе дают те или иные параметры. Это полезно для дебага и улучшения понимания работы с моделью.
5. Поддержка сложных сценариев работы: В ComfyUI можно совмещать множество операций генерации и обработки в рамках одной цепочки:
Инпут (текстовый запрос, изображение).
Работа с различными моделями.
Добавление эффектов (например, инверсии, upscale или фильтрации).
Вывод готового изображения.
6. Интеграции с популярными библиотеками: ComfyUI поддерживает интеграцию с различными моделями и компонентами, используемыми средствами генерации изображений. Она часто обновляется, поддерживая последние версии архива моделей Stable Diffusion.
А пример создания персонажа под ключ в моем новом видео:
А потом приглашаю в комментарии - задавайте вопросы по видео и просто по юнити!
Приятного просмотра!
Делаю игру на Unity3d. Эпизод 8: Compute shaders
Здравствуйте, дорогие Пикабушники и Пикабушницы!
Сегодня поговорим о вычислительных шейдерах.
Вычислительные шейдеры (Compute Shaders) — это специальные программы, которые исполняются на графическом процессоре (GPU) и предназначены для выполнения произвольных вычислений, не связанных напрямую с отрисовкой кадров. В отличие от традиционных шейдеров (вершинных, фрагментных, геометрических), вычислительные шейдеры запускаются отдельно от графического конвейера (pipeline) и обеспечивают выполнение мощных параллельных вычислений.
Основное преимущество вычислительных шейдеров связано с тем, что GPU обладает огромным количеством вычислительных ядер, способных выполнять параллельные задачи намного быстрее, чем CPU.
Для чего нужны вычислительные шейдеры?
Они применяются в различных задачах, где требуется высокая производительность и возможность распараллеливания. Рассмотрим основные сферы применения:
1. Компьютерная графика:
Генерация текстур: Например, процедурное создание текстур (в реальном времени).
Симуляция частиц и физические эффекты: Просчёт поведения частиц, разрушений, тканевой физики и других эффектов.
Обработка освещения: Такие техники, как глобальное освещение или расчёт шейдинга, могут выполняться с использованием вычислительных шейдеров.
Обработка данных для рендеринга:
Сортировка объектов.
Быстрые фильтрации (например, Gaussian Blur, эффекты пост-обработки).
2. Физические симуляции:
GPU способен рассчитывать реалистичное поведение объектов:
Симуляция жидкостей (например, с помощью решателей уравнений Навье-Стокса).
Сжатия объектов (метод конечных элементов).
Расчёт мягких тел (soft body physics).
3. Машинное обучение и нейросети:
Вычислительные шейдеры могут обрабатывать данные для обучения нейронных сетей и выполнения ускоренных операций (например, свёртки в CNN).
4. Обработка больших массивов данных:
Выполнение сортировки данных (например, алгоритм Radix Sort).
Построение физико-математических симуляций — от сложных систем частиц до устойчивой к деформациям геометрии.
Обработка 2D/3D массивов: Волновые симуляции, обработка многомерных точек данных.
5. Симуляция природных явлений:
Вода, дым, снег — GPU выполняет симуляцию частиц для достижения реалистичного эффекта.
Облачные эффекты (например, расчет шейдерного шума для облаков).
6. Процедурная генерация:
Используются для генерации 3D-объектов, ландшафтов, текстур и анимаций. Например:
Gelände (ландшафт).
Бесшовные шумовые текстуры (Perlin Noise, Simplex Noise).
Ну а я покажу, как вычислительные шейдеры можно использовать в игре
А потом приглашаю в комментарии - задавайте вопросы по видео и просто по юнити!
Приятного просмотра!
График дня 01.07. Про распродажу в Steam
Выбрали уже себе тайтлы, которые даже не скачаете никогда?
Больше графиков на ВСЕ темы в моём тг t.me/everyday_chart
Старт лиги в Path of Exile ознаменовался мощной DDOS атакой на сервера игры
GGG снова опубликовали пост, в котором пытаются поддерживать легенду о том, что их сервера дудосят. Я решил пораскинуть мозгами, кому это выгодно и единственная мысль, которая мне пришла в голову это: Крис Уилсон мстит за увольнение из GGG и лично дудосит их сервера.