Всем привет, хочу поделиться своей новой работой из портфеля.
Данная локация выросла из небольшого видика для тик тока рядом с домиком с шаурмой. Я подумал, что сцена достойна большего и начал расширять её.
В результате у меня есть еще одна работа для портфеля. Как-то и все. Всем спасибо за просмотр, буду рад, если закинете лукас на арту: https://www.artstation.com/artwork/8Bq36n
Внизу еще парочка рендеров и сетка:
Еще раз спасибо за просмотр!!!
Отличная идея! Создание ИИ-концертов, подобных выступлениям Хацунэ Мику, — это комплексная задача, которая объединяет творчество и современные технологии. Вот подробное руководство, как это можно реализовать в 2024 году.
В отличие от классического VOCALOID, современный подход сильно relies на нейросетях и CGI.
### 🎤 1. Генерация вокала и музыки (Основа всего)
Здесь у вас есть два главных пути: использование готовых коммерческих решений или более гибких open-source моделей.
**a) Коммерческие и полукоммерческие решения (Наиболее доступные):**
* **Piapro Studio NT / Vocaloid 6:** Прямые наследники оригинальной Мику. Вы покупаете голосовую библиотеку (или создаете свою, как это делают студии), пишете мелодию и текст в редакторе, а программа генерирует пение. VOCALOID 6 уже использует ИИ для более естественного звучания. Это классика, но требует навыков работы с программой.
* **Synthesizer V (Synth V):** Очень популярная альтернатива. Многие новые виртуальные исполнители используют этот движок. Есть как платные голоса высочайшего качества (например, от Dreamtonics, Eclipsed Sounds), так и бесплатные базовые. Отличается очень качественным и натуральным звучанием.
* **CeVIO & CeVIO AI:** Еще один популярный в Японии движок. Известен своими "talk-библиотеками" для создания речи, но также отлично справляется и с пением.
**b) Нейросетевые модели (Для продвинутых, требуют технических навыков):**
* **RVC (Retrieval-based Voice Conversion):** Это настоящий прорыв. Технология позволяет "обучить" модель на любом голосе (например, на аудиозаписях профессионального певца) и затем заставить этот голос петь любые песни. Это дает невероятную гибкость и качество. Сообщества энтузиастов в Discord активно развивают эту технологию.
* **Kits.ai, Voice.ai:** Онлайн-сервисы, которые используют похожие технологии для конвертации голоса. Более user-friendly, чем самостоятельная настройка RVC.
* **Diffusion-модели (например, Stable Audio, AudioGen):** Могут генерировать музыку и звуки с нуля по текстовому описанию, но для точного создания конкретной мелодии пока менее пригодны, чем предыдущие варианты.
**Какой выбрать?**
* **Новичкам:** Начните с **Synthesizer V** (есть бесплатные версии) или **VOCALOID**.
* **Для максимального качества и кастомизации:** Освойте **RVC**.
---
### 👤 2. Создание аватара (Визуальная оболочка)
Вашему голосу нужно лицо и тело. Здесь тоже есть спектр решений.
**a) 3D-моделирование (Стандарт индустрии):**
* **Программы:** Blender (бесплатный и мощный), Maya, Cinema 4D.
* **Процесс:** Нужно создать или купить 3D-модель, сделать ей скелет (риггинг), настроить материалы и текстуры. Для стиля, похожего на Мику, нужен типичный "аниме-шейдер" для волос и кожи.
* **Где взять модели?** Можно нанять художника на площадках like **Sketchfab**, **Booth.pm**, или купить готовые ассеты.
**b) Генеративное ИИ (Быстрое прототипирование):**
* **Для концепт-артов:** Используйте **Midjourney**, **Stable Diffusion** для генерации идей и изображений вашего аватара в разных ракурсах и позах.
* **Для анимации:** Технологии вроде **Stable Video Diffusion** или **RunwayML** еще не идеальны для создания длинных и стабильных анимаций для концерта, но развиваются бешеными темпами.
---
### 🕺 3. Анимация и Motion Capture (Оживление аватара)
Чтобы аватар двигался и танцевал на сцене.
**a) Motion Capture (Наиболее качественный результат):**
* **Профессиональный MoCap:** Студии используют дорогие костюмы с датчиками (например, Xsens), которые записывают движение реального актера. Данные затем переносятся на 3D-модель.
* **Любительский/доступный MoCap:** Можно использовать системы на базе **iPhone/iPad с LiDAR-датчиком** (приложения like **Record3D**, **Rokoko Video**). Они уже дают очень хороший результат.
* **Файлы перформанса:** Можно купить готовые анимации танцев на площадках like **Mixamo** или **Danceverse**.
**b) Ключевая анимация (Вручную):**
Трудоемкий процесс анимирования каждого кадра вручную в Blender или Maya. Почти не используется для всего шоу, только для отдельных сцен.
**c) ИИ-анимация (Перспективное направление):**
* **Генерация движений по аудио:** Сервисы вроде **HeyGen** и другие экспериментальные модели уже умеют генерировать мимику и небольшие движения головы по звуковой дорожке.
* **Генерация танцев по музыке:** Active area of research. Некоторые модели (например, **Bailando**) уже могут генерировать последовательности танцевальных движений, просто "слушая" музыку.
---
### 🎬 4. Софт для рендеринга и движки реального времени (Проведение концерта)
Здесь вы собираете все вместе: сцену, свет, аватара и музыку.
* **Unreal Engine 5 / Unity:** **Золотой стандарт для современных виртуальных концертов**. (Концерт Fortnite с Marshmello и Ariana Grande был сделан на UE). Позволяют:
* Импортировать 3D-модель.
* Настроить сложные материалы и освещение.
* Запускать анимации (MoCap данные) в реальном времени.
* Создать интерактивную сцену с частицами, эффектами и т.д.
* Проводить live-трансляции с виртуальной камерой.
* **Blender:** Можно сделать весь рендеринг (видео нарезку) внутри него, но это не будет live-выступление, а заранее смонтированный клип.
* **Специализированный софт:** **MikuMikuDance (MMD)** — программа, с которой все начиналось для Мику. Бесплатная, простая в освоении, с огромным комьюнити и тоннами готового контента (модели, сцены, движения). Идеальная точка входа для абсолютного новичка.
---
### 💎 План действий по шагам:
1. **Концепция:** Придумайте персонажа (имя, внешность, историю, жанр музыки).
2. **Музыка:** Напишите песню или композицию. Сгенерируйте или запишите инструментал.
3. **Вокал:** Обработайте вокал в выбранном синтезаторе (VOCALOID, SynthV, RVC).
4. **Визуал:** Создайте или закажите 3D-модель персонажа.
5. **Анимация:** Запишите танцы с помощью MoCap (хотя бы на смартфон) или найдите готовые анимации.
6. **Сборка сцены:** Перенесите модель и анимации в игровой движок (Unreal Engine 5) или MikuMikuDance. Постройте сцену, настройте свет и камеры.
7. **Рендер:** Запишите видео или настройте live-выступление.
8. **Публикация:** Смонтируйте финальное видео и опубликуйте на YouTube, bilibili, NicoNico.
### 🚀 Примеры для вдохновения (кроме самой Мику):
* **Kizuna AI:** Одна из первых виртуальных ютуберов, кто популяризировал формат.
* **Цифровые исполнители от 1st Place (Производители Мику):** Например, **KAF** или **Цифровая группа MAXXIE**.
* **Западные проекты:** Виртуальная группа **Gorillaz** (пионеры жанра), **Hatsune Miku's Concerts**.
Создание качественного ИИ-концерта — это междисциплинарный проект. В одиночку это может быть очень сложно, поэтому ищите единомышленников: композиторов, 3D-художников, аниматоров. Удачи в творчестве
Несмотря на то, что на сервисе можно делать картинки, лучше выбрать для этого что-то еще. Это именно для генерации видео.
— Две модели для генерации видео: T2V-01 (обычная модель) и T2V-01-Director (позволяет задавать движения камере)
— Пресеты по стилистике видео. Можно выбрать из готовых, так и добавить пресет самостоятельно
— Максимальная длина промта - 2000 символов. Это очень много, достаточно для самых подробных промтов
— Есть генерация видео не только по тексту, но и по картинке, что очень удобно, можно ее оживить, приложил пример с оживлением картинки от GPT.
— Генерация картинок стоит 1 кредит. Необходимость этого под вопросом
— 1000 кредитов на старте (30 кредитов = видео 6 секунд). Хватит на 20-30 видео точно.
— 100 кредитов начисляется каждый день на вход, что равно 3м генерациям видео.
📌 Генерация видео бесплатно тут - hailuoai
📌 Если кому интересно, то пишу про лучшие ИИ в своем авторском канале (ссылка в профиле)
Продолжаем описание инструментов доступных в чат-боте SYNTX.
В первой части мы остановились на изучении графических нейросетей.
Перед продолжением обязательно, ознакомьтесь с первой частью.
Flux — это нейросеть, которая помогает создавать изображения, но с акцентом на постепенное улучшение и уточнение результата. Если Midjourney сразу генерирует картинку по запросу, то Flux работает итеративно: ты можешь начать с простого наброска или идеи, а затем постепенно "дорисовывать" или изменять изображение, добавляя детали, меняя стиль или композицию. Это похоже на процесс работы художника, который сначала делает эскиз, а потом постепенно его улучшает.
Меню → AI Design/Дизайн с ИИ → Flux
Также перед использованием Flux прочитайте Базу знаний и обратите внимание на Настройки модели, в которых вы сможете выбрать параметры, влияющие на генерацию результата.
Результаты по трём запросам в Flux:
Flux рисует точно по запросу, поэтому чем точнее вы напишете запрос, тем лучше будет результат. Картинки получаются словно из мультиков, яркие, насыщенные, наполненные естественной красотой.
Мощная способность Flux — это редактировать выделенную область и менять её по вашему текстовому запросу:
Редактор Flux работает точно с той областью, которую вы выделите, поэтому будьте внимательны при редактировании. В нашем примере тень от мышки получилась под другим направлением, потому что область для тени не была выделена.
Редактор Flux можно открыть двумя способами:
Stable Diffusion популярна среди художников, дизайнеров и просто любителей экспериментировать с визуальным творчеством. Она также поддерживает работу с разными стилями, от реализма до абстракции, и позволяет редактировать уже существующие изображения.
Меню → AI Design/Дизайн с ИИ → Stable Diffusion
Результаты по трём запросам в Stable Diffusion:
Stable Diffusion очень гибкая нейросеть, для которой нужно выставлять точные параметры в «Настройках модели». Ознакомьтесь со всеми параметрами в «Базе знаний» перед работой с этой нейросетью. Когда вы это сделаете и поймёте как параметры влияют на результат, то перед вами откроются безграничные возможности для создания неповторимых шедевров.
Экспериментируйте сколько душе угодно, ведь Stable Diffusion полностью безплатная и не расходует токены. Про токены и тарифы будет рассказано далее в отдельной статье, а мы продолжаем знакомство с нейросетями.
Ideogram — нейросеть, которая специализируется на создании изображений с текстом. Простыми словами: она умеет не только генерировать картинки по текстовым запросам, но и добавлять на них надписи, логотипы или другие текстовые элементы, которые выглядят естественно и гармонично вписываются в дизайн.
Эта нейросеть особенно полезна для создания логотипов, рекламных материалов, мемов и других изображений, где необходимо гармонично сочетать визуальный и текстовый элементы. Она значительно экономит время и облегчает процесс дизайна, даже если у вас нет специальных навыков в этой области.
Меню → AI Design/Дизайн с ИИ → Ideogram
Результаты по трём запросам в Ideogram:
Ideogram поможет вам создать изображения с вашим текстом (на английском), который будет гармонично сочетаться с картинкой и сюжетом.
На данный момент (при написании статьи) Ideogram плохо понимает кириллицу, искажая надписи на русском языке.
ReCraft — это нейросеть, которая специализируется на работе с векторными изображениями. Простыми словами: она помогает создавать, редактировать и улучшать векторную графику, которая состоит из линий, форм и цветовых заливок, а не из пикселей (как в обычных фотографиях).
ReCraft идеально подходит для создания логотипов, иконок, инфографики и других элементов, которые должны быть чёткими и масштабируемыми без потери качества. Это как "помощник-дизайнер" для векторной графики, который экономит время и упрощает работу.
Меню → AI Design/Дизайн с ИИ → ReCraft
Результаты по трём запросам в RECRAFT:
Recraft предназначен в первую очередь для создания векторных изображений. Если вы нашли свой стиль, и готовы экспериментировать, то это подходящая нейросеть.
Чтобы использовать возможность создавать векторные изображения, нужно в «Настройках модели» включить «Recraft v3 Векторная графика».
Recraft также работает пока только с надписями на английском языке.
Особенность DALL-E 3 в том, что она понимает сложные и детализированные запросы, а также умеет создавать изображения с высокой точностью и креативностью. Она может комбинировать необычные идеи, стили и объекты, превращая их в визуально привлекательные картинки.
DALL-E 3 используется для творчества, дизайна, рекламы и просто для развлечения. Это как "художник-фантазёр", который может нарисовать всё, что ты придумаешь, даже если это что-то совершенно нереальное или абсурдное.
Меню → AI Design/Дизайн с ИИ → DALL-E 3
Результаты по трём запросам в DALL-E 3:
DALL-E 3 создаёт очень креативные и насыщенные результаты со множеством деталей. Генерируется по 4 картинки сразу на один запрос, тем самым позволяя выбрать ту, которая нравится больше всего. В надписях бывают искажения.
ЭТО ВТОРАЯ ЧАСТЬ СТАТЬИ, ПРОДОЛЖЕНИЕ СЛЕДУЕТ ...
потому что больше пикабу не позволяет добавить в один пост
По опыту своего нахождения на Пикабу, не сильно верю в результат, но очень хочу его получить, поэтому буду тебе признателен, если поставишь плюсик, чтобы увидели заинтересованные люди. Анонимно, чтобы не деанониться и без рейтинга.
Я хочу стать твоим компаньоном, чтобы вместе создать действительно достойный фильм, который сможет выстрелить также, как выстрелил "Поток" в этом году.
Как я заметил по разрозненным постам про 3д здесь на пикабу, есть очень много талантливых ребят, кто умеет в анимацию и графику, но НЕ ЗНАЕТ ЧТО РИСОВАТЬ, как себя реализовать.
Я же наоборот - умею в режиссуру, сценарий, монтаж, озвучку, цветокоррекцию, постановку кадра, свет и еще много чего.
Коротко о себе: мужчина в диапазоне 45-50 лет. Примерно 10 лет назад кардинально сменил профессию. Сейчас мне интересно создание короткометражного кино, видеосъемка и продюсирование.
Не умею только в 3D и в силу возраста учиться уже не хочу - голова и так другими знаниями забита под самую крышечку, как бы не закипеть.
У меня есть готовый интересный сценарий по рассказу одного известного американского писателя-фантаста (не Кинг).
Фантастика. Чуть чуть космоса, но в основном - город будущего. Немного киберпанка. Немного эротики - совсем чуть чуть. Ибо, как известно: sex sells.
Cyberpunk (ai gen)
Если мы соберем команду из 2-3 человек (персонажи, интерьер, экстерьер, текстуры), мы, уверен, сможем за полгода-год, без напрягов, по выходным, собрать готовый 10-15 минутный фильм, который с вашими именами в титрах поедет по фестивалям.
По сценарию, в начале фильма космический экспедиционный корабль возвращается с далекой планеты, обнаружив там примитивную форму жизни. (ai gen)
Если фильм и правда "выстрелит", как я надеюсь, мы сможем сделать себе имя, а также создать свою студию и зарабатывать на этом - как равные партнеры. Но как минимум - вы точно получите охрененное порфолио и известность.
Я готов вместе создавать этот проект даже с начинающими аниматорами - если вы готовы тратить свое время и учиться в процессе.
Две черты не уважаю в людях: это лень и тупость. Если ты не такой - мы сработаемся!
Если ты любишь кино и хочешь так же как и я его создавать - мы сработаемся!
Заинтересовало? Пиши сюда: ttproduction@list.ru из почты уже перейдем в более удобный для тебя формат общения (телега, вацап, что хочешь).
Спасибо за внимание!
Сегодня мы хотим рассказать про работу одного питерского художника.
Евгений Несудимов на данный момент специализируется на моделировании оружия, что можно увидеть из его профиля на Artstation — www.artstation.com/groove619, но вот на Sketchfab мы нашли его работу по иллюстрации Андрея — «Гагаринская ракета»
Эту модель можно покрутить и оценить, насколько она хорошо вышла и попал ли Евгений в десяточку — skfb.ly/6RKqS
Пишите в комментариях понравилась ли вам работа Евгения
Подписывайтесь на наш телеграм - t.me/secret_garage
Ссылка на ВКвидео -
Презентую музыкальный клип, созданный в программе Blender 3D, который я посвящаю персонажу из старого и не совсем популярного мультика - «Побег из империи Кластера»; Её величество - Вексус. Королева планеты роботов – Кластер Прайм. Антагонист главной героини мультика «Побег из Кластер-Прайма» – Дженни Вейкман.
Все персонажи в клипе сделаны по референсам бразильского художника 14-bis. Мною сделаны локации с использованием некоторых ассетов и текстур, полностью с нуля и вручную сделаны анимации.Смотрим, наслаждаемся.
Первая Вексус вышла из-под моего пера (хотя тогда ещё из под мышки) в 2023 году. Не имея опыта ни в Zbrush ни в S.Painter’е, я лепил и моделил Вексус полностью в блендере, имея тогда ещё совсем мало опыта. В этом же году, конкретно в мае-месяце, мне ударила в голову идея переделать персонажа и сделать «как надо», чтобы и меш хороший, текстуры, ну и риг сделать, к тому же за предыдущий год я освоил новый софт, подтянул скилл и чувствовал себя в 3д-сфере уже намного уверенней.Изначально задумка была проста – переделать Векс и наделав пару рендеров, скинуть работу на арту. А потом захотелось сделать анимацию, а потом и походку а потом, как это и бывает у меня всю жизнь – идею остановить было уже нельзя. Прекрасно отдавая отчёт, что я окунаюсь в тяжёлую работу, я начал воплощать идею превозмогая все те проблемы, которые всегда случаются у человека на самообучении.
Ну и вот, борясь на последних этапах с усталостью от проекта я выжал свой нынешний максимум и хочу сказать что лично для меня этот проект стал проверкой своей целеустремлённости. И опыта само собой.
Напоследок сухие технические факты:
Железо:
Процессор: Intel Core i5 12600kf
Видеокарта: RTX 2060 Super
RAM: 64 ГБ. На финальных этапах, особенно в третьем акте (Зал управления с глобусом) блендер стабильно выедал 40 гб.
Софт:
Blender – Моделирование, риггинг, UV-развёртка, создание сцен, анимация, финальный рендер, композитинг, финальный монтаж
Движок рендера: Eevee со всеми эффектами, тени 2к, семплы; 128. 512 в сценах, где свет давал артефакты
ZBrush – скульптинг персонажей, хай-поли.
Substance Painter – Запечка нормалей и остальных карт, текстуры.
Кадров в клипе: 7700
Время на рендер:Рендер я делал частями и в разное время, посчитать точно невозможно, но если приблизительно сложить в сумме то скорее всего неделя-полторы непрерывного рендера.
Работа над проектом длилась с июня по октябрь 2024-года.
Если понравился клип, то поддержите его лайком под видео или посетите страницу проекта на Artstation - https://www.artstation.com/artwork/AZZ9Vq
Космическая станция была отмоделена в Blender, деревья и растительность созданы в SpeedTree, дополнительно использовался ZBrush, а покраска в Substance Painter.
Для визуализации использовался UE5 с включённым Lumen.
