Жду новый пост

Серия «Нейро-Звук»

Друзья, как и обещал - обзор на Portable-версию нейросети AudioCraft Plus!

В прошлом посте мы разобрались, для каких задач подходит AudioCraft, сгенерировали пару примеров и показали промпты. Давайте же к обзору! Предупрежу, для полноценной работы программы требуется видеокарта NVIDIA.

Для тех, кто не в курсе, эта нейросеть позволяет создавать музыкальные композиции, сэмплы и даже отдельные звуки по текстовому запросу, основываясь на заданных параметрах и стилях.

В основе лежит версия AudioCraft 2.0. В отличие от оригинала, данная версия позволяет генерировать треки длинной более 30 секунд, и имеет более детальный контроль над процессом генерации.

В AudioCraft есть две основные вкладки, соответственно два способа генерации: по текстовому запросу и на основе вашего сэмпла(мелодии)

В поле Global Prompt будет находится ваш текстовый запрос, вот несколько примеров:

Prompt: 80s electronic track with melodic synthesizers, catchy beat and groovy bass

Prompt: smooth jazz, with a saxophone solo, piano chords, snare full drums

Prompt: 182 bpm, pop punk, vintage guitars, fender telecaster, pop chord progression, dark, sad melody

Замечу, что запрос нужно писать на английском языке!

Есть так же и другие составляющие:

BPM, Key, Scale - темп и тональность трека

Prompts - количество запросов

Input text - отдельный запрос для отдельно взятого отрезка

Repeat - количество повторов

Calculate Timings - рассчитать продолжительность одного отрезка

Overlap - длительность в секундах для перекрытия одного отрезка другим.

В настройках(Settings) во вкладке Model можно выбрать модель, которую вы хотите использовать. Если у вас больше 8 Гб видеопамяти, то выбирайте large, так как она даст лучшее звучание. Если у вас 6-8 - то выбирайте medium. Ну а если меньше 6 - то small.

Скачать AudioCraft Portable

В следующем посте разберём генерацию на основе ваших сэмплов, до новых встреч!

Интересна тема генерации музыки с помощью нейросетей? Добро пожаловать в Нейро-Звук🔉

Понравилось? Тогда милости прошу в мой телеграм канал, буду ждать тебя там!🔥

В AudioCraft во вкладке AudioGen можно сгенерировать звук для вашей игры. Более того, эта нейросеть подходит почти для любых целей, будто монтаж видео, реклама или саунд-дизайн. Ниже я расскажу, как его установить!

Вот простой текстовый запрос для генерации свиста: man whisling melody

Может быть вам нужно мяуканье кошек, тогда запрос будет выглядеть так: cats play and meow

Нужны поющие птички для вашей мобильной игры? Пожалуйста: rainforest birds chirping

Этот инструмент подходит для решения огромного количества задач, связанных с саунд дизайном ваших игр и сцен, что упрощает процесс создания продукта.

Ловите инструкцию по установке нейросетки AudioCraft:
Чтобы установить AudioCraft, выполните следующее:

- Рекомендуется установить PyTorch перед установкой

- Не запускайте это, если у вас уже установлен PyTorch.

pip install 'torch>=2.0'

-Затем перейдите к одному из следующих вариантов

pip install -U audiocraft - стабильный релиз

pip install -U git+https://git@github.com/GrandaddyShmax/audiocraft_plus#egg=audiocraft - актуальная версия

pip install -e . - или, если вы клонировали репозиторий локально (обязательно, если хотите тренировать).

Также рекомендуется установить ffmpeg, либо через систему, либо через Anaconda:

sudo apt-get install ffmpeg

Или если вы используете Anaconda или Miniconda

conda install 'ffmpeg<5' -c conda-forge

Ставьте плюсик и сделаю пост с видео-установкой AudioCraft!

Интересна тема генерации музыки с помощью нейросетей? Добро пожаловать в Нейро-Звук🔉