Генерация музыкальных фрагментов в бесплатном аудиоредакторе AUDACITY⁠⁠

Пост логическое дополнение к статье: «Audacity обогатился новым набором ИИ-плагинов для улучшения аудио и создания музыки, предоставляемых бесплатно»

(Часть первая)

OpenVINO™ Music Generation

Эта функция позволяет пользователю генерировать музыкальные фрагменты на основе текстовой подсказки (и других элементов управления).

Ее можно найти в меню Generate:

Simple mode

По умолчанию Music Generation будет работать в режиме Simple. Описание свойств, которые можно установить в этом режиме, приведено ниже:

1. Режим : используется для выбора между простым и расширенным режимами.

2. Нормализовать : уровень децибел для нормализации сгенерированного звука.

3. Продолжительность : Желаемая продолжительность создаваемого аудиофрагмента. В простом режиме максимальная продолжительность составляет ~60 с.

4. Какая музыка? подсказка: используется для описания типа создаваемой музыки. Это может быть жанр, исполнитель, стиль и т. д. Например, «Фортепианный фанк», «Жевательная резинка евродэнс», «Рэгтайм-пианино в стиле Скотта Джоплина».

5. Исходное изображение : используется для выбора между несколькими предварительно определенными «базовыми» аудиофрагментами ~5 секунд, которые используются для определения начальной структуры (темп и т. д.) для сгенерированного звука. Каждые ~5 секунд генерируемого аудио будут представлять собой модифицированную форму «базового» фрагмента. Если выбрано «Нет», не будет «базового» аудиофрагмента, используемого для определения структуры (темп, мелодия) сгенерированного аудиофрагмента — поэтому сгенерированные результаты могут быть более творческими — но недостаток «Нет» заключается в том, что максимальная продолжительность сгенерированного звука составит ~ 5 секунд.

6. Сила : значение от 0 до 1. Оно используется для контроля того, насколько далеко сгенерированный звук может отклоняться от «базового» аудиофрагмента (исходного изображения, описанного выше). Чем ближе значение к 0, тем ближе сгенерированные результаты будут к заранее определенному аудиофрагменту. Чем ближе значение к 1, тем дальше может быть сгенерированный результат. Например, версия 0.1 будет генерировать что-то с небольшими изменениями. Значение, близкое к 1, например 0,9, позволит сгенерированному аудиофрагменту сильно отклоняться от базового аудиофрагмента с точки зрения темпа, высоты тона, мелодии и т. д. Оно также используется в качестве множителя количества итераций UNet. -- TL;DR, это означает, что более низкие значения силы будут воспроизводить звук быстрее.

7. Начальное значение : используется для инициализации RNG (генератора случайного шума). Если оставить это поле пустым, в качестве начального значения выбирается произвольное значение, которое будет отличаться каждый раз, когда вы нажимаете «Создать», поэтому сгенерированные результаты могут сильно различаться для каждого «Создать». И это может быть хорошей вещью для экспериментов. Чтобы получить согласованные результаты или воссоздать что-то ранее созданное, необходимо установить начальное значение.

8. Шкала руководства : значение, которое показывает, насколько поколение будет соответствовать вашей текстовой подсказке. Рекомендуется установить от 7 до 9.

9. Число шагов вывода : количество итераций UNet, используемых для генерации каждых 5 секунд звука. В целом, чем выше этот параметр, тем выше качество создаваемого звука. Но вы можете начать видеть снижение результатов, начиная с 25 итераций или около того.

10. Выгрузка моделей : при первом «Создании» после открытия Audacity модели ИИ загружаются в память. После загрузки они сохраняются в памяти, чтобы сократить время, необходимое для последовательных вызовов «Generate» (что удобно для экспериментов). Когда вы закончите генерацию и будете довольны результатами, вы можете нажать «Выгрузить модели», чтобы освободить системную память.

11. Выбор устройства : набор устройств OpenVINO™, которые будут использоваться для запуска различных этапов конвейера стабильной диффузии. Плагин должен по умолчанию установить что-то разумное, но не стесняйтесь вносить изменения, если хотите поэкспериментировать с разными устройствами.

12. Планировщик : алгоритм, используемый для шумоподавления на каждой итерации цикла UNet. Мы обнаружили, что EulerDiscreteScheduler обычно дает наиболее приятные результаты, но не стесняйтесь экспериментировать.

Совет : не переусердствуйте. Если вы только начинаете, вам нужно только заполнить поле « Какая музыка?». & Свойства продолжительности . Остальные параметры по умолчанию должны давать вполне разумные результаты

После нажатия «Создать» вы увидите всплывающее диалоговое окно:

Аудиофрагмент будет сгенерирован как новая дорожка, которая будет выглядеть примерно так:

Совет : сгенерированный трек будет помечен свойствами, которые использовались для его создания. Одним из важных свойств, на которое следует обратить внимание, является семя (обведено выше). Если вы хотите снова воссоздать именно этот аудио фрагмент, вам нужно будет использовать это начальное значение.

P.S. Кто знаком с нейросетями и принципами генерации, наверняка встречал, такое название как SEED. В примере выше выделен красным.

В следующем коротком посте мы рассмотрим создание стерео дорожки. Читаем тут.

Больше о создании нейромузыки, нейрографики, нейроилюстрации можно узнать пройдя далее