Meta* представила ИИ-инструмент для создания музыки и звуков по текстовому описанию⁠⁠

AudioCraft имеет открытый исходный код, а так же были предоставлены модели. Ознакомиться со всем содержимым а так же с инструкцией по запуску можно в официальном гит репозитории.

В наборе имеется сразу несколько инструментов и моделей

• MusicGen для создания мелодий по текстовому описанию. Обучена на 20 тысячах часов музыки, права на которую принадлежат Meta* или которая была лицензирована специально для этих целей.

• AudioGen генерирует звуки и эффекты окружающей среды с помощью текстовых подсказок — например, лай собаки или шаги. EnCodec обеспечивает обработку звука.

• Multi Band Diffusion: совместимый с EnCodec декодер, использующий диффузию.

Создаваемые звуки в виде свиста, сирен и гудения звучали довольно естественно. Хотя гитарные струны в песнях казались настоящими, они все равно казались, ну, скажем так, искусственными.

The Verge

Данная разработка может помочь звукорежиссёром быстро создавать аудио сцены. Отзывы о генерации именно музыки не очень хорошие.

__

Наш чат в тг где генерируем всякое, обсуждаем новости и помогаем друг другу с решением технических проблем

*Meta экстремистская организация запрещённая на территории РФ..