163

Как разделить музыкальный трек на составные части

Французская компания Deezer, известная своим одноименным музыкальным сервисом потоковой передачи музыки через Интернет, выложила в открытый доступ нейронную сеть, которая умеет разделять любую музыкальную композицию на составные части. Они выложили три варианта:

* разделение на голос и фонограмму

* разделение на голос, гитару, барабаны и остальное

* третий вариант дополнительно включает пианино


Над качественным решением данной задачи давно бьются исследователи. В интернете есть софт, онлайн-сервисы и гайды как это делать, например, в Audacity. Но результаты всегда оставляли желать лучшего или требовали существенной ручной доработки. И теперь мы на шаг ближе к полностью автоматическому решению этой задачи за счёт успехов в обучении нейронных сетей.


Посмотреть примеры можно в видео ниже. Видно что иногда артефакты проскакивают, но разделение в большинстве случаев происходит почти идеально. Этого удалось добиться за счёт использования огромного датасета для обучения, который в наличии у Deezer, чей каталог на данный момент включает 56 миллионов музыкальных композиций.

Софт для сплита треков написан на базе библиотеки tensorflow от google и выложен под полностью свободной лицензией на Github. Легко устанавливается и запускается с командной строки. Работает достаточно быстро даже на CPU.


Для желающих поиграться с разделением треков на базе spleeter, есть сервис, где это можно сделать в пару кликов онлайн: mvsep.com


Так же в своём пресс-релизе Deezer дали ссылку на похожий софт, от других исследователей со схожим качеством разделения треков. А так же на сайт где собирают работу различных нейронных сетей для решения этой задачи - тут интересно сравнить как один и тот же трек разбивают на части разные алгоритмы. На форуме программы пользователи предлагают доработки идеи, такие как добавить к spleeter музыкальные инструменты, например флейту или использовать spleeter для удаления музыки с фона спортивных видео чтобы Youtube не банил ролики за нарушение копирайта.

Искусственный интеллект

788 постов6.6K подписчиков

Добавить пост

Правила сообщества

Здесь вы можете свободно создавать посты по теме Искусственного интеллекта. Добро пожаловать :)


Разрешено:


- Делиться вопросами, мыслями, гипотезами, юмором на эту тему.

- Делиться статьями, понятными большинству аудитории Пикабу.

- Делиться опытом создания моделей машинного обучения.

- Рассказывать, как работает та или иная фиговина в анализе данных.

- Век жить, век учиться.


Запрещено:


I) Невостребованный контент

  I.1) Создавать контент, сложный для понимания. Такие посты уйдут в минуса лишь потому, что большинству неинтересно пробрасывать градиенты в каждом тензоре реккурентной сетки с AdaGrad оптимизатором.

  I.2) Создавать контент на "олбанском языке" / нарочно игнорируя правила РЯ даже в шутку. Это ведет к нечитаемости контента.


II) Нетематический контент

  II.1) Создавать контент, несвязанный с Data Science, математикой, программированием.

  II.2) Создавать контент, входящий в противоречие существующей базе теорем математики. Например, "Земля плоская" или "Любое действительное число представимо в виде дроби двух целых".

  II.3) Создавать контент, входящий в противоречие с правилами Пикабу.


III) Непотребный контент

  III.1) Эротика, порнография (даже с NSFW).

  III.2) Жесть.


За нарушение I - предупреждение

За нарушение II - предупреждение и перемещение поста в общую ленту

За нарушение III - бан

Подробнее
Лучшие посты за сегодня
11525

Добро пожаловать в реальный мир...

Добро пожаловать в реальный мир...
7161

Ух ты, повестка ...

6399

У женщин с четырьмя детьми появился шанс!

У женщин с четырьмя детьми появился шанс!
6037

Шутка про КНДР))!))

Шутка про КНДР))!))
5760

И так всегда

И так всегда Картинки, Мемы, Мусорка, Пакет для мусора
Показать полностью 1
5550

Ответ на пост «Да, проблема»

4922

Сборы на мобилизацию

Сборы на мобилизацию Моё, Мобилизация, Сборы, Длиннопост, Политика
Сборы на мобилизацию Моё, Мобилизация, Сборы, Длиннопост, Политика
Сборы на мобилизацию Моё, Мобилизация, Сборы, Длиннопост, Политика
Показать полностью 3
4807

Как вы поняли эту картинку для себя ?

Как вы поняли эту картинку для себя ? Юмор, Картинка с текстом, Мемы, Картинки, Грустный юмор, Баланс, Вопрос, Повтор
Показать полностью 1
4794

Теория вероятностей

Теория вероятностей
4643

История про кота Илон Маск

История про кота Илон Маск Юмор, Картинка с текстом, Мемы, Картинки, Вот это поворот, Ветеринар, Ветеринария, Повтор, Как тебе такое Илон Маск, Кот
Показать полностью 1
4376

Аэропорт, частичная мобилизация

4302

Ответ на пост «В Минобороны устроили разнос военкоматам за мобилизацию "всех без разбора"»

4297

Полезный совет

4175

Хвастовство

Хвастовство Юмор, Скриншот, Переписка, Мат, Мерин
Хвастовство Юмор, Скриншот, Переписка, Мат, Мерин
Показать полностью 2
4108

Птицу видно по полету

4041

На волне помощи мобилизованным

3869

Явно в таких уборных у зеркал не селфятся

Явно в таких уборных у зеркал не селфятся Юмор, Туалет, Башня, Картинка с текстом, Замок
Показать полностью 1
3846

Всегда храните бюроклатуру в одном месте

3823

Обручальное кольцо, не простое украшенье

3731

Ответ на пост «Мысли про мобилизацию»

Похожие посты закончились. Возможно, вас заинтересуют другие посты по тегам: