Сочиняем музыку с помощью искуственного интеллекта: подражаем Бетховену и Моцарту и продлеваем тему Gravity Falls в восемь раз

Всем привет! Хочу рассказать про одно своё несерьёзное увлечение. Как известно, ИИ переживает сейчас самый бум и грозит автоматизировать примерно все профессии на планете. Наконец, он добрался и до креативных людей:

Сочиняем музыку с помощью искуственного интеллекта: подражаем Бетховену и Моцарту и продлеваем тему Gravity Falls в восемь раз Музыка, Искусственный интеллект, Gravity Falls, Моцарт, Людвиг Ван Бетховен, Видео, Длиннопост

Если серьёзно, то о шедеврах речь пока не идёт, но прототипы, существующие уже сейчас, впечатляют. Я использую модель MuseNet, разработанную компанией OpenAI, одним из основателей которой был Илон Маск. Если дать ей небольшой стартовый фрагмент, она пытается предсказать, что будет дальше, и таким образом «пишет» новую музыку в меру своего разумения. Важно отметить, что не используются никакие заданные алгоритмы или шаблоны сочинения, модель просто натренировали на огромном массиве существующих композиций в разных стилях и велели креативить исходя из этого.


Когда я узнал про эту разработку, то первым делом запихнул в модель тему мультсериала Gravity Falls. Его фанатам, к которым я отношусь, прекрасно известно, что главная тема крайне выразительна, но, к сожалению, очень коротка. С помощью MuseNet я продлил её до четырёх минут. На видео первые 30 секунд — это оригинальная тема, данная в качестве затравки, а после этого оно переходит в сочинительство машины:

Знатоки теории музыки, я уверен, найдут в результате множество неидеальностей и шероховатостей. Но лично у меня, который начинал знакомство с технологиями в начале века на четвёртом Пентиуме и диалапе, от таких результатов происходит отвал башки. Напомню, это прототип, технология даже ещё не отполирована.


Модель способна также работать вообще без шаблона, при этом можно выбрать стиль сочинения из небольшого списка вариантов. Я попросил модель сочинить что-то в стиле Бетховена, и с энной попытки получилось вот такое безумие:

Опять-таки — не идеально, но большинство людей даже с музыкальным образованием (включая меня) не смогли бы сочинить и такое. Забавно, что модель в целом имитирует стиль Бетховена, но при этом не ограничена соображениями вроде «у пианиста максимум 2 руки по 5 пальцев + в крайнем случае 1 нос», и если нужно для выразительности — фигачит аккорды по 20 нот.


И последнее, что я пока попробовал — это импровизация в стиле Моцарта. Получилось не так безумно, но тоже на мой вкус симпатично, и это даже, пожалуй, мог бы исполнить живой пианист (с некоторыми модификациями):

Если интересно, в следующих постах расскажу подробнее, как пишутся такие композиции (там всё чуть сложнее, чем просто нажать кнопочку «Сочини»), и покажу больше мелодий, когда они у меня будут.


А, ну и да. Если вы вместе со мной переживаете, что такими темпами ИИ оставит без работы вообще всех, то пусть Бендер попробует нас подбодрить:

Сочиняем музыку с помощью искуственного интеллекта: подражаем Бетховену и Моцарту и продлеваем тему Gravity Falls в восемь раз Музыка, Искусственный интеллект, Gravity Falls, Моцарт, Людвиг Ван Бетховен, Видео, Длиннопост

Искусственный интеллект

2.6K поста9.9K подписчиков

Добавить пост

Правила сообщества

Здесь вы можете свободно создавать посты по теме Искусственного интеллекта. Добро пожаловать :)


Разрешено:


- Делиться вопросами, мыслями, гипотезами, юмором на эту тему.

- Делиться статьями, понятными большинству аудитории Пикабу.

- Делиться опытом создания моделей машинного обучения.

- Рассказывать, как работает та или иная фиговина в анализе данных.

- Век жить, век учиться.


Запрещено:


I) Невостребованный контент

  I.1) Создавать контент, сложный для понимания. Такие посты уйдут в минуса лишь потому, что большинству неинтересно пробрасывать градиенты в каждом тензоре реккурентной сетки с AdaGrad оптимизатором.

  I.2) Создавать контент на "олбанском языке" / нарочно игнорируя правила РЯ даже в шутку. Это ведет к нечитаемости контента.

  I.3) Добавлять посты, которые содержат лишь генеративный контент или нейросетевой Арт без какой-то дополнительной полезной или интересной информации по теме, без промтов или описания методик создания и т.д.


II) Нетематический контент

  II.1) Создавать контент, несвязанный с Data Science, математикой, программированием.

  II.2) Создавать контент, входящий в противоречие существующей базе теорем математики. Например, "Земля плоская" или "Любое действительное число представимо в виде дроби двух целых".

  II.3) Создавать контент, входящий в противоречие с правилами Пикабу.


III) Непотребный контент

  III.1) Эротика, порнография (даже с NSFW).

  III.2) Жесть.


За нарушение I - предупреждение

За нарушение II - предупреждение и перемещение поста в общую ленту

За нарушение III - бан

Вы смотрите срез комментариев. Показать все
38
DELETED
Автор поста оценил этот комментарий

Любителям всунуть в видеорецепт или в технопрон (или даже в ход хирургической операции) какую-нить патетику - просто отличное пособие не заморачиваться авторскими правами.

раскрыть ветку (13)
34
Автор поста оценил этот комментарий

Да, кстати, отличное наблюдение. И хотя Ханса Циммера и Дэнни Эльфмана эта технология пока (а вполне возможно, что и никогда) не заменит, но какую-то нишу рынка у композиторов средней руки она реально может отнять. Артхаусные низкобюджетные короткометражки, сериалы, любительские ролики.

раскрыть ветку (12)
34
DELETED
Автор поста оценил этот комментарий
Полностью заменит битмейкеров
раскрыть ветку (5)
32
Автор поста оценил этот комментарий

Было сказано, что эта нейросеть пишет только музыку

раскрыть ветку (3)
1
Автор поста оценил этот комментарий
Яндекс рифмы делает
раскрыть ветку (1)
Автор поста оценил этот комментарий

Яндекс.Рифмы ?

2
Автор поста оценил этот комментарий

Это пока

Автор поста оценил этот комментарий

Плохих разве что

Автор поста оценил этот комментарий

А как добавлять свою собственную композицию?

раскрыть ветку (5)
Автор поста оценил этот комментарий

Надо нажать на Advanced settings и выбрать Source: Custom (MIDI upload)

раскрыть ветку (4)
Автор поста оценил этот комментарий

еще вопрос: что такое NUMBER OF TOKENS?
пытался перевести, но не понятно

раскрыть ветку (3)
Автор поста оценил этот комментарий

Это сколько нот модель генерирует за раз. Чем больше, тем длиннее фрагмент, но зато с увеличением числа токенов может начать деградировать качество

раскрыть ветку (2)
Автор поста оценил этот комментарий

кстати, да!)
я заметил, что композиция идет не в ту сторону, т.е. что-то не так
Еще один вопрос, с Вашего позволения)
Вы добавили свою собственную композицию, но её можно "продолжить" только с выбранным каким то стилем. Какой стиль Вы выбрали для темы "граффити фолс"?

раскрыть ветку (1)
Автор поста оценил этот комментарий

Если я правильно помню, то Gravity Falls продлевал на модели Disney — для всяких там саундтреков она подходит лучше всего

Вы смотрите срез комментариев. Чтобы написать комментарий, перейдите к общему списку