Сочиняем музыку с помощью искуственного интеллекта: подражаем Бетховену и Моцарту и продлеваем тему Gravity Falls в восемь раз⁠⁠

Всем привет! Хочу рассказать про одно своё несерьёзное увлечение. Как известно, ИИ переживает сейчас самый бум и грозит автоматизировать примерно все профессии на планете. Наконец, он добрался и до креативных людей:

Если серьёзно, то о шедеврах речь пока не идёт, но прототипы, существующие уже сейчас, впечатляют. Я использую модель MuseNet, разработанную компанией OpenAI, одним из основателей которой был Илон Маск. Если дать ей небольшой стартовый фрагмент, она пытается предсказать, что будет дальше, и таким образом «пишет» новую музыку в меру своего разумения. Важно отметить, что не используются никакие заданные алгоритмы или шаблоны сочинения, модель просто натренировали на огромном массиве существующих композиций в разных стилях и велели креативить исходя из этого.

Когда я узнал про эту разработку, то первым делом запихнул в модель тему мультсериала Gravity Falls. Его фанатам, к которым я отношусь, прекрасно известно, что главная тема крайне выразительна, но, к сожалению, очень коротка. С помощью MuseNet я продлил её до четырёх минут. На видео первые 30 секунд — это оригинальная тема, данная в качестве затравки, а после этого оно переходит в сочинительство машины:

Знатоки теории музыки, я уверен, найдут в результате множество неидеальностей и шероховатостей. Но лично у меня, который начинал знакомство с технологиями в начале века на четвёртом Пентиуме и диалапе, от таких результатов происходит отвал башки. Напомню, это прототип, технология даже ещё не отполирована.

Модель способна также работать вообще без шаблона, при этом можно выбрать стиль сочинения из небольшого списка вариантов. Я попросил модель сочинить что-то в стиле Бетховена, и с энной попытки получилось вот такое безумие:

Опять-таки — не идеально, но большинство людей даже с музыкальным образованием (включая меня) не смогли бы сочинить и такое. Забавно, что модель в целом имитирует стиль Бетховена, но при этом не ограничена соображениями вроде «у пианиста максимум 2 руки по 5 пальцев + в крайнем случае 1 нос», и если нужно для выразительности — фигачит аккорды по 20 нот.

И последнее, что я пока попробовал — это импровизация в стиле Моцарта. Получилось не так безумно, но тоже на мой вкус симпатично, и это даже, пожалуй, мог бы исполнить живой пианист (с некоторыми модификациями):

Если интересно, в следующих постах расскажу подробнее, как пишутся такие композиции (там всё чуть сложнее, чем просто нажать кнопочку «Сочини»), и покажу больше мелодий, когда они у меня будут.

А, ну и да. Если вы вместе со мной переживаете, что такими темпами ИИ оставит без работы вообще всех, то пусть Бендер попробует нас подбодрить: