ИИ коллаж для музыкального отрывка из Гершвина
размещал информацию в виде текста про США 20х годов и пр., на разные ИИ редакторы.Получился такой вот коллаж.
размещал информацию в виде текста про США 20х годов и пр., на разные ИИ редакторы.Получился такой вот коллаж.
В социальных сетях стали популярны несуществующие песни, созданные при помощи нейросетей. В апреле этого года пользователь ghostwriter977 загрузил на Spotify трек Heart on My Sleeve, который набрал более миллиона прослушиваний. Звучание песни было похоже на исполнение The Weeknd и Дрейка, но на самом деле её создала нейросеть. Эта история разошлась по миру, но позже трек был удалён по требованию правообладателя Universal.
Тем не менее, в социальных сетях продолжают появляться другие каверы: голосом Фредди Меркьюри была исполнена песня Imagine Dragons, а Канье Уэст "спел" Just The Two of Us. Тренд распространился и на рунет: песни стали перепевать голосами Доры и Элджея. А ИИ-каверы от нейро-Моргенштерна произвели фурор в TikTok.
Если вы тоже хотите создать свой собственный ИИ-кавер, то мы подскажем как это сделать. За полчаса или за 5 минут вы можете создать свою собственную песню, которая будет звучать как исполнение ваших любимых артистов, благодаря нейросети.
В марте 2023 года китайские разработчики выложили на GitHub нейросеть SoftVC VITS Singing Voice Conversion, известную онлайн как so-vits-svc. Эта нейросеть может имитировать певцов и создавать новые песни с их голосами. Алгоритм был разработан энтузиастами и доступен для всех, но чтобы запустить его локально, нужны знания программирования и мощный компьютер.
Чтобы не тратить время на программирование и не заниматься обучением модели, можно воспользоваться нейросетью на Google Collab. За полчаса вы можете создать полностью готовый ИИ-кавер. Процесс генерации песни с голосом исполнителя, чью модель выложили в открытый доступ, не требует специальных знаний.
Шаг 1. Выберите песню, которую будет исполнять сгенерированный голос, и скачайте её в формате mp3. Для успешной генерации также понадобится инструментал и голос оригинального певца.
Учтите, что музыка защищена авторским правом, поэтому коммерческое использование может привести к удалению вашего сгенерированного трека с платформ. Выбирайте песни, доступные по лицензии Creative Commons.
Шаг 2. Разделите трек на а капеллу и минус. Для этого загрузите mp3-файл на сайт x-minus. Зеленая дорожка будет содержать а капеллу, а синяя - минус. Скачайте полученные файлы и переименуйте их для удобства.
Шаг 3. Конвертируйте файл с а капеллой из формата mp3 в wav. Это можно сделать с помощью бесплатной программы Audacity или онлайн-конвертера cloudconvert.
Шаг 4. Перейдите по ссылке на so-vits-svc, веб-интерфейс нейросети, запускаемый на Google Collab. Этот сервис позволяет бесплатно запускать код на вычислительных мощностях других пользователей, но при этом есть ограничения: каждый раз нужно ждать загрузки библиотек и моделей.
Вы также можете использовать другие интерфейсы, но мы не можем гарантировать, что они будут работать так же хорошо. Эта инструкция написана для so-vits-svc, поэтому в других веб-интерфейсах порядок действий может отличаться.
Шаг 5. Для того чтобы записать песню с использованием нейросети, необходимо выполнить ряд предварительных действий. Войдите в свой аккаунт Google или создайте новый, так как для работы с Google Collab требуется авторизация.
Шаг 6. Последовательно запустите следующие ячейки: Check GPU, Setup 1, Setup 2, Download ContentVec, и Setup HF Downloads. Нажмите на кнопку "Play" рядом с каждым заголовком для запуска кода. Когда загрузка завершится, появится зеленая галочка около названия ячейки. Следующую ячейку нужно запускать только после полной загрузки предыдущей - если пропустить одну из строк, программа не сработает.
Наибольшее время занимает загрузка Setup 1, которая может занять до 10 минут. Остальные ячейки загружаются за несколько секунд. Загружать код для каждого трека не нужно - достаточно сделать это один раз. Обратите внимание, что через 2 часа код автоматически сбросится, и все действия придется повторить.
Шаг 7. Выберите голос, который будет использоваться для создания песни. Для этого найдите поле model_url под заголовком Other Downloads (.zip) Step o.1 и добавьте в него ссылку на папку с моделью голоса. Вы можете выбрать голос из списка доступных в этой же ячейке, например, Канье Вест, Кендрик Ламар или Дрейк. Также можно использовать библиотеку голосов на huggingface и скопировать ссылку на нужную папку оттуда. Доступны голоса российских исполнителей, таких как Oxxxymiron или Моргенштерн. Обратите внимание, что Мирон Федоров, выступающий под именем Oxxxymiron, и Алишер Моргенштерн внесены Минюстом в реестр иноагентов. Нейросеть поддерживает ссылки на любые заархивированные папки с Google Drive, MEGA, huggingface и других ресурсов. Вы можете использовать любую модель, которую найдете в интернете.
Шаг 8. Запустите еще одну ячейку с кодом - Extract.zip Downloads - Step o.2. Дождитесь завершения загрузки.
Шаг 9. Нажмите на иконку папки и перетащите в нее аудиофайл с а капеллой в формате wav, который вы подготовили на третьем шаге. Загрузка файла может занять несколько минут - длительность зависит от длины файла. Когда загрузка завершится, запустите код.
Шаг 10. Нажмите на кнопку "Convert". После этого появится плеер со сгенерированным голосом. Скачайте готовый трек, нажав правой кнопкой мыши на плеере. Если плеер не появился, то загрузите последний файл в папке слева. Обратите внимание, что на этом этапе могут возникнуть ошибки. Их причиной может быть выбор нерабочей модели или использование слишком длинной а капеллы. Проверьте правильность ввода текста и настройки языка, а также убедитесь в стабильности интернет-соединения.
Шаг 11. После того, как вы получили готовый трек, откройте любой аудиоредактор, например, бесплатную программу Audacity или онлайн-сервис veed.io. Совместите минус со сгенерированной а капеллой. При этом могут пригодиться навыки мастеринга и сведения музыки, если они у вас есть.
Этот метод гораздо проще, чем использование Google Collab, однако есть определенные ограничения. На сайте musicfy доступны только готовые пресеты голосов, поэтому добавить свой голос туда не получится.
Чтобы создать трек на сайте musicfy, выполните следующие шаги:
Шаг 1. Скачайте песню в формате mp3.
Шаг 2. Разделите трек на капеллу и минус. Для этого перейдите на сайт x-minus, загрузите там mp3 файл и скачайте полученные аудиофайлы.
Шаг 3. Перейдите на сайт musicfy. Войдите через свой Google-аккаунт и нажмите кнопку "Create a song". Загрузите в поле mp3-файл с капеллой или запишите свой голос.
Если файл не загружается, прокрутите страницу вниз, возможно появится сообщение об ошибке "Audio file is corrupted, please try uploading another file". Попробуйте загрузить файл еще раз.
Шаг 4. Выберите один из готовых голосов. На сайте доступны вокалы множества исполнителей, например, Арианы Гранде, Дрейка, Граймса, Канье Уэста, Трэвиса Скотта и других. Также можно выбрать персонажей мультфильмов, таких как Губка Боб Квадратные Штаны или Питер Гриффин. Все эти голоса могут использоваться для записи русскоязычного текста.
Шаг 5. Нажмите кнопку "Convert". После обработки скачайте готовый файл. Если появляется ошибка, попробуйте еще раз.
Шаг 6. Совместите минус и сгенерированную капеллу в любом аудиоредакторе, например, бесплатной программе Audacity или онлайн-сервисе veed.io. Сохраните получившийся трек и наслаждайтесь своим творением!
Один из вариантов - использование нейросети в Google Collab, которая позволяет создавать треки сотней голосов пользователей. Однако, этот метод затратен по времени и может выдавать ошибки, при этом не предоставляя ясной информации о причинах возникновения проблем. Чтобы их решить, иногда нужно искать помощь на форумах или видео-ресурсах, что может занять много времени.
В отличие от этого, Musicfy позволяет легко генерировать треки без запуска кода и вероятности ошибок, а также без необходимости конвертирования аудиофайлов. Однако, на сайте доступен только ограниченный выбор голосов.
Подпишитесь на мой телеграм, там я рассказываю про нейронные сети и обучаю вас их использовать.
Приветствую, Дамы и Господа, на связи штатив Гены Инженерского.
Возможно вы уже видели клип из Арктики и могу с гордостью сказать, что это моя работа.
Хочу рассказать, как это всё снималось.
Всё началось в 2019 году, когда Гена Инженерский, начал работу на судне Nikolay Yevgenov, построенного для работы в проекте Ямал СПГ. С тех пор, он стал брать меня с собой на борт судна, что бы я помогал снимать самые красивые и яркие моменты.
И потихоньку контракт за контрактом, мы снимали всякое, до тех пор пока не родилась песня Спутник во время исторического перехода через СевМорПуть в январе 2021 года.https://rossaprimavera.ru/news/80b9f8a7
Песня родилась и на борту судна, начали записывать, а Гена Инженерский всегда берёт с собой оборудование для записи, ну и на борту судна есть музыкальные инструменты и частенько хорошие музыканты из экипажа, наши кабаяны филиппинцы)
Микрофону кстати в итоге повезло меньше всех, Гена сломал его своим скримом, когда записывал кавер на Linkin Park-Faint, но это совсем другая история и было уже после записи Спутника
И так песню мы записали и начали вспоминать и собирать самые яркие события.
К этому времени, Гена уже успел поработать на двух судах данного проекта, второе судно Vladimir Voronin. Это судно и стало отправной точкой.
Во время работы на данных судах, посчастливилось поучаствовать в двух крайне редких событиях. Первая тестовая грузовая операция судна к судну в Мурманске, швартовка длилась 16 часов и была съемочная команда, запечатлеть это историческое событие(судно Nikolay Yevgenov)Оператор дрона поделился видео с экипажем( контакт к сожалению утерян, если читаешь, отзовись).
А второе событие это ледовые испытания, испытания проходил газовоз Vladimir Voronin.
Также были съемки с дрона этого процесса и оператор щедро поделился материалами(контакт к сожалению тоже утерян, отзовись если увидишь).
Так появились кадры с высоты птичьего полёта, которые и вошли в клип
Ну а дальше дело осталось за малым и Гена начал таскать меня палубу, на лютый холод, что бы ловить красивые виды
И вот он результат совместных усилий
Приятного просмотра
Ютуб https://youtu.be/sMiYZ9pBmMs
С вами был Штатив Гены Инженерского https://vk.com/shtativ_gena
До новых встреч
Что общего между фортепианной клавиатурой и построчной развёрткой телевизора? 😉 Сколько измерений можно выделить в музыкальной гармонии и что это за измерения? Что такое пространство кратностей и как оно помогает понимать и создавать новую музыку? Почему для построения музыкальной гармонии важны простые числа и что такое микрохроматика? Рассказывает Роман Олейников, математик, музыкальный теоретик, соавтор канала Пространство музыки (Science 4 Music), сотрудник лаборатории биомеханических систем Института машиноведения РАН.
Но идея помещать научные иллюстрации на обложки не нова. Muse использовали изображение связей человеческого мозга от Human Connectome Project для своего альбома The 2nd Law
Мой телеграм канал
Напоминаем, что наша станция по-прежнему работает, и своевременно пополняется новыми композициями из роликов канала "Злой космос". Приятного прослушивания! Радио: https://listen6.myradio24.com/evilspace
Справились? Тогда попробуйте пройти нашу новую игру на внимательность. Приз — награда в профиль на Пикабу: https://pikabu.ru/link/-oD8sjtmAi