Горячее
Лучшее
Свежее
Подписки
Сообщества
Блоги
Эксперты
Войти
Забыли пароль?
или продолжите с
Создать аккаунт
Регистрируясь, я даю согласие на обработку данных и условия почтовых рассылок.
или
Восстановление пароля
Восстановление пароля
Получить код в Telegram
Войти с Яндекс ID Войти через VK ID
ПромокодыРаботаКурсыРекламаИгрыПополнение Steam
Пикабу Игры +1000 бесплатных онлайн игр Классическая игра в аркадном стиле для любителей ретро-игр. Защитите космический корабль с Печенькой (и не только) на борту, проходя уровни.

Космический арканоид

Арканоид, Аркады, Веселая

Играть

Топ прошлой недели

  • Animalrescueed Animalrescueed 43 поста
  • XCVmind XCVmind 7 постов
  • tablepedia tablepedia 43 поста
Посмотреть весь топ

Лучшие посты недели

Рассылка Пикабу: отправляем самые рейтинговые материалы за 7 дней 🔥

Нажимая «Подписаться», я даю согласие на обработку данных и условия почтовых рассылок.

Спасибо, что подписались!
Пожалуйста, проверьте почту 😊

Помощь Кодекс Пикабу Команда Пикабу Моб. приложение
Правила соцсети О рекомендациях О компании
Промокоды Биг Гик Промокоды Lamoda Промокоды МВидео Промокоды Яндекс Маркет Промокоды Пятерочка Промокоды Aroma Butik Промокоды Яндекс Путешествия Промокоды Яндекс Еда Постила Футбол сегодня
0 просмотренных постов скрыто
23
Irgri
Irgri

Песня-признание Агутина, поющего за Варум⁠⁠

10 месяцев назад

Много лет назад в интернете прогремело разоблачение: за Варум пел Агутин. Простыми настройками в звуковом редакторе голос Варум превращался в голос Агутина и наоборот. Я проверял, это правда.

У Агутина есть песня, которую, зная о ситуации с Варум, иначе как "признанием" не назвать. Вдумчиво посмотрите и послушайте.

Youtube:

Rutube:

Леонид Агутин и Анжелика Варум – "Королева".

В клипе Варум - голограмма, персонаж Агутина управляет ей пультом. Текст:

"Но, никто, никто не увидит! Но, никто, никто не узнает
Кто? Кто её тайна? Кто?

Будет так всегда, что никто и никогда
Не сумеет разгадать её эту тайну
".

"Молча унесёт бог и господин

Только с ним она – королева".

В клипе обыгрывается создание виртуального образа Варум-певицы, "звезды эстрады", который создан человеком за звуковым пультом.

Он ей управляет, он её создатель, "бог и господин".

Как это сделано:

Все ли песни пел Агутин? В своё время я проверял репертуар Варум масштабно. Агутин там до самой глубокой древности. Он у истоков проекта. Однако я находил несколько песен, предположительно, с настоящим голосом Варум или другого исполнителя. Не подскажу названия.

С другой стороны, может быть, Агутин - не предел?


Помогите котам выжить: https://pay.cloudtips.ru/p/4c9b63bf

Показать полностью 2
Разоблачение Клип Леонид Агутин Анжелика Варум Фонограмма Обработка звука Обман Музыка Звукорежиссура Видео YouTube Длиннопост
67
20
Nerual.Dreming
Nerual.Dreming
Видеомонтаж

MMAudio: Генерация звука для видео с помощью ИИ⁠⁠

10 месяцев назад
Перейти к видео

Всем привет! Исследователи из Университета Иллинойса и Sony AI представили интересный проект MMAudio - нейросеть для создания звукового сопровождения к видео. Меня зовут Илья, я основатель онлайн-нейросети для создания изображений ArtGeneration.me, техноблогер и нейро-евангелист, и сегодня я хочу рассказать об этой технологии подробнее и поделиться нашей портативной версией. Главная особенность системы в том, что она может генерировать звуки не только по текстовому описанию, но и на основе изображения или видео.

Как это работает

В основе MMAudio лежит идея мультимодального обучения - система одновременно анализирует видео, звук и текстовые описания. Для этого используются два параллельных потока обработки видео: CLIP для понимания общего контекста (8 кадров/сек) и Synchformer для точной синхронизации (24 кадра/сек).

Такой подход позволяет системе лучше понимать происходящее в видео и создавать более подходящее звуковое сопровождение. Например, увидев падающие капли дождя, MMAudio не просто генерирует шум дождя, а пытается воспроизвести характерный звук капель, попадающих на разные поверхности.

Важно отметить, что система использует технологию Flow Matching вместо традиционной диффузии, что позволяет достичь впечатляющей скорости работы - генерация 8-секундного клипа занимает всего несколько секунд.

Системные требования

Для работы с MMAudio необходимо:

  • NVIDIA GPU с 8+ ГБ видеопамяти

  • Windows 10/11 64-bit

  • 16 ГБ оперативной памяти

  • 12 ГБ свободного места на диске

Возможности MMAudio

Система отлично справляется с базовым озвучиванием видео. В первую очередь это звуки повседневной жизни - шаги, движение предметов, звуки природы. Вот несколько примеров:

• Динамические звуки: система точно улавливает моменты движения и синхронизирует звуки шагов, прыжков, перемещения объектов. Точность синхронизации достигает 25 миллисекунд.

Перейти к видео

• Природные эффекты: реалистично воссоздаёт звуки дождя, ветра, текущей воды. Особенно впечатляет работа с дождём - система различает как он звучит на разных поверхностях.

• Спортивные события: безошибочно определяет моменты ударов по мячу, прыжков, создает реалистичную акустическую атмосферу стадиона или спортзала.

Перейти к видео

• Звуковые ландшафты: может создавать атмосферные звуки для различных локаций - леса, города, пляжа и т.д.

Текущие ограничения

Перейти к видео

К сожалению, не все задачи система решает одинаково хорошо:

• Проблемы с речью: генерируемая человеческая речь пока неразборчива. Система может создать речеподобные звуки, но понять их невозможно.

• Сложная музыка: музыкальное сопровождение ограничивается простыми эффектами. Полноценные композиции пока недоступны.

Перейти к видео

• Временные рамки: система работает с клипами длительностью 8-10 секунд. Более длинные видео приходится обрабатывать по частям.

• Необычные звуки: могут возникать проблемы со звуками, которых не было в обучающей выборке.

Кому это пригодится

Перейти к видео

Создателям контента:
MMAudio станет незаменимым помощником для ютуберов и стримеров. С её помощью можно быстро озвучить короткий ролик или добавить звуковые эффекты в прямом эфире. Аниматоры оценят возможность быстрого прототипирования звукового сопровождения.

Разработчикам игр:
Технология отлично подходит для создания тестовых звуковых эффектов и процедурной генерации звука. Это особенно полезно на этапе прототипирования, когда нужно быстро проверить разные звуковые концепции.

Перейти к видео

Видеомонтажерам:
MMAudio поможет в создании черновых версий звуковых дорожек. Система быстро сгенерирует базовое звуковое сопровождение, которое потом можно доработать вручную.

Перейти к видео

3D-аниматорам:
Идеально подходит для быстрого озвучивания превизуализаций и тестовых рендеров.

Как попробовать

Попробовать MMAudio можно несколькими способами:

Онлайн-демо

  • Hugging Face - быстрый способ оценить возможности

  • Google Colab - для экспериментов без установки

  • Replicate - для интеграции через API

Для разработчиков
Исходный код доступен на GitHub

Наша портативная версия

Перейти к видео

Мы с каналом Нейро-Софт подготовили модифицированную русифицированную портативную сборку MMAudio, в которой:

  • Русский интерфейс

  • Упрощенная установка в 1 клик которая сама все скачает и поставит

  • Возможность сохранять аудио отдельно от видео

  • Генерация аудио из изображения

  • Оптимизация для работы на доступных GPU

Всё необходимое уже включено в дистрибутив, просто распакуйте и запускайте. Никаких дополнительных настроек не требуется. Забирайте тут.

Мой опыт

Перейти к видео

Я активно использую MMAudio для озвучки видео, сгенерированных в различных img2video сервисах. Результаты действительно впечатляют - система отлично справляется с базовыми звуками и создает довольно реалистичную атмосферу. Особенно хорошо получается озвучка природных сцен и различных действий вроде ходьбы или спортивных движений.

Конечно, технология ещё развивается, и иногда встречаются забавные артефакты в генерации, но для быстрого создания базового звукового сопровождения - это отличный инструмент.

Перейти к видео

Я рассказываю больше о нейросетях у себя на YouTube, в телеграм и на Бусти. Буду рад вашей подписке и поддержке. Ну и на канал с репаками тоже подпишетесь, чтобы не пропустить ничего полезного. Всех обнял. Удачных генераций!

Показать полностью 2 10
[моё] Искусственный интеллект Нейронные сети Инновации Нейроозвучка Технологии Звук Видеомонтаж Звуковые нейросети Озвучка Обработка звука Видео Длиннопост
3
11
Bedroom.Producer
Bedroom.Producer
Лига музыкантов
Серия FL Studio глазами хакера

FL Studio Edison: скрипты для обработки аудио⁠⁠

11 месяцев назад

1. В FL Studio 2024.2 обновился скриптовый движок для обработки и анализа аудио, который работает с Edison и Slicex. Теперь форму волны можно посмотреть прямо в окне настроек скрипта. Мелочь, а приятно.

2. Я решил начать реализовывать свою давнюю идею под общим названием "FL Studio глазами хакера". Большинство инфоцыганских школ рассказывают в своих курсах об FL Studio с позиции гуманитариев. Я планирую копнуть глубже, в технарские слои.

3. Я стартанул сайт, посвященный работе со скриптовым движком Edison и Slicex: edison-script.seejay.ru/. Сейчас там уже есть полная русифицированная документация и примеры официальных скриптов. Коллекция скриптов будет пополняться.

[моё] Fl Studio Обработка звука Аудиоредактор Текст
4
0
Вопрос из ленты «Эксперты»
DSkatt
DSkatt

Ищу устройство для обработки звука, блок эффектов⁠⁠

1 год назад

Ищу устройство для обработки звука, блок эффектов. Суть чтобы накладывал эффекты на звук, вау, дилей, флэнжер, может скретчи делал. Управление через сенсорный тачпадом типа корговского каоссилятора или с джогом, чтобы можно было живьем одной рукой менять параметры звука. Главное, чтобы работал без подключения к компьютеру, своими мозгами.

Обработка звука Синтезатор DJ Вопрос Спроси Пикабу Звуковые эффекты Текст
3
5
blog.papashi
blog.papashi

Pink Floyd - The Wall (1979), или "BOX SET Edition" для себя лично⁠⁠

1 год назад
Pink Floyd - The Wall (1979), или "BOX SET Edition" для себя лично

Здравствуйте. Хотел бы представить Вашему вниманию цифровой BOX SET, собранный для себя лично - наиболее полное собрание классического альбома "The Wall" группы "Pink Floyd". В него вошли:
- Потрековая версия альбома на 2 CD, оцифровано с японского издания - https://www.discogs.com/ru/release/10971827-Pink-Floyd-The-W...

- LP версия, оцифровано с винила японского издания - https://www.discogs.com/ru/release/9541949-Pink-Floyd-The-Wa...

- Рабочие и студийные записи с какого-то коллекционного собрания в формате двух СD версии издания 2011. Возможно, с "Is There Anybody Out There? The Wall Live 1980–81", но прошла уйма времени - не помню, откуда взял.

- Live-версия "Стенки", взята с альбома "Is There Anybody Out There? The Wall Live 1980–81" и оцифровано из этого - https://www.discogs.com/ru/release/402208-Pink-Floyd-Is-Ther...

- Live-версия "Стенки" от Роджера Уотерса образца 1990 года, представленного в Берлине и с участием уймы музыкантов, таких как Scorpions и др. в формате 2LP. Оцифровано вот это - https://www.discogs.com/ru/release/527427-Roger-Waters-The-W...

- Tribute-версия альбома с участием разных именитых артистов. Оцифрованный винил вот этот - https://www.discogs.com/ru/release/5691745-Various-Back-Agai...

- Концерт Роджера Уотерса, выпущенный на виниле в 2015 году. Оцифровано вот с этого - https://www.discogs.com/ru/release/7717250-Roger-Waters-The-...

В общем, как сказано выше - собирал для себя, возможно кого-то ещё порадует. Слушайте на здоровье.

Взять можно вот отсюда - https://disk.yandex.ru/d/s4wTUF0CyyUgMw

Показать полностью 1
Pink Floyd Pink Floyd - the wall Музыка Рок Обработка звука Винил Аудиофилия Коллекционное издание
9
5
BigDataExclusive
BigDataExclusive

Обновление Suno позволяет менять части уже готового трека⁠⁠

1 год назад
Перейти к видео

Не секрет, что некоторые из нас проводят вечера, сидя за экраном и создавая в Suno очередной шедевр, готовый порвать весь танцпол на следующей вечеринке.

Теперь в Suno можно легко изменять части трека! Подписчики Pro могут менять текст или добавлять, например, гитарные риффы и другие инструменты.

Как это сделать:

➡️ Кликните правой кнопкой мыши на песне или нажмите “...”, затем выберите "Дополнительно".
➡️ Перейдите в раздел Редактировать > Заменить фрагмент.
➡️ Выберите отрезок (10-30 сек), текст появится автоматически.
➡️ Изменяйте текст или добавляйте drum break или другое.
➡️ Нажмите “Заменить фрагмент”.
➡️ Прослушайте обе версии и выберите понравившуюся.
➡️ Далее все сгенерируется автоматически!

🎉 Пошла жара!

Показать полностью
Нейронные сети Искусственный интеллект Инновации Технологии Будущее Suno Обработка звука Голос Видео Вертикальное видео
0
TypyxaHeLL
TypyxaHeLL

Обработка музыки⁠⁠

1 год назад

Уважаемые Пикабутчане, подскажите программу. Имеется 500 мегабайтовый трек-сборник. Нужна программа (желательно бесплатная) чтобы порезать на куски и сохранить каждый трек отдельно. С уважением.

Музыка Обработка звука Текст
4
9
lexlab245
lexlab245
Звукорежиссура

Компрессор: что такое и как им пользоваться (руководство для новичка)⁠⁠

1 год назад

Данная статья является печатной версией сценария для этого видео, можете посмотреть если не хотите читать много текста:

Огибающая

Звук можно рассматривать с разных точек зрения. Со стороны спектра я разобрал в статье про эквалайзер. Но также можно не разбивать звук на отдельные частоты, а смотреть на него в целом. Один из способов - работать с огибающей. Она грубо описывает громкость звука в определенный момент времени. Сколько-нибудь точно измерить громкость в моменте невозможно т.к. звук это колебания, а они существуют только во времени, у них есть период. Поэтому измеряется громкость за счет накопления некоторого количества моментов:

Один из самых популярных приборов для коррекции огибающей - компрессор.

Компрессор и его параметры

Принцип его работы прост: если громкость звука переходит пороговый уровень, то компрессор уменьшает громкость сигнала, когда уровень ниже порога компрессор ничего не делает.

Давайте нарисуем простенькую схему - она поможет разобраться во всех тонкостях работы компрессора:

Здесь есть усилитель на который продается звук, усиление контролируется отдельным сигналом который в простейшем случае идёт с той же дорожки.

Насколько быстро будет происходить изменение громкости мы задаем с помощью ручки атаки.

Компрессор будет работать не сразу как уровень превысит порог (который мы кстати можем сами установить ручкой порога) а с некоторой заданной задержкой. Благодаря этому мы можем не просто уменьшить громкость звука а выделить транзиенты. Транзиентами называются моменты резкого подъема громкости.

Помимо задержки срабатывания есть ещё один важный параметр - релиз. Он отвечает за то сколько времени усилитель будет возвращаться в исходное положение после срабатывания. Релиз работает не мгновенно, а как и атака плавно изменяет усиление.

Как и у любого усилителя мы можем контролировать степень усиления, в случае с компрессором это делается с помощью ручки соотношения, которая задаёт усиление в разах. Т.е. во сколько раз должна уменьшиться громкость при срабатывании компрессора.

В большинстве более менее продвинутых компрессорах есть ещё некоторые важные параметры: удержание (холд) задерживает начало релиза на определенное время, т.е. оставляет сжатие на высоком уровне до того как он плавно начнет меняться: колено отвечает за форму огибающей по которой изменяется громкость звука, она может быть нелинейной:

Сайдчейн

Вернемся к схеме. Управляющий сигнал называют сайдчейном в переводе на русский боковая или же сторонняя цепь. Она не изменяет звук в прямом смысле этого слова а только контролирует изменение громкости, мы можем сделать контроль более сложным и навороченным. Мы можем воткнуть фильтр чтобы компрессор срабатывал только на определенные частоты например на высокие и тогда он будет срабатывать только на звуках "с":

Таким образом мы получили деэссер. И никакие другие плагины кроме компрессора и эквалайзера не нужны. Также можно подать на сайдчейн не сам сигнал который мы обрабатываем а какой нибудь другой, и жать например звук баса от бочки, чтобы они не звучали одновременно и бас не заглушал атаку бочки, т.к. они существуют в одном частотном диапазоне:

На схеме это будет выглядеть как то так:

В теории можно воткнуть любые плагины перед сайдчейном и получить уникальные эффекты. Напишите в комментариях если есть мысли как можно нестандартно использовать компрессор, мне будет интересно почитать и возможно в одном из будущих видео проверить ваши идеи.

Теперь предлагаю посмотреть на разные классические способы использовать компрессор. Я могу выделить две основных.

1. Уменьшение динамического диапазона

Часто бывает необходимо на протяжение всего трека контролировать динамику инструмента, чтобы не было чрезмерных пиков и падений громкости. Лучшее что можно сделать в таком случае - это вручную с помощью огибающей настроить громкость. Результат в таком случае будет идеальным, и если у вас нет потокового производства, то стоит заморочится. Однако если у вас нет столько времени, то имеет смысл вручную изменять только какие-то продолжительные подъемы и спады в громкости, а микродинамику оставить компрессору.

Чтобы он сделал свою работу нужно настроить его на быструю атаку. Общий динамический диапазон уменьшиться, но с ним и общая громкость тоже, поэтому после компрессора нужно поднимать громкость. В некоторых плагинах есть автобаланас громкости, но я бы не советовал им пользоваться. Субъективное человеческое ощущение громкости может отличаться от машинного, из-за некоторых психоакустических эффектов звук после компрессии может восприниматься с другой громкостью даже если по уровню он будет таким же. Так что настраивайте усиление на слух. Да и вообще настраивайте звук всегда на слух а не на глаз.

2. Увеличение динамического диапазона

Как бы ни было парадоксально один и тот же инструмент может как уменьшить динамический диапазон так его и увеличить. Конечно речь идёт о микродинамике в пределах нескольких секунд, но тем не менее компрессор может выделить громкие моменты сделав их субъективно громче или же скорее ярче.

Для этого нужно установить атаку где то от 5 мс, а релиз подлиннее. Здесь нет четких параметров так как от инструмента и темпа будет зависеть необходимая атака и релиз. Например для малого барабана может быть неплохо 5 мс атаки, а релиз будет зависит от того как часто играет барабан, ведь компрессору нужно к каждому новому удару успеть восстановиться. Бочке нужно большее время атаки (~15 мс) ввиду того что она звучит в низких частотах, а чем ниже частота тем больше ее период, и чтобы его услышать должно пройти больше времени. Речь идет все еще о миллисекундах но тем не менее...

Не только с ударными можно использовать компрессор в таком режиме. Например голосу можно таким же образом добавить четкости и читаемости.

Параллельная компрессия

Компрессор не обязательно должен работать в основной цепочке на треке, он может также работать и параллельно. Во многих плагинах есть возможность крутить ручку драй/вет которая изменяет пропорции изменённого сигнала и оригинального, бывает есть вообще отдельные ручки для них, что позволяет оставить основной звук и подмешать к нему некоторое количество скомпрессированного. Так можно выделить атаки но при этом оставить весь жир на месте.

Настраиваем компрессор

У компрессора как и у других плагинов нет каких то идеальных пресетов на все случаи жизни. Могу дать простую рекомендацию по быстрой настройке компрессора в режиме выделения атаки.

Выкручиваете соотношение до больших значений, порог до того уровня чтобы отчётливо слышать компрессию. Атаку ставьте на минимум, релиз чуть больше минимума. Теперь увеличивайте атаку до того момента пока не получите ту самую яркую пробивную атаку. Теперь настройте релиз так чтобы сигнал успевал восстанавливаться до начала следующей атаки.

Дальше есть два пути.

Первый варант: верните соотношение к значению около 4 и увеличивайте порог пока не добьётесь нужного звучания. Если увеличите соотношение то сделаете атаки более жёсткими, а если уменьшите то наоборот более мягкими.

Второй вариант это параллельная компрессия. Когда вы получили яркую атаку но уже потеряли основное тело звука. Вы можете вернуть через драй/вэт оригинальный не скомпрессированный сигнал. И к нему подмешать атаки.

Да, здесь все как в рецептах где нужно посолить "по вкусу". Нет четких рекомендаций по результирующим значениям. Но если вы будете действовать по такому алгоритму то вероятно услышите те самые моменты выделения атак даже если не имел опыта работы с прибором.

Если у вас остались вопросы, напишите в комментариях, я обязательно на них отвечу. Ну и поставьте лайк если было полезно.

Сведение и мастеринг (vk/telegram): @alekseytukbaev

Показать полностью 8
[моё] Звук YouTube (ссылка) Звукорежиссер Звукорежиссура Обработка звука Плагин Vst Видео YouTube Гифка Длиннопост
0
Посты не найдены
О нас
О Пикабу Контакты Реклама Сообщить об ошибке Сообщить о нарушении законодательства Отзывы и предложения Новости Пикабу Мобильное приложение RSS
Информация
Помощь Кодекс Пикабу Команда Пикабу Конфиденциальность Правила соцсети О рекомендациях О компании
Наши проекты
Блоги Работа Промокоды Игры Курсы
Партнёры
Промокоды Биг Гик Промокоды Lamoda Промокоды Мвидео Промокоды Яндекс Маркет Промокоды Пятерочка Промокоды Aroma Butik Промокоды Яндекс Путешествия Промокоды Яндекс Еда Постила Футбол сегодня
На информационном ресурсе Pikabu.ru применяются рекомендательные технологии