Elevenlabs давно представила функцию dubbing, благодаря которой можно перевести видео, сохранив голос. А Heygen представил еще и возможность синхронизации, правда тогда сервис переводил видео с русского, на русский нет.

D-ID решили пойти по пути Heygen и представили инструмент для перевода видео на другие языки с использованием технологий ИИ. Тем более, что в Heygen помимо цифровых авиаторов, добавили “говорящие” изображения - визитная карточка D-ID.

D-ID также клонирует голос говорящего и изменяет движения его губ в соответствии с переведенными словами.

Для чего нужен D-ID Video Translate

D-ID идеально подходит для отделов маркетинга и продаж, педагогов и создателей контента, которые стремятся охватить аудиторию на понятном им языке. Он позволяет легко производить многоязычный контент без хлопот и расходов, связанных с традиционным видеопроизводством. Video Translate позволяет пользователям взаимодействовать с более широкой глобальной аудиторией, гарантируя, что их сообщение будет получено, независимо от языковых барьеров. Локализуя видеоконтент, компании могут расширить свой охват и усилить свое воздействие.

Преимущества D-ID Video Translate

• Клонирование голоса: Автоматически клонирует голос говорящего для обеспечения согласованности на разных языках.

• Адаптация движения губ: идеально синхронизирует движения губ говорящего, обеспечивая естественный вид.

• Массовый рендеринг: быстро переводите видео на 29 языков.

• Удобный интерфейс: функция перетаскивания и интуитивно понятный дизайн делают использование простым для любого пользователя.

Для лучшего результата в кадре должен быть один человек, а лицо должно быть четко видно на протяжении всего видео. Для чистоты звука рекомендуется минимизировать фоновый шум и музыку.

Поддерживает 30 языков, включая русский.

Дают бесплатно 20 кредитов, которых хватит примерно на 10 переводов.

D-ID предполагает, что новая технология видео с использованием искусственного интеллекта может помочь клиентам сэкономить на локализации при масштабировании своих кампаний на глобальную аудиторию в таких областях, как маркетинг, развлечения и социальные сети.

Хотите узнавать о полезных сервисах с искусственным интеллектом для работы, учебы и облегчения жизни? Подписывайтесь на телеграм канал НейроProfit, там я рассказываю, как можно использовать нейросети для бизнеса.

Лимитер - это компрессор с почти нулевой (в идеале нулевой) атакой, большим соотношением и жестким коленом. В принципе на этом можно заканчивать, если вы читали статью о компрессии, то понять как работает лимитер не составит большого труда, но я предлагаю разобраться чуть глубже.

Как я уже написал, лимитер является частным случаем компрессора, как и некоторые другие эффекты:

Его существование обусловлено сферой его применения. Например на мастер канале необходимо контролировать громкость не давая ей пройти через определенное пороговое значение. В таком случае компрессор в его изначальном виде не очень подходит. Во первых он не срабатывает достаточно быстро, во вторых он меняет громкость плавно в зависимости от того насколько сильно звук перешёл через порог. На помощь приходит лимитер. Он грубо жмёт абсолютно все что громче заданного уровня трешолд.

Как я говорил в видео/статье о компрессоре, он срабатывает не по абсолютной величине звуковой волны, а по огибающей. У этого есть минус - огибающая не точно описывает кривую, и в определенный момент времени кривая может выйти за пределы порога, в то время как огибающая ещё останется ниже порога - компрессор не сработает, и часть звука пройдет дальше:

Лимитер так делать не должен. Поэтому все современные плагины работают по пиковому значению амплитуды или имеют такую настройку. Однако слишком быстрая реакция и сильное сжатие может сильно повлиять на звук создавая эффект перегруза:

В современных плагинах можно встретить параметр lookahead, который позволяет немного заглядывать вперёд во времени, предсказывая когда звук будет переходить порог. Это позволяет довольно музыкально лимитировать уменьшая только пиковые значения и мягко возвращать звук в нормальное состояние.

Ещё одним важным параметром является настройка релиза. Это тот же релиз что и у компрессора. Он выполняет ту же функцию, подробнее можете посмотреть в видео о компрессорах. Единственная разница: в лимитерах он часто работает автоматически с безразмерной регулировкой по принципу в одну сторону медленно, в другую быстро:

Также на приборе может присутствовать ручка атаки (как у 1176 например). Если вы будете использовать популярный плагин от fabfilter pro-l2, то надо понимать, что атака не работает здесь так как вы ожидаете от компрессора. Здесь релиз разбит на две составляющие "атаку" и "релиз". В таком случае эти параметры регулируют, насколько быстро и интенсивно наступает релиз:

Более короткое время "атаки" ускоряет его; более длительное время "релиза" приводит к большему эффекту сжатия. Короткое время этой атаки и длительное время этого релиза могут привести к пампингу и снижению читаемости. В обратной ситуации может увеличиться кажущаяся громкость и присутствие, но с появлением перегруза.

Использовать лимитер можно и вместо компрессора на инструментах и группах с целью уменьшения динамического диапазона. Он ограничит возможные пики и убережет вас от проблем на мастере. Часто подобные мягкие лимитеры применяют на треках голоса и ударных, т.к. они являются довольно нестабильными. Главное в такой ситуации выбирать максимально щадящие настройки с достаточно длинным лукахедом, если он есть.

Тем не менее в первую очередь лимитер является инструментом для финальной подгонки громкости микса. Поэтому я не могу обойти стороной тему громкости как таковой. Как я уже говорил в теме компрессора, громкость численно измерить трудно ввиду особенностей человеческого восприятия звука. Есть 3 основных способа измерять громкость при работе с цифровым звуком.

Во первых это пиковое значение, то есть измерение высочайшего уровня. Он учитывает также величину не только семплов, но и значения которые принимает звуковая волна между семплами:

Стоит понимать что кратковременный удар барабана и звучание целого аккорда с некоторой длительностью, будет обладать разной громкостью. С точки зрения человеческого слуха, аккорд будет звучать громче.

Второй вариант измерения: RMS (среднеквадратическое), он уже измеряет величину растянутую во времени, позволяя учесть длительность. Именно эту величину вы видите на индикаторах рядом с фейдерами:

Измерение делается так: берется некоторое количество семплов включая текущий момент и вычисляется по простой формуле значение громкости:

Оно обычно отображается в дБ или дБu. Это чисто математическая модель громкости. Она быстрая, в целом удобная, но не достаточно хорошо описывает слышимую людьми громкость. Мы слышим не все частоты одинаково. Эта нелинейность слуха отражается на таком графике:

Здесь чем ниже точка на графике тем громче будет казаться звук, при том что все частоты будут звучать на одной громкости. Чтобы учесть эту нелинейность была разработана другая система, которую чаще всего называют LUFS. Она измеряется в собственных величинах, но в целом близка к дБ.

Различают так называемые  Integrated LUFS - усредненная воспринимаемая громкость всего трека и Short Term LUFS - кратковременная громкость на участке трека длиной от 1 до нескольких секунд.

У многих возникает вопрос: какая должна быть громкость у трека? На мой взгляд здесь нет правильного ответа. Разные площадки дают некоторые либо ограничения либо рекомендации по громкости в LUFS:

Фактически вам никто не запрещает делать треки максимально громкими. Если нужно площадки уменьшат ее. Однако надо понимать что с большей громкостью приходит и меньший динамический диапазон, который на индикаторах показан как LRA. А люди устроены так, что мы любим контрасты, как в визуале так и в звуке. Это касается и контраста "громче - тише". Если зажать трек в колбасу, вовлеченность и интерес слушателя может упасть. Это конечно вопрос творческий и в разных жанрах может быть уместен разный динамический диапазон, но стоит все таки сохранять некоторую динамику.

В случае если после лимитирования у вас начались какие то искажения по звуку, а целевой громкости вы так и не достигли, стоит вернуться на шаг назад и посмотреть какие инструменты мешают вам поднять громкость. Возможно стоит их скомпрессировать или лимитировать отдельно, сделать тише, или даже эквализировать иначе.

На этом все, напишите о чем вы бы хотели видеть следующую статью или видео.

Огибающая

Звук можно рассматривать с разных точек зрения. Со стороны спектра я разобрал в статье про эквалайзер. Но также можно не разбивать звук на отдельные частоты, а смотреть на него в целом. Один из способов - работать с огибающей. Она грубо описывает громкость звука в определенный момент времени. Сколько-нибудь точно измерить громкость в моменте невозможно т.к. звук это колебания, а они существуют только во времени, у них есть период. Поэтому измеряется громкость за счет накопления некоторого количества моментов:

Один из самых популярных приборов для коррекции огибающей - компрессор.

Компрессор и его параметры

Принцип его работы прост: если громкость звука переходит пороговый уровень, то компрессор уменьшает громкость сигнала, когда уровень ниже порога компрессор ничего не делает.

Давайте нарисуем простенькую схему - она поможет разобраться во всех тонкостях работы компрессора:

Здесь есть усилитель на который продается звук, усиление контролируется отдельным сигналом который в простейшем случае идёт с той же дорожки.

Насколько быстро будет происходить изменение громкости мы задаем с помощью ручки атаки.

Компрессор будет работать не сразу как уровень превысит порог (который мы кстати можем сами установить ручкой порога) а с некоторой заданной задержкой. Благодаря этому мы можем не просто уменьшить громкость звука а выделить транзиенты. Транзиентами называются моменты резкого подъема громкости.

Помимо задержки срабатывания есть ещё один важный параметр - релиз. Он отвечает за то сколько времени усилитель будет возвращаться в исходное положение после срабатывания. Релиз работает не мгновенно, а как и атака плавно изменяет усиление.

Как и у любого усилителя мы можем контролировать степень усиления, в случае с компрессором это делается с помощью ручки соотношения, которая задаёт усиление в разах. Т.е. во сколько раз должна уменьшиться громкость при срабатывании компрессора.

В большинстве более менее продвинутых компрессорах есть ещё некоторые важные параметры: удержание (холд) задерживает начало релиза на определенное время, т.е. оставляет сжатие на высоком уровне до того как он плавно начнет меняться: колено отвечает за форму огибающей по которой изменяется громкость звука, она может быть нелинейной:

Сайдчейн

Вернемся к схеме. Управляющий сигнал называют сайдчейном в переводе на русский боковая или же сторонняя цепь. Она не изменяет звук в прямом смысле этого слова а только контролирует изменение громкости, мы можем сделать контроль более сложным и навороченным. Мы можем воткнуть фильтр чтобы компрессор срабатывал только на определенные частоты например на высокие и тогда он будет срабатывать только на звуках "с":

Таким образом мы получили деэссер. И никакие другие плагины кроме компрессора и эквалайзера не нужны. Также можно подать на сайдчейн не сам сигнал который мы обрабатываем а какой нибудь другой, и жать например звук баса от бочки, чтобы они не звучали одновременно и бас не заглушал атаку бочки, т.к. они существуют в одном частотном диапазоне:

На схеме это будет выглядеть как то так:

В теории можно воткнуть любые плагины перед сайдчейном и получить уникальные эффекты. Напишите в комментариях если есть мысли как можно нестандартно использовать компрессор, мне будет интересно почитать и возможно в одном из будущих видео проверить ваши идеи.

Теперь предлагаю посмотреть на разные классические способы использовать компрессор. Я могу выделить две основных.

1. Уменьшение динамического диапазона

Часто бывает необходимо на протяжение всего трека контролировать динамику инструмента, чтобы не было чрезмерных пиков и падений громкости. Лучшее что можно сделать в таком случае - это вручную с помощью огибающей настроить громкость. Результат в таком случае будет идеальным, и если у вас нет потокового производства, то стоит заморочится. Однако если у вас нет столько времени, то имеет смысл вручную изменять только какие-то продолжительные подъемы и спады в громкости, а микродинамику оставить компрессору.

Чтобы он сделал свою работу нужно настроить его на быструю атаку. Общий динамический диапазон уменьшиться, но с ним и общая громкость тоже, поэтому после компрессора нужно поднимать громкость. В некоторых плагинах есть автобаланас громкости, но я бы не советовал им пользоваться. Субъективное человеческое ощущение громкости может отличаться от машинного, из-за некоторых психоакустических эффектов звук после компрессии может восприниматься с другой громкостью даже если по уровню он будет таким же. Так что настраивайте усиление на слух. Да и вообще настраивайте звук всегда на слух а не на глаз.

2. Увеличение динамического диапазона

Как бы ни было парадоксально один и тот же инструмент может как уменьшить динамический диапазон так его и увеличить. Конечно речь идёт о микродинамике в пределах нескольких секунд, но тем не менее компрессор может выделить громкие моменты сделав их субъективно громче или же скорее ярче.

Для этого нужно установить атаку где то от 5 мс, а релиз подлиннее. Здесь нет четких параметров так как от инструмента и темпа будет зависеть необходимая атака и релиз. Например для малого барабана может быть неплохо 5 мс атаки, а релиз будет зависит от того как часто играет барабан, ведь компрессору нужно к каждому новому удару успеть восстановиться. Бочке нужно большее время атаки (~15 мс) ввиду того что она звучит в низких частотах, а чем ниже частота тем больше ее период, и чтобы его услышать должно пройти больше времени. Речь идет все еще о миллисекундах но тем не менее...

Не только с ударными можно использовать компрессор в таком режиме. Например голосу можно таким же образом добавить четкости и читаемости.

Параллельная компрессия

Компрессор не обязательно должен работать в основной цепочке на треке, он может также работать и параллельно. Во многих плагинах есть возможность крутить ручку драй/вет которая изменяет пропорции изменённого сигнала и оригинального, бывает есть вообще отдельные ручки для них, что позволяет оставить основной звук и подмешать к нему некоторое количество скомпрессированного. Так можно выделить атаки но при этом оставить весь жир на месте.

Настраиваем компрессор

У компрессора как и у других плагинов нет каких то идеальных пресетов на все случаи жизни. Могу дать простую рекомендацию по быстрой настройке компрессора в режиме выделения атаки.

Выкручиваете соотношение до больших значений, порог до того уровня чтобы отчётливо слышать компрессию. Атаку ставьте на минимум, релиз чуть больше минимума. Теперь увеличивайте атаку до того момента пока не получите ту самую яркую пробивную атаку. Теперь настройте релиз так чтобы сигнал успевал восстанавливаться до начала следующей атаки.

Дальше есть два пути.

Первый варант: верните соотношение к значению около 4 и увеличивайте порог пока не добьётесь нужного звучания. Если увеличите соотношение то сделаете атаки более жёсткими, а если уменьшите то наоборот более мягкими.

Второй вариант это параллельная компрессия. Когда вы получили яркую атаку но уже потеряли основное тело звука. Вы можете вернуть через драй/вэт оригинальный не скомпрессированный сигнал. И к нему подмешать атаки.

Да, здесь все как в рецептах где нужно посолить "по вкусу". Нет четких рекомендаций по результирующим значениям. Но если вы будете действовать по такому алгоритму то вероятно услышите те самые моменты выделения атак даже если не имел опыта работы с прибором.

Если у вас остались вопросы, напишите в комментариях, я обязательно на них отвечу. Ну и поставьте лайк если было полезно.

Сведение и мастеринг (vk/telegram): @alekseytukbaev

В одном из прошлых статей я показал такой плагин как TDR Proximity. Сегодня я хочу рассказать о нем подробнее, посмотреть как он работает изнутри, ну и в качестве бонуса покажу как его можно использовать вместо вокал райдера (по крайней мере в Reaper).

Для тех кто не в курсе: данный плагин имитирует эффект отдаления или приближения путем эквализации (в первую очередь). В целом для его использования вам потребуется лишь двигать главный фейдер который отвечает за расстояние которые мы хотим сымитировать. Однако органов управления здесь куда больше и я особо не вникал в их суть, но сегодня мы откроем анализатор плагинов и посмотрим на что они влияют т.к. полноценного мануала я не нашел. Плагин делался в рамках какого-то конкурса плагинов, а не разрабатывался специально для потребителей.

Так как в первую очередь плагин представляет из себя фильтр то смотреть мы будем на его АЧХ.

Выключим все параметры модели установим оригинальную дистанцию на минимум а главный фейдер на "0". Это будет наша отправная точка.

На спектроанализаторе мы видим прямую линию, причем как бы я ни крутил фейдер она все равно на нуле:

Чтобы плагин начал хоть что-то делать нужно включить хоть что-то в модели. Начнем с "true gain". Как только мы его включаем, несмотря на то что фейдер в нуле, громкость поднимается. Это связанно с тем что оригинальная дистанция не равна нулю. Если мы увеличим ее, то громкость приблизится к нулю. Также если мы будем опускать или поднимать фейдер общая громкость будет следовать за ним, при чем значения на фейдере будут соответствовать величине громкости в дБ:

Теперь если мы включим "air arbsorbtion А" почти ничего не измениться (лишь немного понизиться верх):

На настройке "Б" будет уже сильное изменение:

Почему это происходит? Воздух является звукопоглащающим материалом, ввиду того что высокие частоты по природе своей имеют меньшую длину волны и меньшую мощность - они затухают быстрее. Чем дальше мы будем от источника звука тем меньше до нас дойдет верхних частот.

Включаем "proximity" и получаем резкий срез низких частот:

На второй настройке он реализован с помощью полки:

Почему это происходит? Если посмотреть как распространяется звук от источника мы увидим что на разных частотах это происходит по разному. В верхних частотах длина волны меньше излучателя и фактически мы получаем излучатель плоских волн, которые распространяются по направлению излучателя:

В то время как для низких частот, с большей длинной волны, динамик работает как точечный источник звука:

Волны распространяются во все стороны. Т.е. энергия затраченная на воспроизведения звука рассеивается и чем дальше мы находимся, тем меньший угол этого распространения мы захватываем. Таким образом низкие частоты сильно проседают на расстоянии.

Если мы наоборот приблизим источник звука к микрофону то получим буст низких частот (два варианта):

Это уже связано немного с другим эффектом который завязан на устройстве микрофонов. На это повлиять невозможно, единственный вариант использовать микрофон с более широкой диаграммой направленности (в лучшем случае всенаправленный, у него такого эффекта нет).

Дальше включим отражения:

По названию догадываюсь что здесь автор хотел создать эффект влияния отраженного задержанного сигнала который образует гребенчатый фильтр:

Второй вариант выглядит более странно:

Не знаю что именно здесь имитируется, буду рад если кто-нибудь в комментариях напишет про это.

Показать в анализаторе работу ширины стерео я не смогу, но вот что он делает. При отдалении стерео сигнала угол между динамиками для слушателя уменьшается, в предельном случае звук превращается в моно:

Соответственно если приближать к себе динамики не меняя расстояния между ними, стерео станет шире.

Тру дилей имитирует задержку звука с расстоянием. Звук не распространяется мгновенно у него есть скорость примерно 300 м/c, соответственно если источник звука находится достаточно далеко то услышим мы звук лишь через некоторое время после того как он будет извлечен. Не думаю что при микшировании имеет смысл включать эту настройку, но для правдоподобного эффекта отдаления она имеет смысл.

Также в этом плагине зачем то есть модулятор, самый обычный, с несколькими формами модулирующего сигнала. Прикольно конечно, но зачем...

Теперь бонус (лучше посмотрите видео с 4й минуты, там все наглядно).

В принципе любой плагин у которого есть ручка громкости может служить вокал райдером в рипере. Но в отличие от других плагинов, здесь не просто громкость, а приближенное к реальности изменение расстояния, что звучит куда более приятно. Чтобы настроит работу фейдера от громкости входного звука нужно в окне плагина нажать кнопку Param выбрать пункт Parameter modulation здесь нас интересует DistGain. Откроется такое окно, где нужно выбрать пункт Audio control signal и выбрать соответствующие входы (это могут быть также входы сайдчейна). Самый верхний фейдер определяет начальное положение фейдера в плагине, выставляем так чтобы получить ноль. Внизу выбираем направление изменения на негативное. Теперь нужно крутить минимальную громкость так чтобы началась модуляция - это порог срабатывания. Атаку и релиз нужно подбирать на слух. Также тут есть возможность делать изменения громкости нелинейно и изменять силу влияния модуляции. Таким образом данный плагин может работать как компрессор. Вокал райдер им фактически и является. Однако здесь у нас есть даже больше параметров чем в том же вокал райдере от Waves, к тому же как и говорил более естественное уменьшение громкости.

На этом всё. Как всегда: если остались вопросы, пишите - я обязательно отвечу.

Давненько у ElevenLabs не было достойных конкурентов - чтобы и голос клонировал, и мультиязычный перевод был, и библиотека голосов с редактором. Представляю Wondercraft - инструмент для подкастеров, для звукорежиссеров и рекламщиков.

Что может Wondercraft

Аудиокниги, подкасты

ИИ запишет подкаст по вашим запросам, можно выбрать из 200 реалистичных голосов, автоматически сделать дубляж на другой язык и сгенерировать сценарий.

Аудиореклама

Есть ИИ-генератор рекламы, где можно вставить ссылку на товар, который необходимо прорекламировать и получить аудиорекламу, длительностью 30 или 60 секунд. Ее можно отредактировать по своему вкусу, изменить голос, язык и содержание. Есть бесплатные аудиосемплы и музыка.

Клонирование голоса

Клонирование голоса доступно только платных подписках, и нужно сначала подписаться на ElevenLabs за 11$, так как Wondercraft используют их технологии. А Wondercraft ,в свою очередь, покроет стоимость. Здесь подробнее можно почитать

Остальные функции

Так же заявлено, что можно сделать успокаивающие и выразительные медитации и продающие аудио e-mail’s

Что понравилось в Wondercraft

• Понравилось, что на сайте есть статьи, как расставить паузы и настроить произношение, руководства по использованию

• Нейронка знает много акцентов, 30 языков и в их числе русский.

• Бесплатно — 10 минут на генерацию аудио и 40 голосов.

• Хорошая озвучка

Что не понравилось в Wondercraft

• Платный план начинается от 35$/мес, когда у ElevenLabs от 5$/мес.

• Хоть Wondercraft, в отличие от ElevenLabs, генерирует по текстовому запросу аудиорекламу с уже готовыми звуковыми эффектами и музыкой, все равно я не нашла русский язык. Кстати, как и многих других, которые представлены на сайте в списке доступных языков.

По этой причине не рекомендую Wondercraft, сама использую ElevenLabs, у него есть русский язык, бесплатно дается 10 000 знаков каждый месяц, которые можно потратить по своему усмотрению - на перевод и дубляж, генерация аудио из текста, создание звуковых эффектов, шумоподавление в озвучке, хоть на все сразу. Хотите узнавать о полезных сервисах с искусственным интеллектом для работы, учебы и облегчения жизни? Подпиcывайтесь на телеграм канал НейроProfit, там я рассказываю, как можно использовать нейросети для бизнеса.