У меня есть желание, финансовые ресурсы, мощности GPU фермы, а так же некоторые способности, что бы озвучить DLC Сyberpunk 2077 Phantom liberty полностью на русском языке синтезированными голосами которые вы с трудом отличите от реальных голосов актеров озвучки. Для этого мне потребуются семплы голосов из оригинальной игры, умельцы которые помогут их взлечь уже нашлись.
Суть моей затеи следующая:
1) Набираю по 20 минут голосов всех персонажей игры,
2) Обучаю нейросеть голосам и создаю все голоса персонажей игры ну или большую часть ключевых (просто неписей я думаю можно озвучить 1 голосом)
3) Выгружаю все субтитры из DLC
4) Пишу скрипт который будет по API загружать тексты в мою нейросеть для озвучивания
4) Создаю все звуковые файлы с голосами персонажей для текстовых файлов субтитров. (самое трудозатратное и по деньгам и по времени)
5) Пишу скрипт который все голоса упакует в игру обратно
6) Получаю игру с русской озвучкой
Я не уверен, что всю получится, на каждом этапе можно споткнуться (навыки программирования у меня достаточно слабые) а ведь ещё есть такое понятие как липсинк. Ну вообщем идея такая. Демонстрация возможностей синтеза голосов можете увить на видео ниже. В этом же видео будут приведены в пример куски оригинальных голосов с которых нейросеть обучалась. Очевидно, что чем больше будет голосовых данных с разными эмоциями тем точнее и интереснее можно будет делать озвучку. В идеале 20 минут голоса на каждого персонажа.
Нужна ли синтетическая озвучка голосами привычных нам персонажей в Сyberpunk 2077 Phantom liberty, на русском языке?
Обсуждение проекта русификации происходит на на этом дискорд сервере:
Руководствуясь логикой "актрисульки" из видео, можно идти ломать монтировками сервера Midjourney , ChatGPT ну и по дороге обоссать сервера, на которых работают современные переводчики текста. Ишь чо посмели! Работу отнимать у художников, дикторов и переводчиков! Мерзавцы, не иначе!
Коротко о том, как грести бабки, если ты не преуспел в дизайне к 2023 году.
Далее я озвучу свое непопулярное (скорее всего) мнение, а вы уж сами решайте прислушиваться или заминусить меня, чтобы я потом в холодном поту просыпался от мыслей про пикабу., Итак, что я вынес для себя из первого 30-минутного видео и большого двухчасового стрима «Актёрской курилки» - воруютЬ везде! И прогресс так летит, так летит – ну просто невозможно угнаться и хотя бы матчасть изучить. И пока этот самый прогресс летит в 2019 и презентует нам умные колонки с голосом Алисы (который кстати принадлежит актрисе дубляжа Татьяне Шитовой, для тех кто в танке), актриса Алёна Андронова идёт и пишет голосовые заготовки для виртуального помощника в банке, который по её словам киданёт её вот-вот и синтезирует её речь. Здесь стоит сделать отступление. На тот момент я, будучи инженером в группе эксплуатации телефонных сетей, уже как год был знаком с синтезом речи. Собственно, Яндекс и не скрывал, что у него есть api и что ты можешь им сыпануть шекелей в ладошку и пользоваться этим инструментом для записи IVR (приветствий). Возвращаемся к записи «помощника». Идёт 2019 год. Ты актриса и тебя, судя по твоим же словам волнует вопрос синтеза речи не меньше, чем задротов из кремниевой долины. Что мешает взять договор заранее и вместе со своим агентом/юристом проштудировать пункты и внести изменения? Здесь мы конечно и вроде как спросили. И даже нам вроде как ответили, что всё норм. Как я вижу описанную актрисой ситуацию? Да как-то вот так:
Письменно ответили-то хоть? Нет.
Может вы правки внести хотели? Нет.
Ну хоть чем-то вы подкрепить можете свои слова? Нет.
А подкрепить свои слова не могут лишь потому, что «один нечистый на руку» банк дал такую сумму, которая заставила задуматься «Сейчас не запишу – они ведь за такой гонорар другую найдут по щелчку пальцев». Я просто другой причины не вижу записывать свой голос с сырым договором, тащить своего ХОРОШЕГО ЗНАКОМОГО на мужской голос этого самого помощника, бежать на дозапись образцов и длительное время молчать. И молчалось ровно до того момента, пока деньги не кончились пока не стало мало интересной и творческой работы. Да и судя по Кинопоиску 30+ фильмов после сотрудничества с банком это весьма неплохой результат. Хотя кому я вру, там в списке настолько посредственные фильмы, где сложно заметить невероятную и конечно же исключительную актёрскую игру. К слову, уже тогда пошли посты про то, что хочется и над крутыми проектами поработать, но и финансовая часть тоже нужна. Прошло ещё полгода и вот на Youtube всплеск на эту тему, на DTF, на Пикабу и прочих информационных ресурсах. Мне разве что начальник на работе не ухо не шепчет «Ты прикинь? Актриса там половой орган без соли доедает!»
Совсем скоро все актёры дубляжа/дизайнеры/сценаристы:
Да, местами грустно. Да что уж там – видео создано для того, чтобы у тебя, мой друг, не осталось сомнений. Мы хорошие – они плохие. И плохих много – и те, кто синтезирует умерших актёров. И тех, кто синтезирует голоса умерших детей. И служба безопасности зелёного банка, которая вот-вот тебе позвонит и твоим голосом скажет, что произошла кража. И вообще, там оказывается порно озвучили этим синтезом! Лично я не представляю чего там можно в порно такого озвучить (Пётр Гланц, это не к вам, у вас норм получилось). У меня сразу всплывает такой фрагмент:
А тем, кто вскрыл голосовые исходники в играх и заполучил их на стороне – дык вообще не в отдельном котле надо вариться в аду, а в общем…ну чтобы максимально неудобно было. А то ишь какие! За подписку они продавать вздумали синтез реплик. А в конце видео естественно слёзные просьбы подписать петицию. Затем стрим в «Актёрской курилке», где уже в несколько голосов проговаривается тоже самое. Подтянули второго бедолагу, который помогает ведущему хайповать на этой теме. И всё это время, начиная от первого видео, проскальзывает один и единственный посыл: были бы роялти – не было бы криков. Просто рукалицо. Ни больше. Ни меньше.
И вот наконец, что хочется сказать. Если человек так рьяно взялся бороться за авторские права, за свой голос и правоту – он должен быть как минимум олицетворением своей идеи, иначе всё это пустое лицемерие. Можно подписать тысячи петиций об авторском праве, но при этом пиратить игры. Можно запретить платформы с синтезом, но при этом пиратить озвучку. А можно просто сесть и проанализировать то, что предлагают агенства и платформы по сотрудничеству с актёрами. Я не поленился и нашёл следующее:
Один из бедолаг у которых воруютЬ!
Выше - средний ценник Павла Дорофеева, голосом которого можно озвучить сейчас всё что душе угодно. И ведь озвучивают! Едем дальше - Всеволод Кузнецов. Обожаю кстати его голос и возможно обратился бы за его услугами, НО...ценник в 13 000 минимум не позволит мне этого сделать. И да, это не за рабочий день, а за 1-2 минуты озвучки. К слову один мастер, который мне штробил однажды каналы под розетки получил 15000 за 11 розеток,4 канала и уборку за собой. Борис Репетур - от 10 000. Сергей Чонишвили - по согласованию (но там ценник не сильно ниже). Ну и наконец наша прекрасная автор(ка) данных видео - тоже пишет по согласованию.
Как простой пользователь, которому вот вдруг до зуда в попе захотелось озвучить название ролика в 5-10 секунд голосом кого-то из мэтров дубляжа, я куда должен пойти? К актёру за 13к, к боту с синтезом речи и подпиской в 1-2к в месяц или сразу на *** ? Что мешало ВАМ влиться в этот самый прогресс за последние 4 года? Что мешало собрать небольшую группу актёров, скажем человек 10-20, прийти к людям, которые действительно практикуют синтез и заявить о себе. "Здравствуйте, мы актёры дубляжа. Давайте дружить, мы вам голоса - вы нам платформу с подпиской на озвучку и роялти за то, что нашим голосом где-то что-то записали. Мы сидим на попе ровно - деньги нам идут. А если хотите без косяков синтеза и с озвучкой - вот мой НОРМАЛЬНЫЙ ценник за работу в студии."
Пути обхода всегда будут. Мошенники не вымрут. Технологии полетят дальше. Так может пора в эволюцию?...
Взять с собой побольше вкусняшек, запасное колесо и знак аварийной остановки. А что сделать еще — посмотрите в нашем чек-листе. Бонусом — маршруты для отдыха, которые можно проехать даже в плохую погоду.
Продолжение моей эпопеи и нашей борьбы, первая статья и видео - в серии. В предыдущем видео - со мной заключили спорный договор и сделали из меня общедоступный синтез, который теперь звучит в 18+ рекламе. Сейчас я хочу дать ответ банку, а также обсудить спорные моменты и поделиться мнением экспертов, а также призвать вас к участию в нашей борьбе!
Расшифровать текстовую версию в этот раз, увы, не успела
Показываю синтез речи, рассказываю о проблемах распознования речи с которыми столкнулся при использовании Whisper от OpenAI и раскрываю немного деталей по игре.
Все-таки Джек решился заменить классический text-to-speech своей вайфу на более эмоциональный и более упоротый. Осталось прикрутить новый аватар, который скоро допилит Аня-лиса.
Привет всем! Меня зовут Леонид, я являюсь СЕО Mind Simulation – лаборатории, ведущей исследования и разработки в направлении Общего Искусственного Интеллекта. Сегодня я хочу поделиться новостью о запуске бота Telegram с синтезом речи для нашей платформы SteosVoice.
Ранее я уже писал о том, как мы умеем переносить голоса между языками на примере G-man`а из Half-Life: Alyx и Святого Габена.
Бот доступен здесь и с его помощью вы теперь можете работать в привычной среде. Этот бот позволяет легко и просто создавать аудио файлы на английском и русском языках, используя мощную технологию синтеза речи нашей платформы. Но фишек больше, чем просто синтез:
5000 символов бесплатно каждый день: бот будет являться первой точкой входа в наш сервис, которая позволит оценить качество синтезирования, поработать с разными голосами и пользоваться сервисом бесплатно, если у вас небольшие потребности;
удобный выбор голоса через Telegram Web App: голоса структурированы по категориям, есть сортировка, можно сразу прослушать пример звучания голоса;
мультиязычные голоса: не столько фишка бота, сколько фишка нашей технологии, о которой я рассказывал здесь (русские голоса говорят по-английски и наоборот);
создание гифок со звуком: вы можете отправлять боту гифки и накладывать на них ваши реплики (если гифка вертикальная или квадратная, то бот сделает из неё кружок, если горизонтальная – оставит как есть);
привязка бота к платформе по токену: если вы приобрели платный тариф на платформе, но вам удобно пользоваться ботом, то вы можете подключить его к своему аккаунту и бот будет расходовать основной баланс платформы (инструкция по привязке находится в самом боте);
настройка ударений через «+»: просто поставьте + перед ударной гласной и ударение поменяется;
голоса из игр: мы решили начать добавлять на платформу голоса любимых всеми персонажей видеоигр и будем наращивать темпы;
покупка дополнительных символов сразу в боте: если не хочется регистрироваться на платформе, но нужен больший объём;
новые фичи на подходе: бот будет первым получать экспериментальные обновления перед их внедрением в саму платформу.
Недавно мы запустили интересный колаб вместе с Gabe Follower в телеграме. Мы открыли его голос для пользователей. Креатив не заставил себя долго ждать 😊
Вот ролик, сценарий которого написал chatGPT, а озвучен он нашим синтезом:
Также оставлю ссылку на видео, полностью созданное с помощью нескольких нейронных сетей, которое было озвучено нашей версией Джина из Лиги Легенд: https://t.me/DeepFaker/4381
Бот работает неполные 2 недели, а мы уже выросли до 8000 пользователей у бота и 4000 подписчиков в нашем телеграм канале. Присоединяйтесь, будем рады, если наш сервис будет для вас полезен😊
Также мы запустили мини платформу, где вы можете нам помочь в подготовке данных для создания голосов.
Велком, вы поможете ускорить процесс! Новые игры так же будут добавляться.
P.S. Также в ближайших планах стоит запуск публичного API для интеграции с вашими проектами.
В общем (и целом) приглашаю вас потестить и обсудить в комментариях!