Есть ли желающие протестировать режим и карту?
Будет закрытое бета тестирование
Новые ощущения и крутая физика прямиком из GTA 5

Весь сюжет и миссии основной игры теперь по-русски: около 67 тысяч реплик, у каждого персонажа свой голос на всю игру. Текст взят из официальных русских субтитров игры, без цензуры, мат на месте.

А в полной версии по-русски говорит вообще всё: прохожие на улицах, радио с ток-шоу, рекламой и новостями, полицейская рация, объявления, телевизор и дополнения. Всего 250 364 реплики.

Сколько это заняло. Десять дней почти без перерыва. Генерация голосов вышла примерно в 60 долларов: 218 часов русской речи вместе со всеми переделками. Видеокарта дома отработала не меньше 60–70 часов.

Самое забавное, что сгенерировать голос — самое простое. Всё остальное — бесконечная возня:

Масштаб. Сначала думал, что в игре около 168 тысяч реплик. Потом нашлись дополнения, телевизор и ролики — ещё 333 часа звука.

Распознавание. У прохожих, радио и рации субтитров нет, их речь переводит в текст нейросеть. А она любит выдумывать слова там, где их нет: на тишине, музыке и стонах. Поэтому каждое подозрительное место перепроверяла вторая нейросеть.

Голоса. Готовые голоса Google путают пол: часть мужских подписана как женские и наоборот. Пришлось проверить каждый, чтобы мужчины не заговорили женскими голосами.

Укладка. В катсценах русская фраза должна уложиться ровно в то время, что и английская, и не налезть на следующую реплику. Первую версию я из-за наездов сам отозвал и переделал.

Вылеты. Первые сборки роняли игру: она ждёт звук строго своего формата и размера. Пришлось искать, где именно она падает, и перепаковать весь звук ровно как у Rockstar. Теперь не вылетает.

Что в итоге:
— в катсценах живой звук сцены: убран только английский голос, музыка, двери и выстрелы на месте;
— рация звучит как рация, громкоговоритель — с эхом;
— иностранцы говорят по-русски с акцентом;
— два варианта: закадр (русский поверх приглушённого английского, слышно игру актёров — его и рекомендую) и полный дубляж;
— установщик: распаковал, запустил, три раза «Далее» — играешь. Пока для Enhanced-версии.

Сразу честно: до живых актёров нейроозвучке далеко, это скорее как переводы времён Фаргуса. Но перепроходить пятую часть перед шестой с ней в разы приятнее, чем читать субтитры.

Скачать у меня в Telegram

Найдёте место, где звучит смешно или мимо, — пишите в комментариях, поправлю 👇

Всем привет! Недавно увидел ролик про нейро-GTA V — как к NPC подключают нейросеть и с ними можно разговаривать, как в нейромоде для Skyrim. Идея зацепила, и захотелось снова пройти игру — но слушая диалоги, а не читая субтитры, как при первом прохождении. Полез искать русскую нейроозвучку и нашёл только неполную версию, довольно кривую и почти одноголосую.

Прикинул объём работы и понял, что сделать свою вполне посильно. Начал с тестового ролика — он второй в посте: подобрал персонажам голоса, попробовал передать характеры и эмоции, сохранить сленг и грубость оригинала. Получилось лучше, чем я ожидал, — и я взялся за полную озвучку.

Первое видео — пролог целиком, от ограбления до похорон. Это настоящая озвучка, записанная прямо из игры: ещё не финальная, но примерно так всё и будет звучать.

Масштаб оказался такой: 168 271 реплика, около 100 часов речи. И это не только сюжет — катсцены, звонки, побочки, болтовня прохожих на улицах, радио с ток-шоу и рекламой, полицейская рация, объявления.

Самое забавное, что сгенерировать голос — самое простое. Озвучивает Gemini TTS от Google. А всё, что вокруг, — это и есть настоящая работа:

Распаковка. Звук игры лежит в зашифрованных архивах. Вытащил все 260 866 аудиопотоков и разобрал, что из этого речь, а что музыка и эффекты.

Распознавание. Там, где нет субтитров, речь распознаёт Whisper large-v3 — по четыре копии параллельно на RTX 4090, сутки работы видеокарты. Whisper при этом врёт как дышит: на тишине пишет «Subtitles by Amara», испанскую речь сам переводит на английский, а корейских бандитов записывает хангылем. Поэтому всё подозрительное перепроверялось второй моделью — Parakeet от NVIDIA.

Кто говорит. Оказалось, игра хранит в каждом звуковом файле путь к анимации губ персонажа — по нему и определяется говорящий. В катсценах и ток-шоу речь делит по голосам Nemotron от NVIDIA, а WeSpeaker сверяет голос с персонажами. Пол — по голосу моделью ECAPA-TDNN, потому что данным игры верить нельзя: Пейдж и Талиана там записаны мужчинами 😅

Отделение голоса. Нейросеть BS-RoFormer вырезала английскую речь из 7 038 дорожек. Двери, выстрелы и музыка под ней остаются на месте.

Укладка. В катсценах русская фраза должна влезть ровно в окно оригинала: ускорение — не больше 10%, иначе ИИ сокращает текст, а лишние слова вырезаются прямо из готовой озвучки.

Сборка. Свой упаковщик обратно в архивы игры. По пути нашёл баг кодека в CodeWalker, из-за которого в конце каждой реплики был щелчок, — починил.

Это видео тест озвучки, не из игры, просто проба, как пример:

Что в итоге:
— переводится всё, что звучит в игре, больше, чем есть в официальных субтитрах, и без цензуры — мат на месте;
— у каждого персонажа свой голос на всю игру;
— в катсценах остаётся живой звук сцены, громкость — как у оригинала, рация звучит как рация;
— каждая реплика сюжета проверяется обратным распознаванием, брак уходит на перегенерацию.

Делаю в первую очередь для Enhanced-версии — она выглядит не хуже нынешних игр, так что перепройти её перед шестой частью определённо стоит. Сейчас запускаю генерацию всего сюжета.

Как будет двигаться дальше, рассказываю у себя в Telegram — подписывайтесь, чтобы быть в курсе: https://t.me/nerual_dreming

Интересно вам такое или нет? Пишите в комментариях 👇