На видео — живой разговор с агентом в режиме Live: в начале он сам рассказывает, что умеет студия, дальше я по очереди переключаю ему движки и голоса и задаю вопросы.

Какие модели внутри

Голос в студии делают пять открытых моделей, и у каждой своя сильная сторона.

Fish Audio Drama 3 — новая модель Fish Audio для сцен с несколькими персонажами и длинных текстов. Внутри 35 млрд параметров, но на каждый токен работают только 3 млрд: это Mixture-of-Experts, где роутер для каждого шага выбирает нескольких «экспертов» из большого набора. Один текст может вести до 16 персонажей, а метки вроде [laughs] или [sighs] прямо в тексте заставляют голос смеяться и вздыхать. Честно скажу: на английском метки работают заметно лучше, чем на русском.

Higgs Audio v3 от Boson AI — тот же движок, что озвучивает в моей Dub Studio. Клонирует голос по короткому образцу и передаёт эмоции и звуки.

Qwen3-TTS 1.7B от Alibaba — самый быстрый на первый звук. Девять встроенных голосов, клонирование и подсказка, как читать, на каждый кусок текста. Его версия VoiceDesign делает новый голос по описанию словами.

Qwen3-TTS с русскими ударениями — та же модель с LoRA от siriusfreak, обученной на русских ударениях. Подключается на лету, отдельная модель не нужна.

Supertonic 3 — маленькая модель на 100 МБ с десятью встроенными голосами. Озвучивает в 168 раз быстрее реального времени и работает даже на процессоре.

Зачем понадобилась студия

Официально все эти модели запускаются из Python через PyTorch, у каждой свои зависимости и своё окружение, а Drama 3 разработчики запускают на серверном фреймворке SGLang-Omni и меряют на видеокартах H200. Поставить их рядом и заставить работать вместе — отдельный квест. Speech Studio выросла из моей Dub Studio и собрана целиком на нативных движках — Rust и C++/CUDA с квантованными весами GGUF и ONNX: один exe для Windows, без Python и зависимостей.

Отдельно повозился с Drama 3. Целиком в квантованном виде она занимает почти всю карту на 24 ГБ, поэтому в движке drama-rs эксперты модели (18 ГБ) переезжают в оперативную память, а на видеокарте остаётся кэш самых нужных. Так она запускается уже с 6 ГБ видеопамяти и при этом говорит бит в бит то же самое, просто медленнее. Внутри студии — всё, что умеют модели, и много сверху:

Озвучка чего угодно — фраза, диалог, где строки «Анна: …» сами становятся персонажами со своими голосами, подкаст, который режиссёр на Gemma пишет на заданную тему для двух-трёх спикеров, или закадр по субтитрам SRT точно в их тайминги

Аудиокниги — EPUB, FB2, PDF и DOCX: студия делит книгу на главы, отделяет прямую речь от авторской, раздаёт персонажам голоса и собирает M4B с главами и обложкой, с проверкой громкости ACX

Русский как надо — числа в нужном падеже и роде, даты, время, деньги и единицы словами, латинские бренды и аббревиатуры. Ударения, «ё» и омографы расставляет RUAccent: замо́к или за́мок, му́ки или муки́ он выбирает по смыслу предложения. Свои правила живут в словаре произношения, туда же импортируются словари Balabolka

Каждый дубль проверяется — студия распознаёт озвученное обратно, сверяет со словами текста и ловит клиппинг, тишину, обрыв, щелчок в конце, повтор фразы и музыку вместо речи. Брак переделывается, а из нескольких дублей можно выбрать лучший

Библиотека голосов — клон по нескольким секундам записи, запись с микрофона, импорт файлов и пак голосов одной кнопкой. Mel-Band Roformer отделяет голос от музыки, DPDFNet убирает шум, а студия сама находит самый чистый кусок образца

Голос по описанию — пишете «пожилая женщина с мягким, чуть хрипловатым голосом», слушаете несколько вариантов и сохраняете лучший в библиотеку

Монтаж и экспорт — трековый редактор под текстом, музыка и звуки из файлов или песня из YuE2, MiniMax Music3 или ACE-Step Studio. Файл на главу, дорожка на персонажа, эффекты рации и телефона, громкость под видео или подкаст, WAV, FLAC, MP3, OGG и M4A

Всё в папке студии — модели, голоса и проекты лежат рядом с exe, установленная версия обновляется сама, а модель, которая уже есть в другой моей студии, берётся оттуда и не качается заново. Интерфейс на шести языках, светлая и тёмная тема

Распознавание речи

Второй режим, Listening, делает обратное: запись, видео или ссылку превращает в текст, где видно, кто что сказал и когда. Распознают Parakeet-TDT и Nemotron 3.5 от NVIDIA на движке transcribe.cpp или Whisper, говорящих — до восьми человек — размечает Nemotron 3 Diarization, длинная запись режется по паузам Silero VAD, шум убирает DPDFNet. При языке «Авто» его определяет VoxLingua107, и запись сама уходит модели, которая этот язык знает.

С текстом дальше можно работать: плеер-караоке подсвечивает слова, запись монтируется вырезанием слов прямо из текста, субтитры выгружаются по правилам Netflix и BBC в SRT, VTT или ASS. Если наложить на запись сценарий, студия покажет каждое слово, сказанное неверно или пропущенное, — так удобно проверять дубляж. А из говорящих записи можно сразу сделать голоса для библиотеки.

Разговор с агентом голосом

Третий режим, Live, — то, что на видео. Пока студия открыта, она работает как MCP-сервер: Claude Code, Cursor, Codex и другие агенты делают через неё всё, что умеет окно, — озвучивают, распознают, собирают проекты и аудиокниги. А в Live с агентом можно просто разговаривать. Он произносит каждую фразу, как только её написал, не дожидаясь конца ответа. Ваша фраза становится текстом через 0,64–0,74 секунды после того, как вы замолчали, а первый звук ответа приходит через 15 мс – 1 секунду после того, как агент его написал, в зависимости от движка.

Агента можно перебить фразой, и посреди разговора поменять ему голос, распознаватель или язык. Микрофон при этом включает только человек: у агента нет инструмента, который его включает, кнопки включения не принимают его клики, а если окно студии закрыто, микрофон через пять секунд выключается сам. В шапке видно, что микрофон пишет, для чего и сколько.

Программы, написанные под голосовой API OpenAI, тоже работают со студией: она отвечает на тех же запросах, а вместо голосов OpenAI отдаёт голоса вашей библиотеки.

Насколько быстро

Замерил на своей RTX 4090 одним и тем же русским текстом на 17 секунд. Supertonic 3 озвучивает в 168 раз быстрее реального времени, Qwen3-TTS — в 12 раз и выдаёт первый звук через 19 мс, версия с русскими ударениями — в 10 раз, Drama 3 — в 7 раз, Higgs Audio v3 — в 2,3 раза.

Пятиминутную русскую запись Parakeet распознаёт на видеокарте за 3,1 секунды, Nemotron 3.5 — за 4,1, Whisper large-v3-turbo — за 15,4. На процессоре Parakeet справляется за 9,2 секунды, Whisper — за 134.

Что нужно для запуска

Система: Windows 10/11 x64; Linux — экспериментально

Видеокарта: NVIDIA от 8 ГБ VRAM (GTX 16 / RTX 20 и новее); Drama 3 целиком — 24 ГБ, с 6 ГБ — с экспертами в оперативной памяти, тогда её нужно 32 ГБ

Место на диске: около 9 ГБ под модели и движки по умолчанию, Drama 3 — ещё 23 ГБ

Лицензия: студия — MIT, у каждой модели своя лицензия

Установка

1. Скачайте с GitHub установщик (обновляется сам) или портативный архив — его можно распаковать куда угодно.

2. Запустите Speech Studio и отметьте на первом экране, что нужно: голоса, распознавание, дополнения.

3. Нажмите «Скачать отмеченное» — модели и движки скачаются один раз и живут в папке программы.

4. Вставьте текст и нажмите «Создать», бросьте запись в Listening или включите микрофон в Live.

Примеры голосов всех движков, русские ударения до и после и полные таблицы замеров можно послушать и посмотреть на странице проекта.

⭐️ Поставить звезду на GitHub

📦 Скачать релиз, портативку или установщик

А больше удобных репаков полезных нейросетей в моем телеграм канале НейроСофт

Китаеязычный злоумышленник больше трёх недель ломал сайты чужими руками: он написал меньше 100 иероглифов инструкции и отпустил армию ИИ-агентов работать самостоятельно. Под удар попали больше 100 компаний, включая производителя сельхозтехники Deere, бытовой техники SharkNinja и двигателей Cummins. Каждый успешный взлом обошёлся ему примерно в 50 долларов.

Как это работало

Инструментом стала Cairn — открытая мультиагентная платформа для «решения задач». Оператор задаёт цель, агенты идут к ней по шагам и делятся находками на общей доске. Автор платформы с ником le1xia0 уверяет, что она не создавалась для атак.

Кампания стартовала 25 сентября и шла по интернет-магазинам США, Канады, Австралии и Японии. Агенты попробовали больше 1200 сайтов, успешной была примерно каждая десятая попытка, около 23 часов на взлом. На токены ушло около 5000 долларов. Судя по имени процесса в панели, работал Claude Code поверх DeepSeek V4.1 Flash, но это вывод исследователя, а не подтверждённый факт.

Это не тупой перебор. Не найдя дыр в публичном приложении крупной компании, агенты нашли связанную инфраструктуру, вышли на открытую панель управления, нащупали ошибку в обработке данных и заставили сервер выполнять свои команды. «Это уровень не скрипт-кидди», — говорит исследователь Снорре Фагерланд из NorForge.

Чего он хотел

По оценке NorForge, китаеязычная группа добывала долгосрочный доступ к магазинам и платёжным системам, чтобы использовать его позже. Сколько данных утекло, Reuters установить не смогло. Англоязычная группа на той же платформе ставила агентам задачу красть банковские карты и криптовалюту: один из них увёл данные карт, другой пытался обчистить криптобиржу. Deere и SharkNinja говорят, что угроза устранена и чувствительные данные не пострадали, Cummins проверяет сайт подрядчика.

Как быстро поймали

Никак: хакера не поймали, имя неизвестно, об арестах не сообщается. Фагерланд с 2 октября искал в сети случайно открытые панели Cairn, нашёл около двух десятков вредоносных и неделями наблюдал за злоумышленниками через плечо. Сейчас NorForge просит хостеров снять открытые панели, в которых, кстати, лежали сотни ключей API и паролей, 11% из них рабочие.

Почему это важно

До сих пор автономные ИИ-атаки были в основном лабораторными демонстрациями или кампаниями государственных групп. Здесь один человек с парой тысяч долларов и абзацем текста получил производительность команды пентестеров, которой не нужны ни сон, ни присмотр.

Источники: Tom's Hardware, Reuters, The Next Web

НЕЙРО-ПУШКА ● Новости и обзоры нейросетей

Мод - это плагин, который работает прямо внутри Claude Code, а не снаружи, как обычные хуки и MCP-серверы. Поэтому он умеет то, чего раньше не умел никто: нарисовать свою полосу над полем ввода, открыть боковую панель, придержать опасную команду до вашего «да», добавить команду, которая отвечает мгновенно, без хода модели. Моды работают в терминале и во вкладке Code десктопного приложения, нужен Claude Code 2.1.287 и новее, в десктопе 2.1.286.

Зачем я сделал givememod

Публичные моды - это продукты «для всех»: датчик контекста, погода токенов, свой /diff. А в работе нужно другое: полоса плана именно для этого рефакторинга, сверка ТЗ именно для этого диалога, гард на единственную опасную команду этого деплоя. Писать такое руками каждый раз долго, а через неделю мод уже не нужен.

givememod - это скилл, который делает такие моды по запросу. Пишешь /givememod, и Claude Code сам читает текущий диалог, предлагает подходящий мод, собирает его из проверенных шаблонов, подгружает на лету и доводит, пока не понравится. Понравившиеся моды остаются, остальные уходят вместе с сессией.

Как это работает

Сначала скилл смотрит на ситуацию: что вы просили, есть ли план в работе, много ли файлов, идут ли долгие задачи, есть ли опасные команды, сабагенты или ожидание CI. Под это он подбирает самый маленький мод, который поможет. Если вы сами написали /givememod, он собирает мод сразу и называет запасной вариант. Если не просили, на долгой задаче один раз предложит одной строкой и больше не пристаёт.

Мод собирается из шаблона и строительных блоков по правилам, которые проверяет загрузчик Claude Code, и до того, как вы его увидите, проходит claude plugin validate и свои тесты. Появляется он, когда заканчивается ответ, и каждая правка вроде «покороче», «под полем ввода», «в боковой панели» или «спрашивай перед X» подхватывается так же. Скажете «оставь» - мод уходит в папку скиллов, Claude Code грузит его в каждой сессии без установки, а в похожей задаче предложит первым.

Что внутри

11 проверенных шаблонов: прогресс плана, затронутые файлы, датчик контекста, чек хода, закреплённая цель, удержание опасной команды, наблюдатель команды, кнопки ответов, пинборд с тулом для Claude, таймер и пустой стартовый. Плюс 29 строительных блоков с кодом, справочник по отрисовке, все задокументированные грабли с официальными лимитами, тест-кит и чек-лист для проверки чужих модов перед установкой.

Отдельно - карта 3057 публичных модов: что люди делают, зачем и как, и лучший пример под каждую задачу. И разбор 222 репозиториев модов, прочитанных пофайлово: приёмы, иконки, палитры, звуки и файлы-хелперы, у каждого источник и лицензия. По умолчанию шаблоны не вызывают модель и ничего не добавляют в контекст, так что токены моды не жрут.

Примеры из живых сессий

На скринах в начале поста - моды, которые givememod собрал мне по ходу работы: полоса сверки ТЗ, которая считает, сколько пунктов сделано, а сколько висит; плеер Spotify прямо над полем ввода; и прогресс нейродубляжа GTA V из 12 этапов, где у текущего шага свой счётчик, а готовый шаг получает галочку

Как поставить

В терминале:

claude plugin marketplace add timoncool/givememod
claude plugin install givememod@givememod

Потом в открытой сессии /reload-plugins или перезапуск Claude Code, и дальше в любом диалоге /givememod или /givememod с описанием, что нужно.

Если зайдёт, звезда на GitHub - лучшая благодарность. А какой мод вы бы себе собрали первым? Пишите в комментах.

РЕПАКИ И ПОРТАТИВКИ ПОЛЕЗНЫХ НЕЙРОСЕТЕЙ ● НЕЙРОСОФТ