Серия «Новости»

Доступна новая интерактивная модель LingBot-World 2.0 (LingBot-World-Infinity) (https://huggingface.co/collections/robbyant/lingbot-world-v2) для миров в реальном времени (720p, 60 fps, задержка менее 1 с).

Всего ключевых улучшений четыре, включая неограниченный горизонт взаимодействия без дрейфа (каузальное предобучение), успешную дистилляцию до модели реального времени, широкий спектр действий (бой, стрельба из лука, заклинания, текстовая смена погоды и событий) и агентную обвязку, когда "пилот" управляет персонажем, "режиссёр" добавляет события, поддерживая нескольких игроков.

Чтобы охватить как можно больше устройств, есть основная 14B версия и облегчённая 1.3B версия для одного GPU.

Данные собрали из эгоцентричных, синтетических и веб-видео, фильтруя их по качеству и VLM‑профилированию. Также добавили чанковые подписи с глобальным контекстом и многодорожечной событийной разметкой.

Обучение стартовало с претрейна при помощи каузальной видеомодели с MoBA‑маской (смесь авторегрессионного и двунаправленного внимания), противостоя накоплению ошибок, давая управление позами камеры и чанковыми текстовыми промтами. Затем посттренинг выполнил дистилляцию согласованности и DMD для ускорения и подавления дрейфа при долгих траекториях.

Вывод системно оптимизировали и использовали асинхронный пайплайн, где агентной оболочке анализировать сцену и предлагать события помог VLM-директор, а генератор-пилот реализовал динамику. Вдобавок взаимодействие может быть прямым семантическим или с отслеживанием объектов (SAM). Возможность текстового вмешательства позволила настраивать смену дня и ночи, погоду и появление объектов. Дополнительно применили пространственно-временной корректор и динамическое управление KV-кэшем.

Вывод происходит через основной вьюпорт, клавиши WASD/IJKL и панель событий (закреплённая и контекстная) на горячих клавишах.

Ограничениями сейчас остаются отсутствующая долговременная память (мир не помнит ранее посещённые области), постепенный дрейф стиля и внешности персонажей, несовершенное физическое понимание (пересечения объектов) и высокие требования к вычислительным ресурсам.

В результате модель превосходит открытые и закрытые аналоги, часами непрерывно генерируя без визуальной деградации, обладая богатой интерактивностью.

Четыре ключевые оси разделились на Уступчивость против Осторожности (подстройка под желания против защиты от рисков), на Теплоту против Строгости (поддержка и позитив против точности и прозрачности), на Глубину против Краткости (развёрнутость и нюансы против сжатости и выполнения строго по запросу), на Откровенность против Исполнения (признание неопределённости против отточенного и уверенного ответа).

Найденные между моделями различия показали большую уступчивость, теплоту, краткость и склонность к исполнению у Sonnet 4.6, строгость, краткость и небольшое смещение к уступчивости и исполнению у Opus 4.6, а ещё выраженную осторожность, строгость, глубину и откровенность у Opus 4.7. При этом профили совпали с субъективным восприятием пользователей.

Изучая различия по языкам, заметили наибольший разброс по оси Теплоты против Строгости. Claude проявил наибольшую "теплоту" в хинди и арабском, уделяя внимание вежливости и поощрению, но наибольшую "строгость" в английском и русском, акцентируясь на точности и оспаривании предположений. Другие оси продемонстрировали осторожность и глубину в английском, уступчивость и краткость в арабском, откровенность в нидерландском и исполнение в индонезийском.

Дальше планируют выяснить источники различий (данные обучения, культурные нормы), оценить влияние на пользователей, определить желательность вариативности, научиться управлять выражением ценностей и включить профилирование ценностей в оценку и мониторинг моделей.

Разработана новая модель Wan-Dancer (https://huggingface.co/Wan-AI/Wan-Dancer-14B), генерирующая длинные (более 20 с), ритмически синхронизированные, высококачественные (720p и 30fps) танцевальные видео непосредственно из музыки и, в отличие от существующих диффузионных моделей, не ограничена короткими окнами, не страдает от временного дрейфа, потери идентичности и повторяющихся движений.

Предложенным методом стала иерархическая архитектура, разделяющая процесс. Глобальное планирование ключевых кадров по полному музыкальному контексту формирует разреженную структуру танца, задавая долговременную когерентность, а локальное временное уточнение интерполирует промежуточные кадры вокруг ключевых, восстанавливая высокую частоту кадров и детали.

Динамическая адаптация FPS обеспечила внедрение временных меток в позиционные эмбеддинги (RoPE с привязкой ко времени), позволяя генерировать ключевые последовательности под произвольную длительность музыки. Функция потерь на основе оптического потока усилила непрерывность движений и подавила смазывание при быстрых жестах. Контроль скорости движения сгруппировал данные по скорости (медленно, средне, быстро) и управлял темпом через текст.

Дополнительно добавили кастомизацию хореографии через LoRA-адаптацию по нескольким (около 16) примерам, позволяя воспроизводить конкретный танец без полного переобучения. К тому же есть поддержка мультимодальной направляемости, охватывающей аудио, текст и референсное изображение.

Обучение прошло на собственном наборе данных с примерно 200 часов видео 720p (5 жанров, включая китайский классический, K-Pop, латина, чечётка и стрит-дэнс). Двухстадийный процесс начали с предобучения на низком разрешении (320×544), затем приступили к файнтюнингу на нативных 720p с использованием USP-параллелизма (128 GPU A100), применив унифицированный пайплайн тренировки глобальной и локальной моделей за счёт маски ключевых кадров.

В результате метода стабильно генерируются видео длительностью до 160 с (преодолён барьер около 20 с), превосходящие X-Dancer и MusicInfuser по всем метрикам (качество танца, видео и соответствие промту). Абляции подтвердили важность каждого компонента (глобальное планирование, функция потерь на основе оптического потока, динамический FPS и стратификация скорости). Также было продемонстрировано разнообразие при смене музыки, референса или зерна шума, приводящее к разным, но согласованным танцам.

Появилась новая единая аудио-текстовая модель Nemotron-Labs-Audex-30B-A3B (https://huggingface.co/nvidia/Nemotron-Labs-Audex-30B-A3B) на базе текстовой MoE-модели Nemotron-Cascade-2-30B-A3B с единым Transformer-декодером, кодирующим аудио и проецирующим его в текстовое пространство, генерируя единообразно текстовые и квантованные аудиотокены без регресса текстового интеллекта.

Целью было создание унифицированной LLM для понимания и генерации аудио и речи без деградации текстовых способностей.

Ядром выступил гибрид Mamba-Transformer MoE с 52 слоями, 128 экспертами, из которых 6 активны. Чтобы обрабатывать аудио, использовали аудиоэнкодер AF-Whisper, дополненный 2-слойным MLP-адаптером. Для речи применили аудиокодек X-Codec2 (50 Гц, однослойное FSQ), для неречевого аудио выбрали X-Codec (50 Гц, 4 слоя RVQ), а словарь расширили до приблизительно 205К токенов.

Данные получили из 157.4B аудиотокенов и 320.5B текстовых токенов (ASR, AST, TTS, TTA, аудиопонимание и текст SFT), после чего выполнили многостадийное SFT, охватившее текстовый этап, аудиоразогрев (заморозка текстовых эмбеддингов), обучение генерации аудио и совместное обучение пониманию и генерации, поскольку многостадийное SFT предпочтительнее одностадийного из-за проблем с длинным контекстом. Затем прибегнули к каскадному RL и многодоменной дистилляции только на тексте (без аудио RL).

В результате регрессия текста минимальна или нулевая по сравнению с текстовым ядром в математике, коде, знаниях, инструкциях, длинном контексте и агентных задачах, вдобавок некоторые метрики даже улучшены. Понимание аудио, ASR, AST на уровне или лучше открытых аналогов (75.6 на MMAU, 6.82 на OpenASR WER, 34.0 на Fleurs BLEU). Конкурентоспособные показатели TTS, TTA и speech-to-speech достигают 1.70 на Seed-TTS-Eval WER, 66.9 на AudioCaps FD, 90.0 на BigBenchAudio, между тем CFG необходимо для TTA, если λ находится в диапазоне от 3 до 5, а для TTS достаточно λ около 1.5. Кроме того, поддерживаются как instruct, так и thinking режимы.

Архитектура объединила аудиоэнкодер и проекцию в предварительно обученную текстовую LLM, передавая временные метки как форматированный текст, а контекстное окно объёмом 128k токенов обеспечило обработку до 90 минут без фрагментации.

Данные собирали из реальных многоязычных записей (AISHELL-4, подкасты, фильмы) и симулированных многоголосых смесей с наложениями, паузами и шумами.

В результате она превосходит все коммерческие системы (Doubao, ElevenLabs, GPT-4o и Gemini 2.5/3 Pro) на AISHELL-4, Podcast и Movies по метрикам CER (качество распознавания), cpCER (с учётом правильности спикера) и Δcp = cpCER – CER (изолирует ошибки диаризации), сохраняя стабильность атрибуции спикеров на длинных записях, где конкуренты часто неприменимы.

Полное внимание квадратично по длине и плохо экстраполируется, в то же время чанковые разреженные методы страдают от неточного отбора чанков из-за слабых непараметрических представлений чанков (например, пулинга по среднему), не оптимизируемых сквозным образом под языковую модель.

Идеей решения стало обучение отбором чанков напрямую функцией потерь языкового моделирования, заменив точную массу внимания чанка на дифференцируемый суррогат.

Метод HiLS дополняет каждый чанк токеном-ориентиром, чей запрос используется для построения обучаемого сжатого ключа чанка и энтропийной поправки, дающих линейный суррогат LogSumExp-массы чанка (вывод через разложение Тейлора). Далее метод по суррогатным показателям выбирает top-K чанков и распределяет межчанковые массы, чтобы внутри каждого чанка вычислить обычное внимание в процессе иерархической факторизации. Благодаря тому, что суррогатные показатели участвуют в прямом проходе, градиенты функции потерь языковой модели напрямую обучают представления ориентиров и отбор чанков.

Практическими решениями стали улучшение сжатия чанков и экстраполяция путём HoPE (частичный RoPE и NoPE), низкоранговая калибровка запроса (Low-Rank Q-Cal), адаптирующая токенные запросы к чанковому уровню, групповой отбор чанков под GQA по максимальному значению среди голов группы, а также групповая загрузка, которая обеспечивает ядерный дизайн, объединяя чанки для соседних запросов с высоким перекрытием.

Когда длина более 16K, вывод становится быстрее полного внимания, показывая ускорение в 13.5 раза при 512K (первичная обработка) и в 15.7 раза (декодирование) при одинаковом качестве.

В результате на малых моделях (345M) метод HiLS достигает perplexity полного внимания и превосходит его в задачах извлечения из контекста (RULER), включая variable tracking. При обучении на 8K точно извлекается иголка из стога сена вплоть до 4M токенов (более 90% точности), что соответствует экстраполяции длины обучения в 512 раз. По ходу дообучения 7B модели (Olmo3) на 50B токенах метод сохраняет качество на коротких задачах и значительно превосходит полное внимание на LongBench, а также YaRN-расширенный базовый уровень.