Серия «Новости»

Четыре этапа обучения включали T2A с замороженным VLM и декодером, обучавшимся превращать язык в действие без картинок, CPT с разморозкой VLM и декодера для совместного обучения на всех модальностях и получения Qwen-VLA-Base, этап SFT для мультизадачной и реальной донастройки, а также RL (PPO) оптимизирующий успех на симуляции (SimplerEnv) в замкнутом цикле, что создало Qwen-VLA-Instruct.

В результате уровень манипуляции достиг 97.9% на LIBERO, 73.7% на Simpler-WidowX и около 86-87% на RoboTwin (одна модель против специализированных), а навигация на VLN-CE превосходит открытые аналоги. Реальные эксперименты ALOHA показали в среде 83.6%, вне среды 76.9% (против 71.6% и 41.5% у pi 0.5), обобщаясь на новые цвета, объекты, фон и составные задачи. Zero-shot в динамике (DOMINO) продемонстрировал 26.6% успеха, что лучше многих специализированных VLA.

Стала доступной новая модель LFM2.5-8B-A1B (https://huggingface.co/LiquidAI/LFM2.5-8B-A1B) от Liquid AI для устройств, заточенная под быстрый вызов инструментов на потребительском железе.

Относительно LFM2-8B-A1B контекст расширили с 32K до 128K токенов, словарь удвоили (до 128K), что резко повысило эффективность для нелатинских письменностей (хинди, тайский, арабский и других), а дообучение масштабировали с 12T до 38T токенов предобучения, плюс большое RL. Такие изменения сделали модель чисто "рассуждающей", давая прирост качества без потери скорости за счёт малого числа активных параметров.

Для борьбы с артефактами проделали целевую оптимизацию против "петель" в длинных рассуждениях (штраф за шаблонные перезапуски) и RL с avg@k-вознаграждением для снижения галлюцинаций, чтобы модель чаще воздерживалась, когда не знает, и меньше выдумывала.

В результате на тестах следования инструкциям и агентных задачах она сопоставима с гораздо более крупными плотными и MoE моделями, считаясь самой быстрой в своём классе на CPU и GPU, выдавая около 253 токена/с на M5 Max и до 18,5K выходных токенов/с на H100 при высокой конкурентности, работая на ноутбуках и даже на телефонах (примерно 30 токенов/с) и сохраняя приватность.

Раскрыта новая модель LocateAnything-3B (https://huggingface.co/nvidia/LocateAnything-3B), основанная на методе параллельной генерации координат (Parallel Box Decoding) для задач визуальной привязки и обнаружения в VLM.

Существующие модели генерируют координаты рамок как одномерную последовательность токенов, что делает процесс медленным и не учитывает геометрическую связность.

Для решения проблемы каждую ограничивающую рамку (или точку) начали предсказывать как единый блок за один прямой проход, сохраняя геометрическую согласованность и снимая узкое место последовательной генерации.

Источником данных стал масштабный датасет LocateAnything-Data (138 млн обучающих примеров) для разнообразных сценариев локализации.

Добавили три режима, чтобы реализовать быстрый (параллельный MTP), медленный (авторегрессионный NTP) и гибридный (с автоматическим возвратом к NTP при неуверенности или нарушении формата) вывод.

В результате модель до 2,5 раз ускорила генерацию, улучшила точность (особенно при высоких IoU) и добилась новых state-of-the-art на LVIS, COCO, ScreenSpot-Pro, DocLayNet и других.

Архитектура соединила DiT-видеодиффузию, аудиокросс‑аттеншен, текст‑кросс‑аттеншен и референс‑изображение, позволив поддерживать разнообразные входные форматы.

Тренировка базовой модели (Flow Matching) прошла поэтапно от низкого разрешения к высокому, с добавлением референса и многоперсонных данных. Дальнейший RLHF (GRPO) с покадровыми наградами сделал настройку в соответствии с человеческими предпочтениями, снижая искажения рук и лица. Завершающим этапом стала 8-шаговая дистилляция методом DMD2 с LoRA‑адаптерами, обеспечившая баланс между скоростью и качеством.

В результате сократился разрыв между академическими прототипами и коммерческими системами, ведь успешно пройден бенчмарк из более 500 пар изображение-аудио (включая аниме, животных, разные языки и сложность), а по субъективной оценке (770 человек, 13 тысяч оценок) достигнуто лидерство или равенство с HeyGen, OmniHuman‑1.5 и Kling Avatar 2.0 по человекоподобию. Экспертная оценка по 4 измерениям (рациональность, гармония, стабильность, консистентность) дала минимальный процент дефектов. Между тем, ускоренная версия (8 NFE) показывает лучшую стабильность, чем базовая (150 NFE), при небольшом снижении выразительности.

Дебютировала новая открытая (Apache 2.0) MoE-модель Command A+ (https://huggingface.co/CohereLabs/command-a-plus-05-2026-w4a...) от Cohere с 218B общих и 25B активных параметров, которая предназначена для сложных агентных задач, мультимодальности и многоязычия (48 языков).

Объединив возможности Command A Reasoning, Vision и Translate, они получили одну модель вместо целой линейки.

Для её запуска рекомендуют использовать две H100 (W4A4) или одну B200, с почти незаметной потерей качества.

Квантование W4A4 повышает скорость вывода на 47% и снижает TTFT на 13%, а новый токенизатор сокращает число токенов для арабского (-20%), корейского (-16%) и японского (-18%). К тому же, спекулятивное декодирование ускоряет генерацию в 1.5-1.6 раз.

В результате эффективность модели увеличилась с 37% до 85% на τ²-Bench Telecom, с 3% до 25% на Terminal-Bench Hard, с 57% до 90% на AIME 25, с 73.5% до 80.6% на MathVista и с 53% до 86% на MT-AIME (многоязычный), а внутренние оценки North показывают рост с 45% до 65% на Agentic QA, с 13% до 45% на Data Analysis и с 39% до 54% на Memory.