Серия «Новости»

Продемонстрирована новая высокоэффективная мультимодальная модель Step 3.7 Flash (https://huggingface.co/stepfun-ai/Step-3.7-Flash) для реальных агентов с всего 196B и 1.8B (ViT) параметров, из которых 11B активных.

Нативная мультимодальность позволила ей понимать изображения (UI, документы, графики, фото) и сразу писать код или вызывать инструменты для действий, а усиленный веб-поиск открыл глубокое отслеживание, когда визуальный поиск распознаёт редкие и новые объекты. Её надёжная работа с инструментами даёт управление терминалом, браузером, офисными приложениями, поиском без отклонений и сбоев на длинных сессиях. Кроме того, поддерживается работа с экосистемой агентов, включая Claude Code, KiloCode, Hermes Agent, OpenClaw и другие обвязки.

В результате агентное кодирование набирает 56,3% на SWE‑Bench Pro (+5 процентных пунктов к Step 3.5 Flash) и 59,6% на Terminal‑Bench 2.1 (+6,1 процентных пункта), а в режиме "Советник" даёт 97% качества Claude Opus 4.6 при около 1/9 стоимости задачи. Мультимодальные навыки, связанные с визуальным поиском и Python‑инструментами, выходят на уровень моделей в разы крупнее (79,2% на SimpleVQA, 95,3% на V*, 86,3% на HR‑Bench 8K), комплексно сочетая визуальные и невизуальные инструменты. Уровень общих агентских знаний составляет 49,5% на Toolathlon, 67,1% на ClawEval‑1.1, 45,8% на GDPval и 47,2% на HLE с помощью инструментов (только текст 49,7%). В ходе глубокого поиска она показывает 75,8% на BrowseComp, 92,8% на DeepSearchQA F1 и 71,7% на ResearchRubrics. Операции с графическим интерфейсом (GUI) достигают 61,9% на Android Daily, автономно сочетая написание кода и тестирование.

Четыре этапа обучения включали T2A с замороженным VLM и декодером, обучавшимся превращать язык в действие без картинок, CPT с разморозкой VLM и декодера для совместного обучения на всех модальностях и получения Qwen-VLA-Base, этап SFT для мультизадачной и реальной донастройки, а также RL (PPO) оптимизирующий успех на симуляции (SimplerEnv) в замкнутом цикле, что создало Qwen-VLA-Instruct.

В результате уровень манипуляции достиг 97.9% на LIBERO, 73.7% на Simpler-WidowX и около 86-87% на RoboTwin (одна модель против специализированных), а навигация на VLN-CE превосходит открытые аналоги. Реальные эксперименты ALOHA показали в среде 83.6%, вне среды 76.9% (против 71.6% и 41.5% у pi 0.5), обобщаясь на новые цвета, объекты, фон и составные задачи. Zero-shot в динамике (DOMINO) продемонстрировал 26.6% успеха, что лучше многих специализированных VLA.

Стала доступной новая модель LFM2.5-8B-A1B (https://huggingface.co/LiquidAI/LFM2.5-8B-A1B) от Liquid AI для устройств, заточенная под быстрый вызов инструментов на потребительском железе.

Относительно LFM2-8B-A1B контекст расширили с 32K до 128K токенов, словарь удвоили (до 128K), что резко повысило эффективность для нелатинских письменностей (хинди, тайский, арабский и других), а дообучение масштабировали с 12T до 38T токенов предобучения, плюс большое RL. Такие изменения сделали модель чисто "рассуждающей", давая прирост качества без потери скорости за счёт малого числа активных параметров.

Для борьбы с артефактами проделали целевую оптимизацию против "петель" в длинных рассуждениях (штраф за шаблонные перезапуски) и RL с avg@k-вознаграждением для снижения галлюцинаций, чтобы модель чаще воздерживалась, когда не знает, и меньше выдумывала.

В результате на тестах следования инструкциям и агентных задачах она сопоставима с гораздо более крупными плотными и MoE моделями, считаясь самой быстрой в своём классе на CPU и GPU, выдавая около 253 токена/с на M5 Max и до 18,5K выходных токенов/с на H100 при высокой конкурентности, работая на ноутбуках и даже на телефонах (примерно 30 токенов/с) и сохраняя приватность.

Раскрыта новая модель LocateAnything-3B (https://huggingface.co/nvidia/LocateAnything-3B), основанная на методе параллельной генерации координат (Parallel Box Decoding) для задач визуальной привязки и обнаружения в VLM.

Существующие модели генерируют координаты рамок как одномерную последовательность токенов, что делает процесс медленным и не учитывает геометрическую связность.

Для решения проблемы каждую ограничивающую рамку (или точку) начали предсказывать как единый блок за один прямой проход, сохраняя геометрическую согласованность и снимая узкое место последовательной генерации.

Источником данных стал масштабный датасет LocateAnything-Data (138 млн обучающих примеров) для разнообразных сценариев локализации.

Добавили три режима, чтобы реализовать быстрый (параллельный MTP), медленный (авторегрессионный NTP) и гибридный (с автоматическим возвратом к NTP при неуверенности или нарушении формата) вывод.

В результате модель до 2,5 раз ускорила генерацию, улучшила точность (особенно при высоких IoU) и добилась новых state-of-the-art на LVIS, COCO, ScreenSpot-Pro, DocLayNet и других.

Архитектура соединила DiT-видеодиффузию, аудиокросс‑аттеншен, текст‑кросс‑аттеншен и референс‑изображение, позволив поддерживать разнообразные входные форматы.

Тренировка базовой модели (Flow Matching) прошла поэтапно от низкого разрешения к высокому, с добавлением референса и многоперсонных данных. Дальнейший RLHF (GRPO) с покадровыми наградами сделал настройку в соответствии с человеческими предпочтениями, снижая искажения рук и лица. Завершающим этапом стала 8-шаговая дистилляция методом DMD2 с LoRA‑адаптерами, обеспечившая баланс между скоростью и качеством.

В результате сократился разрыв между академическими прототипами и коммерческими системами, ведь успешно пройден бенчмарк из более 500 пар изображение-аудио (включая аниме, животных, разные языки и сложность), а по субъективной оценке (770 человек, 13 тысяч оценок) достигнуто лидерство или равенство с HeyGen, OmniHuman‑1.5 и Kling Avatar 2.0 по человекоподобию. Экспертная оценка по 4 измерениям (рациональность, гармония, стабильность, консистентность) дала минимальный процент дефектов. Между тем, ускоренная версия (8 NFE) показывает лучшую стабильность, чем базовая (150 NFE), при небольшом снижении выразительности.