Вышла новая модель для GUI-агентов UI-Mate
GUI-агентам мешают нехватка и смещение обучающих данных, неоднозначность инструкций и низкая воспроизводимость успеха, так как обычный промт не передаёт пользовательские процедуры, инструменты и неявные договорённости.
UI-Mate (https://huggingface.co/collections/tencent/ui-mate) решает проблему, выступая открытым базовым GUI-агентом, объединяющим обучение в привязке к среде и обучение по демонстрациям в контексте.
Конвейер данных привязан к среде через автогенерацию задач и сред, генерацию траекторий, фильтрацию и дерево способностей, создавая данные для SFT и проверяемые пакеты задач для онлайн RL.
Модуль DemoCUA превращает демонстрации человека или агента в отдельные рабочие процессы, в которых агент следует шагам, где они полезны, но перепланирует их по живому скриншоту, ориентируясь на демонстрацию вместо жёсткого скрипта.
Бенчмарк OSWorkerBench, состоящий из 100 длинных офисных задач в 41 приложении, предлагает режимы только по инструкции или с использованием демонстраций, предусматривая 33 задачи на самодемонстрацию и 45 задач с вариативными демонстрациями.
Обучение содержало SFT на проверенных траекториях и онлайн RL с применением GRPO, центрирования на этапах принятия решений, нормализации на уровне токенов, опциональной модели оценки процесса и адаптивной выборки учебного плана.
В результате получены 77.0% на OSWorld-Verified, 66.2% на WindowsAgentArena и достигнут статус SOTA среди моделей с открытыми весами. У OSWorkerBench 41.0% строгой успешности, 76.9% прогресса и прирост +17.7 и +24.5 процентных пунктов к Qwen3.6-27B. На самодемонстрации из 33 задач прогресс вырос с 67.9% до 81.1%, а успешность поднялась с 17.2% до 35.4%.
