Презентована новая эффективная потоковая мультимодальная модель Mage-VL (https://huggingface.co/microsoft/Mage-VL), решающая парадокс Моравека (сильные в офлайн-рассуждениях, но неэффективные в потоковом восприятии) за счёт кодек-ориентированного подхода.

Зрительный токенизатор Mage-ViT вместо равномерной выборки кадров избирательно кодирует динамические, насыщенные информацией области, используя векторы движения и остаточную энергию на уровне патчей 16×16, сокращая потребление визуальных токенов более чем на 75% с сохранением пространственно-временного контекста.

Обучение с нуля на примерно 560M немаркированных изображений и 100M видеокадров позволило достичь или превзойти энкодеры, обученные на миллиардах пар изображение-текст (например, SigLIP2).

Архитектура двойной системы из лёгкого System 1 (гейт событий) и каузального System 2 (языковой декодер) для проактивного потокового взаимодействия предоставила модели возможность самой решать, когда реагировать на события в реальном времени.

Семь ключевых эмпирических выводов сводятся к тому, что веб-масштабное предобучение не обязательно для зрительных энкодеров, предобучение с переменным разрешением даёт монотонный рост качества с увеличением токенов, кодек-ориентированная токенизация создаёт превосходный компромисс точности и эффективности, явный SFT для длинных VideoQA избыточен, так как достаточно насыщенных видеоподписей и короткого SFT, динамическое видеообучение усиливает статическое пространственное мышление (синергия движения и геометрии), AI4AI-пайплайн с оптимизацией промтов и кода систематически повышает качество данных, а Zero-Vision SFT (чисто текстовый SFT перед RL) раскрывает мощные мультимодальные RL-способности.

В результате Mage-VL-4B сравним с Qwen3-VL-4B на статических задачах, значительно лучше в понимании видео и пространственном мышлении (2D и 3D), с ускорением вывода до 3,5 раза, превосходя 15B Phi-4-reasoning-vision.

Маршрут примерный, и на нём уже 61 км.. А с учётом того что я ещё блукал из-за косяков с жпс, плюс катался на локациях, поэтому засчитываю себе 70км.

Основная идея заключается в том, что мир не ждёт и нужно жить в настоящем, отвечая, замолкая и корректируя себя на лету.

Три базовых поведения обеспечили ответ в любой момент по текущему кадру без задержки, проактивное молчание, когда информации недостаточно, и своевременную коррекцию, меняющую ответ сразу при изменении сцены.

Видеокадры с абсолютными временными метками, вопросы пользователя и ответы модели передавали вперемешку единым потоком. Осознанное молчание обозначили специальным токеном <|silence|>. Кросс-внимание архитектурно разделили, снизив задержки, и добавили единое пространственно-временное представление XRoPE.

Среди демо-сценариев было видеонаблюдение с оповещениями, живой комментарий, счёт в реальном времени, интерактивное чтение и отслеживание изменений.

В результате набраны лидирующие показатели на бенчмарках потокового видео (OVOBench, OmniMMI, StreamingBench, ProactiveVideoQA) с мощной офлайн-базой высоких метрик восприятия, темпорального анализа, понимания длинных видео и документов.