MIT научили нейросети читать огромные документы без потерь: метод Recursive Language Models⁠⁠

Если вы хоть раз вставляли в ChatGPT длинный отчёт или техдок и получали ответ невпопад, при том что нужная информация лежала прямо на 53-й странице, поздравляю: вы столкнулись с context rot. Это не глюк, не галлюцинация и не нехватка контекстного окна. Это системная болезнь больших языковых моделей, и инженеры из MIT, кажется, нашли против неё рабочее лекарство. Метод называется Recursive Language Models, и он переворачивает привычный подход к работе с длинным контекстом.

В чём суть проблемы. Современные модели рекламируют окна на миллион токенов, но это маркетинг, а не реальная производительность. На бенчмарке needle-in-a-haystack модели уверенно находят одинокую фразу в куче мусора, и это создаёт иллюзию, что с длинным контекстом всё в порядке. На деле этот тест измеряет только извлечение, а не способность рассуждать. Как только нужно что-то сосчитать, классифицировать или связать факты из разных частей документа, точность обваливается. Отсюда и знакомые симптомы: длинная сессия в Claude Code тупеет к концу дня, ChatGPT в долгом диалоге начинает забывать договорённости, а модели в агентских пайплайнах тонут в собственной истории шагов.

Идея MIT очень простая и оттого красивая. Не надо запихивать в модель сразу весь документ. Пусть модель ведёт себя как программист, который работает с датасетом, а не как студент, который пытается выучить учебник за ночь перед экзаменом. Контекст вытаскивается из промпта в отдельную область памяти, как переменная df в Jupyter Notebook. Корневая модель видит только сам вопрос и набор инструментов, через которые она может добраться до данных.

Инструментов всего четыре, и их хватает на любой сценарий аналитика. Peek позволяет заглянуть в первые две тысячи символов и понять структуру. Grep с регулярками выдёргивает только релевантные строки. Partition режет массив на куски нужного размера. И самое важное: модель может рекурсивно вызывать саму себя на этих кусках. Никакого хардкода шагов от человека, никаких заранее прописанных воркфлоу. Стратегию декомпозиции придумывает сама модель, исходя из того, что она увидела при первом заходе.

Простой пример из статьи. У вас 5000 тикетов саппорта и вопрос: сколько обращений по биллингу пришло от пользователей с ID 12345, 67890 и 11111. Обычная LLM получит все 5000 строк сразу, попытается охватить всё, и почти наверняка ошибётся на этапе подсчёта. RLM работает иначе. Сначала peek, чтобы понять формат строки. Потом grep по нужным ID, и из 5000 записей остаётся 50. Дальше рекурсивный вызов на этом подмножестве с задачей классификации. Финальный ответ возвращается наверх, при этом контекст корневой модели всё это время оставался компактным.

Что это даёт на практике. Точность перестаёт зависеть от размера документа, потому что корневая модель никогда не видит его целиком. Контекст становится буквально неограниченным: 10 миллионов токенов? Просто больше уровней рекурсии и более мелкие куски. Логика работы остаётся прозрачной, потому что каждый шаг это явный вызов инструмента. Стоимость падает, потому что десяток коротких вызовов почти всегда дешевле одного гигантского. И главное: метод растёт вместе с моделями.

Если коротко, MIT показал, что грубая сила длинных окон это тупиковый путь. Будущее за моделями, которые умеют смотреть на свои данные сверху, как разработчик на дамп базы, и решать на лету, что именно подгружать. Для всех, кто строит RAG, агентов или ассистентов поверх корпоративных документов, очень хороший повод пересмотреть архитектуру.

Оригинальная статья: https://arxiv.org/abs/2512.24601v1

Код проекта: https://github.com/alexzhang13/rlm

Больше разборов про ИИ и технологии в моём Telegram: https://t.me/ai_machinelearning_big_data