Американский стартап Subquadratic представил модель SubQ и заявил, что смог значительно снизить вычислительные затраты при обработке длинного контекста. Компания утверждает, что её система способна работать с контекстным окном объёмом до 12 миллионов токенов, анализировать сотни документов и крупные программные проекты за один проход.

Главное отличие SubQ связано с отказом от стандартного плотного механизма внимания, при котором каждый токен сравнивается со всеми остальными. По мере увеличения текста количество вычислений быстро растёт. В SubQ используется разрежённый подход: модель выбирает только наиболее важные связи между отдельными участками контекста, сокращая нагрузку на оборудование.

По данным Subquadratic и стороннего тестирования Appen, модель показала высокую скорость обработки длинных последовательностей и конкурентоспособные результаты в задачах программирования. Компания также заявляет о кратном преимуществе относительно решений на основе FlashAttention.

Однако говорить о доказанной революции пока рано. SubQ доступна только ограниченному числу пользователей, исходный код архитектуры не опубликован, а полноценное независимое тестирование модели провести невозможно. Кроме того, технология частично опирается на существующие открытые модели семейства Qwen, поэтому утверждение о полном отказе от трансформеров вызывает вопросы.

Если результаты подтвердятся, подход Subquadratic может снизить стоимость работы больших языковых моделей, ускорить обработку огромных документов и сделать контекст в миллионы токенов действительно практичным. Но пока SubQ остаётся одной из самых интригующих и одновременно спорных разработок в сфере искусственного интеллекта.

Действительно ли стартап решил фундаментальную проблему современных LLM или перед нами очередное громкое обещание?