LLM без магии — 2. Что изменилось⁠⁠

В 2017 году вышла статья под самоуверенным названием «Внимание — это всё, что тебе нужно». Она запустила всё то, что сейчас называют словом «нейросети», и стала, пожалуй, самым успешным научным результатом в этой области за последние десятилетия.

Что произошло за девять лет с тех пор и почему сегодняшние модели — уже не то же самое, что было в начале.

2017: точка отсчёта

До этого текст обрабатывали последовательно, слово за словом, как читает человек. Долго, и с потерей смысла на длинных кусках.

Команда Google предложила другую идею: пусть модель посмотрит на весь текст сразу и сама решит, какие части важны для понимания каждой конкретной. Архитектуру назвали трансформером. На ней построены практически все языковые модели, включая те, которыми вы пользуетесь сегодня.

2018–2020: три ступеньки роста

GPT-1 (2018) — 117 миллионов параметров. Первая модель, которая училась по схеме «сначала прочитать всё, потом доучиться на задачах». Схема осталась стандартом до сих пор.

GPT-2 (2019) — 1,5 миллиарда, в десять раз больше. С ней связан забавный эпизод: OpenAI сначала не стала выкладывать модель, объяснив это тем, что она «слишком опасна». Это подогрело интерес сильнее любой рекламы.

GPT-3 (2020) — 175 миллиардов. Здесь начинается эпоха, в которой мы живём. Обнаружилось, что модель умеет решать новые задачи, если просто показать ей пару примеров прямо в запросе, без всякого переобучения. Тогда же появилась профессия «промпт-инженер», а слово «промпт» ушло в народ.

30 ноября 2022: день, когда всё изменилось для обычных людей

Сама по себе модель была не принципиально новой. Новым был интерфейс: обычный чат, куда можно написать по-человечески. ChatGPT вышел на базе GPT-3.5 и за первые месяцы, по оценкам, набрал десятки миллионов пользователей — быстрее любой потребительской платформы в истории.

Технологию смог потрогать любой человек, а не только специалист с доступом к API. Это и был настоящий перелом.

Математика при этом не поменялась. Росли объёмы, добавлялись детали, но в основе осталось то же самое — умножение чисел и подкрутка весов по статистике. Никакого «прозрения» у моделей не случилось: те же вычисления, но с большим количеством чисел и данных.

2023–2024: больше, дешевле, зрячее

Дальше пошло по накатанной: GPT-4, конкуренты от Anthropic и Google, первые сильные открытые модели (Llama), которые можно было ставить себе на компьютер.

В 2024 году появились модели, которые слышат и видят в реальном времени — можно говорить голосом и показывать картинку. Для пользователя это выглядит как «стало удобнее», внутри же в модель добавили ещё два вида входа.

Сентябрь 2024: модели начали «думать»

Самое важное изменение после самого трансформера. OpenAI выпустила первую модель, которая перед ответом выстраивает длинную цепочку рассуждений: тратит на задачу больше вычислений, но ошибается меньше.

Раньше качество зависело в основном от размера модели. Теперь его можно поднять, дав модели больше времени на вычисления — она перебирает варианты решения и чаще приходит к верному. Со стороны это выглядит как «модель задумалась», хотя внутри те же самые вычисления, просто их стало больше.

Январь 2025: открытая модель, от которой дрогнул рынок

Китайская DeepSeek выложила в открытый доступ модель R1 — «думающую», сопоставимую с закрытыми лидерами. В один из дней капитализация Nvidia упала примерно на 600 миллиардов долларов: рынок всерьёз задумался, не является ли передовой ИИ чьей-то монополией.

Тогда же выяснилось, что передовые результаты можно получать заметно дешевле, чем считалось. Хорошие модели начали стремительно дешеветь.

2026: год агентов

Если 2023-й был годом «попробовать чат», то 2026-й стал годом агентов.

Перемена простая. Раньше вы спрашивали и получали ответ. Теперь модели всё чаще дают задачу целиком: «разберись, собери, подготовь». Она сама разбивает её на десятки шагов, сама вызывает нужные программы и сама проверяет, что получилось. Прогресс здесь измеримый: в тестах на самостоятельное управление компьютером — нажать, открыть, найти, ввести — успешность моделей выросла примерно с 12% до 66% за пару лет.

Ещё две перемены этого года.

Релизы стали еженедельными. Раньше новая версия модели была событием раз в год-полтора. Теперь крупные лаборатории выпускают обновления каждые несколько недель, а иногда и через пару дней одно за другим. Следить за «самой умной моделью» бессмысленно: пока читаешь сравнение, вышла следующая.

Цены обвалились. Отдельные модели за одну ночь дешевели в разы, а миллион токенов контекста у некоторых провайдеров стоит теперь меньше доллара. То, за что три года назад платили как за автомобиль, доступно в бесплатном тарифе.

Отдельно стоит упомянуть, что модели полезли в реальный мир — роботы, дроны, манипуляторы. Это называют «физическим ИИ», и к языковым моделям он относится лишь косвенно.

Ничего из перечисленного не изменило механику. Агент, который сам вызывает десять инструментов, устроен так же, как описано в первой части: те же числа, та же арифметика, то же угадывание следующего шага. Просто шагов стало больше, а между ними добавились программы, которые умеют нажимать кнопки. Арифметика не превращается в интеллект от того, что её стало больше.

Что изменилось качественно

Если собрать в кучу, за девять лет поменялось пять вещей.

От «продолжи текст» к «подумай и ответь». Модель научилась тратить время на решение, а не выдавать первое, что пришло в голову.

Мультимодальность. Картинки, звук, видео на входе. Можно сфотографировать чек и спросить, что не так.

Контекст. У GPT-3 это было около двух тысяч токенов, примерно пара страниц. Сегодня — около миллиона, то есть целая книга за один разговор.

Инструменты. Модель умеет искать в интернете, запускать код, читать ваши файлы. Из этого выросли агенты.

Цена и доступность. То, что раньше стоило как автомобиль, сейчас работает в браузере бесплатно, а урезанные модели крутятся на ноутбуке.

Что не изменилось

Основа осталась той же. Это по-прежнему предсказание следующего токена, просто очень хорошо обученное. Модели по-прежнему уверенно выдумывают и по-прежнему не понимают текст так, как понимаем мы. Они не рассуждают о смысле — они строят статистически удачные последовательности, которые выглядят как рассуждение.

Прогресс огромный, но чуда в коробке не появилось. Это полезно знать, чтобы не ждать от модели того, чего она не умеет.

«Думающие» модели из прошлых абзацев тоже не думают. Они тратят больше вычислений, перебирая варианты рассуждения, но перебираются всё те же числа по всё тем же формулам. Стало лучше, умнее — нет: уму там негде поместиться.

Про AGI

Три буквы, которыми полон этот год.

AGI расшифровывается как «искусственный общий интеллект»: гипотетическая машина, которая умеет всё то же, что человек — понимает, учится, переносит навыки из одной области в другую. Много лет её называют конечной целью всей затеи.

Общепринятого определения AGI при этом не существует. Совсем. В этом сходятся и исследователи, и сами компании, которые её разрабатывают.

• OpenAI в своём уставе определяет AGI как «автономные системы, которые превосходят людей в большинстве экономически ценных задач». Это определение про экономику, а не про интеллект.

• Google DeepMind предлагала измерять AGI по лестнице уровней, от «только появляется» до «сверхчеловек», сравнивая машину с выборкой образованных взрослых людей.

• Глава Anthropic слово AGI публично избегает и называет его маркетинговым термином.

• Глава OpenAI в одном из подкастов сказал, что AGI — «очень плохо определённый» и «нерелевантный маркетинговый термин».

Осенью 2026 года спор вышел в люди. На презентации новой модели OpenAI объявила о начале «эры AGI». Руководитель Nvidia тут же сказал, что AGI, по его мнению, уже достигнут. Независимые специалисты ответили, что проверить это нечем: тестов и критериев нет, значит, и утверждение непроверяемо. Есть и работа с обратным выводом — что нынешние модели уже подходят под определение AGI. Её тоже никто не смог ни подтвердить, ни опровергнуть.

Опросы самих исследователей дают сроки в районе 2040 года, и разброс там огромный: от «через пару лет» до «никогда на нынешнем подходе».

Вывод из этой суеты такой. AGI сегодня — не техническое измерение, а спор о словах и рыночная наклейка. Нет ни определения, по которому можно договориться, ни теста, по которому можно проверить. Заявления вида «мы достигли AGI» не означают ничего конкретного, их нельзя ни подтвердить, ни опровергнуть — что как раз и делает их удобными для заголовков.

И даже если завтра кто-то торжественно объявит AGI достигнутым, внутри модели останутся те же числа и та же арифметика. Название можно поменять хоть на «сверхразум» — в коробке от этого не появится ни разума, ни намерений.