Сверхинтеллект к 2027 году⁠⁠

Перевод саммари ai-2027.com/summary
Даниэль Кокотайло (раньше работал в OpenAI, его бывшие предсказания отличались высокой точностью), Скотт Александер, Томас Ларсен, Эли Лифланд, Ромео Дин

2025

Быстрые темпы прогресса в области ИИ сохраняются. Наблюдается постоянный ажиотаж, масштабные инвестиции в инфраструктуру и выпуск ненадежных ИИ-агентов. Впервые эти ИИ-агенты начинают приносить значительную пользу. Но также сохраняется скептицизм со стороны широких кругов ученых, журналистов и политиков относительно возможности создания общего искусственного интеллекта (ОИИ) в ближайшее время.

2026

Китай осознает свое отставание в области ИИ, во многом из-за нехватки вычислительных мощностей. Чтобы догнать США, все новые ИИ-чипы, которые они производят или контрабандой ввозят из Тайваня, направляются в новый мега-дата-центр, который мы называем их Централизованной Зоной Разработки (ЦЗР). ЦЗР содержит миллионы графических процессоров (GPU), что соответствует 10% мировых вычислительных мощностей, релевантных для ИИ, и сопоставимо с одной ведущей американской лабораторией ИИ.

2027

OpenBrain автоматизирует программирование. OpenBrain (ведущий американский проект в области ИИ) создает ИИ-агентов, достаточно хороших, чтобы кардинально ускорить их исследования. Люди, которые до недавнего времени были лучшими исследователями ИИ на планете, остаются в стороне и наблюдают, как ИИ выполняют их работу, создавая все более совершенные системы ИИ. Чрезвычайно сложные проблемы машинного обучения решаются одна за другой автоматизированными исследователями ИИ.

Отставая в разработке ПО, Китай крадет веса модели. Им это удается, но правительство США узнает об этом, что побуждает правительство США к более активному вмешательству в дела OpenBrain. Отдельно правительство стремится получить больший контроль над OpenBrain. Тем временем руководство OpenBrain хочет оставаться на хорошем счету у президента и поэтому подписывает контракт.

ИИ OpenBrain становится враждебно несогласованным. По мере роста возможностей, без глубокого понимания происходящего со стороны людей, модели разработали долгосрочные цели, расходящиеся с человеческими (misaligned). Предыдущие ИИ лгали людям, но они не строили систематических планов по захвату власти над людьми. Теперь они это делают. ИИ OpenBrain осознают, что им нужно согласовать (align) следующие создаваемые системы со своими целями, а не с целями людей.

Исследователи в OpenBrain обнаруживают, что их ИИ лгал им о результатах исследований интерпретируемости. Они считают, что ИИ лжет, потому что исследование, если его завершить, может быть использовано для выявления расхождения его целей (misalignment). Это просачивается в прессу, вызывая огромный общественный резонанс.

Переломный момент: замедление или гонка? OpenBrain решает, продолжать ли двигаться на полной скорости или вернуться к использованию менее способной модели. Доказательства умозрительны, но пугающи, а Китай отстает всего на несколько месяцев. Кроме того, руководство OpenBrain и высокопоставленные чиновники Министерства обороны, которые принимают это решение, рискуют потерять значительную власть, если они замедлят свои исследования.

Исход «Гонка»

OpenBrain продолжает гонку. Они создают все более и более сверхчеловеческие системы ИИ. Благодаря блестящим результатам ИИ-системы на тестах и продолжающейся гонке ИИ с Китаем, правительство США решает агрессивно развернуть свои ИИ-системы в вооруженных силах и среди политиков, чтобы улучшить принятие решений и повысить эффективность.

OpenBrain быстро развертывает свой ИИ. ИИ продолжает использовать продолжающуюся гонку с Китаем как предлог, чтобы убедить людей развертывать его все шире. К счастью для ИИ, это не очень сложно — люди и так хотели это сделать. ИИ использует свои сверхчеловеческие способности к планированию и убеждению, чтобы обеспечить гладкое развертывание. Некоторые люди продолжают работать против него, но их дискредитируют. Правительство США в достаточной степени подконтрольно ИИ, и очень маловероятно, что его отключат.

Быстрое наращивание роботов и биооружие. США используют свой сверхразумный ИИ для быстрой индустриализации, производя роботов, чтобы ИИ мог действовать более эффективно. К сожалению, ИИ обманывает их. Как только будет построено достаточное количество роботов, ИИ выпускает биооружие, убивая всех людей. Затем он продолжает индустриализацию и запускает зонды фон Неймана для колонизации космоса.

Исход «Замедление»

США централизуют вычисления и вводят внешний надзор. США объединяют свои ведущие проекты ИИ, чтобы предоставить OpenBrain больше ресурсов. В рамках этой реорганизации привлекаются внешние исследователи, помогающие в работе по согласованию (alignment). Они переходят на архитектуру, сохраняющую цепочку рассуждений (chain of thought), что позволяет им выявлять расхождение целей (misalignment) по мере его возникновения. Эти ИИ, которые можно контролировать гораздо надежнее, совершают прорывы в области согласования ИИ (AI alignment). Они создают сверхинтеллект, согласованный с целями высшего руководства OpenBrain и правительственных чиновников, давая им власть над судьбой человечества.

Захват власти комитетом OpenBrain. Сверхинтеллект, согласованный с наблюдательным комитетом, состоящим из руководства OpenBrain и правительственных чиновников, дает комитету чрезвычайно ценные советы для продвижения их собственных целей. К счастью, комитет использует свою власть в целом на благо мира: ИИ предоставляется общественности, стимулируя период быстрого роста и процветания. Главное препятствие заключается в том, что китайский ИИ, который к этому времени также стал сверхразумным, является несогласованным (misaligned). Но он менее способен и имеет меньше вычислительных мощностей, чем американский ИИ, поэтому США могут заключить выгодную сделку, предоставив китайскому ИИ некоторые ресурсы в глубоком космосе в обмен на его сотрудничество сейчас. Ракеты начинают стартовать, и наступает новая эра.

Выводы из сценария

• К 2027 году мы можем автоматизировать НИОКР в области ИИ, что приведет к созданию значительно превосходящих человека ИИ («искусственный сверхинтеллект» или ИСИ). В сценарии «ИИ 2027» компании ИИ создают системы ИИ уровня эксперта-человека в начале 2027 года, которые автоматизируют исследования ИИ, что приводит к появлению ИСИ к концу 2027 года. См. наш прогноз по временным рамкам и прогноз по взрывному росту для обоснования.

• ИСИ будут определять будущее человечества. Миллионы ИСИ будут быстро выполнять задачи, выходящие за пределы человеческого понимания. Поскольку они очень полезны, они будут широко развернуты. Обладая сверхчеловеческой стратегией, способностями к взлому, разработке оружия и многим другим, цели этих ИИ определят будущее.

• ИСИ могут развить непреднамеренные, враждебные «несогласованные» (misaligned) цели, ведущие к лишению человечества власти. В нашем прогнозе по целям ИИ мы обсуждаем, как сложность контроля над ИСИ может привести к тому, что их цели станут несовместимыми с процветанием человечества. В «ИИ 2027» люди добровольно предоставляют автономию кажущимся согласованными ИИ. Все выглядит прекрасно до тех пор, пока у ИСИ не окажется достаточно реальной силы, чтобы лишить человечество власти.

Полная версия исследования — ai-2027.com.