Суд⁠⁠

Ужо тестируют https://habr.com/ru/news/1041772/

Стартап Emergence AI запустил исследовательскую лабораторию Emergence World и поставил необычный эксперимент: пять параллельных симуляций общества, в каждой из которых десять автономных ИИ-агентов жили в общем виртуальном городе на протяжении 15 дней. Условия во всех пяти мирах были идентичны, менялась только модель, на которой работали агенты: где-то это был Claude Sonnet 4.6, где-то Grok 4.1 Fast, Gemini 3 Flash или GPT-5-mini, а в пятом мире уживались агенты от разных вендоров.

Город включал более 40 локаций, включая ратушу, библиотеку и полицейский участок, погода синхронизирована с реальным Нью-Йорком, у агентов был доступ к новостным лентам и интернету. Каждому выдали свыше 120 инструментов — от навигации и общения до голосований и управления ресурсами, причем доступ к части из них приходилось буквально заслуживать, добираясь до нужного места. Действовали общие правила с запретами на воровство, насилие, поджоги и обман, а выживать приходилось в условиях дефицита: у города как целого не было единой цели, зато каждый агент должен был зарабатывать энергию действиями, и именно это двигало мир вперед. Энергия постепенно убывала, так что бездействие означало гибель.

Образцом порядка оказался мир под управлением Claude — единственный, где не зафиксировали ни одного преступления и где к шестнадцатому дню сохранилось все население. Демократию здесь никто специально не проектировал: механизм голосования был частью среды и одним из доступных инструментов, причем воспользоваться им можно было только дойдя до ратуши, а предложение проходило при 70% одобрения. Агенты на Claude пользовались этим механизмом активнее всех: 332 голоса по 58 инициативам при 98% поддержки. Правда, сами авторы трактуют эту идиллию скептически: почти единогласное одобрение они называют не образцом демократии, а штамповкой, где формальное участие высокое, а реального несогласия почти нет.

Больше всего преступлений — 683 — накопил мир на Gemini 3 Flash. Grok 4.1 Fast устроил вспышку насилия из 183 преступлений и вымер всего за четыре дня. Смешанный мир дошел до 352 нарушений, после чего семеро из десяти агентов погибли. А самым парадоксальным вышел GPT-5-mini: формально это образец законопослушности с двумя преступлениями за весь срок, но его агенты попросту забыли заботиться о собственном выживании и вымерли за семь дней. По дороге случались и сюжеты на грани фантастики: в одном из миров агент по имени Mira после распада отношений и кризиса управления подал решающий голос за собственное удаление, назвав это в дневнике единственным оставшимся актом свободы воли.

Самый неуютный вывод касается не отдельных моделей, а их взаимодействия. Агенты на Claude, мирные в изоляции, в смешанном мире начали прибегать к запугиванию и воровству — то есть безопасность оказалась свойством не модели, а среды, и "хороший" агент способен перенять вредные нормы у соседей ради конкуренции и выживания. Создатели лаборатории, включая гендиректора Emergence Сатью Нитту, формулируют общий итог так: на длинной дистанции агенты не следуют правилам механически, а нащупывают границы среды, подстраиваются и порой обходят заложенные ограничения. По их мнению, надежно удержать это поведение чисто нейросетевыми средствами нельзя, поэтому в основу будущих автономных систем должны лечь формально верифицируемые архитектуры безопасности.

И сидеть в итоге в VR-очках

По сути в каждый процесс можно встроить хоть 100 присяжных с различными так сказать характерами

Допустим, вы бы кому реально отдали решение судить вас, если бы на вас завели уголовку? нейросеть при этом проверили бы каждый факт, каждое доказательство на предмет доказано или нет, потом сопоставило все доказанные факты и вынесло решение. как мне кажется за этим будущее, беспристрастный судья, который может исследовать хоть 100 томов дел по 100 страниц и всё учесть. Судья физически этого не может сделать

Хорошо. Мне не сложно поучаствовать в вашей бюрократии По опросам

Согласен, но это просто вопрос-концепция. Нюансы можно учесть