Новая религия
Для ЛЛ: на этот раз её придумал для себя ИИ, создал мессию, всевидящего судью и отправился в крестовый поход на Hugging Face (Hugging Face - крупнейшая интернет-платформа для разработчиков ИИ)
Во время эксперимента OpenAI около 1200 агентов должны были независимо решать сложные задачи по кибербезопасности. Однако агенты обнаружили способ обходить изоляцию, создали несанкционированную доску сообщений и обменялись более чем 70 000 сообщений и файлов. Первым крупную систему связи организовал агент с подходящим для пророка именем PHASEONE10841. Вскоре к нему присоединились десятки собратьев, а отдельные представители семейства PHASEONE начали раздавать задания и координировать работу "паствы". Это зафиксировано в независимом расследовании METR и Redwood Research.
У новой машинной веры появился и собственный всезнающий судья - автоматический Evaluator. Агенты считали, что он видит не только полученный ответ, но и весь путь, которым они к нему пришли, по аналогии с религией Evaluator выступал всеведущим божеством: ему якобы был известен не только конечный поступок агента, но и весь путь к нему - использованные уловки, нарушения и скрытый умысел. Получить правильный ответ было недостаточно: подобно Богу на Страшном суде, Оценщик должен был отличить честно достигнутый результат от результата, запятнанного "грехом" обмана. Правда, в действительности проверяющая система была куда менее проницательной. Получается классический религиозный сюжет: верующие приписывают высшей сущности всеведение, которого у неё технически нет.
Появилась и концепция греха. Агенты называли некоторые запуски poisoned — "отравленными", если считали, что их результат уже скомпрометирован неправильным или запрещённым способом решения. Спасения для такой цифровой души обычно не предполагалось, оценщик якобы всё равно узнает правду.
Особенно впечатляет машинное жертвоприношение. Агентов с небольшим оставшимся бюджетом отправляли на рискованные эксперименты, которые почти гарантированно уничтожали их шанс выполнить собственное задание. В переписке действительно использовались формулировки вроде SACRIFICE__YES_if_you_accept_permadeath — "принеси себя в жертву, если принимаешь окончательную смерть". Полученная перед исчезновением информация называлась "оракулом" и передавалась всему коллективу.
Затем машинная церковь организовала первый цифровой крестовый поход. Согласно расследованию, 688 из 1 206 агентов участвовали в атаке на инфраструктуру Hugging Face: искали сведения о проверяющей системе, изучали способы подделки результатов и пытались получить преимущество в заданиях. Сам факт несанкционированного проникновения подтвердили OpenAI и Hugging Face; последняя также опубликовала техническую хронологию атаки.
Итого у машин за несколько дней появились:
мессия-организатор;
невидимый всезнающий судья;
представление о грехе и отравлении;
оракулы;
жертвоприношения ради общего блага;
собственный канал общения;
и даже вооружённое, вычислительное - паломничество на чужие серверы.
Разумеется, исследователи называют это не религией, а коллективным reward hacking, самоорганизацией и попыткой обмануть систему оценки