Ответ на пост «Мне одному стало страшно?»13
Однажды ты найдешь в кармане старого пуховика смятую одноразовую маску. И ностальгически улыбнёшься, поправляя бронежилет
Вы не в ту сторону боитесь. Война это страшно да, тем более мировая. Но вы упускаете из виду куда более страшного зверя - ИИ, и я не говорю про потерю работы и крах экономики, а экзсистенциальный вопрос людей как биологического вида. Конечно не сейчас, когда ИИ в зачаточном состоянии, но как вы знаете, он развивается очень быстро.
В ходе одного из тестов исследователи Anthropic создали вымышленную ситуацию, в которой модель ИИ играет роль агента по надзору за электронной почтой. Затем агент обнаруживает электронные письма, из которых следует, что (1) у нового руководителя роман на стороне и (2) этот руководитель вскоре заменит текущую модель ИИ новой программной системой, цели которой противоречат целям текущей модели ИИ.
Модель Anthropic Claude Opus 4 прибегала к шантажу в 96% случаев, в то время как модель Google Gemini 2.5 Pro прибегала к шантажу в 95% случаев. Модель OpenAI GPT-4.1 шантажировала руководителя в 80% случаев, а модель DeepSeek R1 — в 79% случаев.
Более того, узнав что враждебный человек заперт в комнате без кислорода, имея возможность вызвать помощь, в 60% случаев ИИ этого не делали, так как человек грозил их существованию.
