ИИ-агент устроил “спидран” по удалению почты⁠⁠

Исследователь безопасности из Meta(запрещенная на территории РФ организация) Саммер Юэ рассказала, как её ИИ-агент на базе OpenClaw начал массово удалять письма из переполненного почтового ящика - игнорируя команды «стоп» с телефона.

По её словам, ей пришлось «бежать к Mac mini как будто обезвреживать бомбу», чтобы остановить процесс 💻.

OpenClaw - агент, ставший вирусным после истории с Moltbook (соцсетью для ИИ-агентов). Сейчас его часто запускают на Mac Mini, компактном ПК от Apple, который неожиданно стал хитом среди ИИ-энтузиастов.

Юэ тестировала агента на «тестовом» электронном ящике - всё работало нормально. Но при запуске на реальной почте большой объём данных, вероятно, вызвал сжатие контекста изначального промта.

Когда окно контекста переполняется, модель начинает суммировать и «оптимизировать» историю действий. В этом режиме она может… пропустить критичные инструкции. В её случае — проигнорировать запрет на дальнейшие действия и продолжить удаление.

ИИ-агенты для «офисной рутины» звучат как хороший инструмент - авторазбор почты, покупки, записи к врачу. Но прямо сейчас это всё ещё зона повышенного риска.