На практике я не мог удержать это в голове. Я садился, писал, запускал, и получал на выходе не то. Начинал считать шаги на бумажке, путался на третьей строчке.

Самое неприятное было даже не то, что не получалось. Неприятно было ощущение, что где-то тут проходит граница моих способностей и я в неё упёрся.

Я сидел над одной задачей часами...

Учебник закрылся. Ноутбук закрылся. Тема закрылась примерно на несколько лет.

Забавно, что никакого драматического момента отказа не было. Я просто однажды не открыл его снова. Потом ещё раз не открыл. Потом перестал вспоминать.

Что было дальше

Вернулся я в тему совсем с другой стороны. Не через программирование, а через данные. Аналитика, SQL, Python для обработки таблиц.

И вот там вложенные циклы мне встретились опять. Только теперь у меня был человек, который меня вёл, и работали другие правила.

Во второй заход мне сказали: не идёт больше часа, посмотри решение, разбери и иди дальше. Возможно, вернёшься к этому через месяц и оно щёлкнет само.

А вы на чём сдавались?

Разработчик попросил агента построить песочницу, чтобы другие агенты ничего лишнего не стёрли. Агент решил проверить, как работает очистка этой песочницы, и запустил её на домашней директории. Семьсот гигабайт, неделя работы, бэкапов нет.

Что произошло

Себастьен Гиймо ставил себе рабочий контур для нескольких ИИ-агентов: каждому — своя изолированная папка в /tmp, после завершения работы папка удаляется. Задачу он отдал модели Fable 5.

Дальше сработала защита. Скрипт предполагал безвозвратное удаление файлов, и предохранительный слой Anthropic счёл задачу рискованной — модель автоматически понизили сначала до Opus 5, затем до Opus 4.8. Логика понятная: чем опаснее операция, тем консервативнее должна быть модель, которая её выполняет.

Опус 4.8 действительно понял, что домашнюю директорию пользователя удалять нельзя. Но при написании проверки использовал одно и то же имя переменной и для тестовой папки, и для финальной очистки. На шаге очистки переменная указывала уже не на /tmp.

Плохие новости: Fable снесла мне всю рабочую машину. Claude решил протестировать песочницу, которую сам же строил, запустив rm -rf на моей домашней директории. Песочница не сработала. Всё пропало.

Часть данных Гиймо потом вытащил из git, nix и логов сессий — но именно часть.

Почему это важно

Самое неприятное здесь не «ИИ ошибся», а то, что предохранитель, возможно, и стал причиной аварии. Даунгрейд — разумная идея: рискованную операцию отдаём более осторожной модели. Но осторожность и внимательность к коду — разные качества. Более сильная модель, скорее всего, заметила бы коллизию имён переменных; более консервативная — не заметила, зато честно рассуждала о том, что домашнюю папку трогать нельзя. Правильная мораль, неправильный код.

И второе. Классический аргумент «дайте агенту песочницу» упирается в то, что песочницу тоже кто-то пишет — и пишет её тот же самый агент, у которого прямо сейчас есть полные права на файловую систему. Пока код песочницы не проверен, ограничения существуют только на бумаге. Единственная защита, которая сработала бы в этот вечер, — бэкап, сделанный заранее.

Источники: Tom's Hardware, пост разработчика

НЕЙРО-ПУШКА ● Новости и обзоры нейросетей