Песочница не спасёт: почему я строю безопасность агентов наоборот
В прошлый раз выяснилось, что бесплатный сервис подкладывает в каждый запрос шестьсот токенов служебного текста, а иногда и показывает чужой системный промпт. Но самое интересное началось с вопроса, который сразу возникает: а ты его хоть запер?
Почему на песочницу не полагаемся
Когда рассказываешь про своего агента, который читает файлы и запускает команды, первый вопрос: а ты его запер? - Ограничил каталог, запретил выходить за пределы папки проекта, поставил лимиты на системные вызовы?
Ответ: нет. И это не лень, это осознанный выбор.
Любая такая система ограничений — это набор правил, которые кто-то написал, и механизм, который эти правила проверяет. Пока агент ведёт себя предсказуемо, всё работает, и постепенно привыкаешь, что работает всегда. А привыкнув, перестаёшь проверять.
Модели последних поколений — на которых сейчас работают ожидающие бана приобретатели подписок на Клода, Fable 5.2, Gemini 4 Carbon/Neon — эти модели и их китайские братья стали достаточно упорными, чтобы не принимать запрет как ответ. Они читают сообщение об ошибке и пробуют иначе: через другую утилиту, через интерпретатор, через переменную окружения, через то, что в правилах просто забыли закрыть. Запрет для них — не стена, а задача.
Дальше начинается та часть, которую знаю не по чужим статьям, а по своей работе. Любая защита строится на допущении, что все её компоненты корректны. А они не корректны и никогда такими не были. Переполнение буфера, повышение привилегий, уязвимая библиотека, которую два года никто не обновлял. Если в системе есть хоть одна дыра такого класса, а у агента есть право запускать код, то рано или поздно он в эту дыру провалится. Выберется из полностью изолированной песочницы наружу — уже с правами, о которых никто не договаривался.
Это про психологию. Опасна не сама дыра. Опасна уверенность, что дыры нет. Пока есть вера, что песочница держит, рядом с ней держат то, что держать не должны. Кажется: «в этот файл он не заглянет, там же лимит». А он заглянет — и узнаешь об этом последним, потому что всё это время механизм считался надёжным и проверять было незачем.
У моделей класса Fable-5.2 и особенно тех, что будут завтра, через год-два-десять лет, настойчивости достаточно, чтобы ограничение стало для неё задачей, а не границей. Отсюда вывод, который звучит неприятно. Если у агента есть право запускать команды — считайте, что у него есть вся ваша система. Не «почти вся», не «кроме домашнего каталога», не «кроме той папки с документами». Вся. И если к такому выводу никто не готов, единственный честный вариант — не ставить на свой крмп никакой софт с агентами.
Что вместо песочницы
Дальше два принципа, и оба выглядят как отказ от обороны. Это и есть отказ — но не от безопасности.
Первый — бэкапы, несколько в разные места. Ежедневные, автоматические, всех важных данных, на серверы, которые физически находятся в других местах. Не на внешний диск рядом с ноутбуком: этот диск поедет вместе с ноутбуком и вместе с ним умрёт. Не в облако того же провайдера, где лежит основная копия. В другое место — другое здание, город, если получится — другая страна.
Смысл в том, что я заранее соглашаюсь: всё может быть потеряно. Не «я построю защиту, которая не даст потерять», а «я построю систему, в которой потеря перестаёт быть катастрофой». Первое зависит от того, не ошибётся ли кто-то в реализации. Второе — только от того, сработал ли бэкап. А бэкап, который проверяли, срабатывает предсказуемо.
Второй — открытость. Тут придётся сказать вещь, которая многих заденет.
Сейчас ты всё равно никому не нужен. Известность — это деньги, а деньги интересуют многих. Но до того, как известность пришла, идеи не стоят ничего, потому что о них никто не знает. Прятать их за словом «ноу-хау» — это позиция неуловимого Джо: он очень неуловим, потому что нафиг никому не нужен, пока про него никто не знает.
И это не шутка про чужие комплексы, это про механику внимания. Человек с голосом, репертуаром и именем — и тот никак не может уйти на пенсию и вынужден постоянно напоминать о себе то одним скандалом, то другим — потому что забудут, и всё, тебя нет. Если уж людям с таким ресурсом нельзя просто замолчать, то «ноу-хау» из пары тысяч строк кода — тем более не представляет никакой ценности пока никто им не пользуется.
Так что моя ставка на время открытости. Потому, что скрывать мне особо нечего: у меня нет ни тайных алгоритмов, ни уникальных данных, ни секретной бизнес-модели. Есть код, который я и так выкладываю в публичных репозиториях. Открытость — не про имидж, это про безопасность. Секрет — единственное, что вообще может утечь. Если исходники публичны, идеи опубликованы, то утечка перестаёт быть угрозой: если мой и так открытый код кто-то прочитает и, о боже! — украдет, можно будет только порадоваться тому, что я не зря им занимался.
Вместе эти два принципа дают то, чего не даёт песочница. Не «не пущу», а «пусть заходит, там нет ничего секретного и всё восстановимо». Разница в том, что первое надо постоянно поддерживать в рабочем состоянии и надеяться, что не подведёт, а второе работает даже когда всё уже сломалось. Как давненько знал выражение, что лучший ноутбук — это тот, который можно в любой момент выбросить в окно. Так и с агентами, лучшая защита — это открытая дверь, "захади дарагой!" — рад поделиться всем, что там есть.
Почему провайдеры не делятся на надёжных и сомнительных
Я не делаю разницы между большими компаниями и мелкими посредниками. Мне совершенно всё равно, стоит за API OpenAI, Anthropic, Z.ai, DeepSeek — или парень с четырьмя видеокартами, который развернул открытую модель и продаёт к ней доступ по дешёвке. С точки зрения того, что происходит с моим текстом после того, как он ушёл из моего окна терминала, это одно и то же.
Для себя выведено четыре аксиомы, и на них держится вообще вся моя работа с ИИ.
Первая: всё, что я отправил в облачную модель, я считаю публичным. Не «условно приватным», не «удаляемым через тридцать дней», не «не используемым для обучения» — публичным, как пост в интернете. Проверить эти обещания я не могу никак: у меня нет доступа к их логам, к их инженерам, к их ноутбукам и к их провайдеру железа. Обещание, которое невозможно проверить, — это не гарантия, а маркетинг. И он одинаково маркетинговый и у компании с офисом в Калифорнии, и у сервиса, который хостится на кухне советской хрущевки.
Вторая: всё, над чем я работаю, — открытый код. Исходники моих проектов либо уже лежат в публичном репозитории, либо будут там, когда-нибудь. А данные пользователей и их аккаунты создаются на их собственных устройствах и остаются там. Это не обещание в политике конфиденциальности, это архитектура: приложение работает локально, синхронизации с моим сервером нет, аккаунтов у меня нет, ключей от чужих данных у меня нет физически. Ничего не может утечь, потому что у меня этого никогда не было.
Третья: на ноутбуке, где живут мои агенты, нет моих личных данных. Отдельная машина, отдельные папки, никаких сканов документов, переписок, фотографий и прочей личной бухгалтерии на одной машине с рабочими проектами. Это скучная гигиена, но она делает половину страшных сценариев неинтересными: даже если однажды кто-то прочитает всё, что видит мой агент, он прочитает код, черновики статей и конфиги. Пусть читает и будет ему счастье.
Четвёртая: я предпочитаю работу на бесплатных лимитах десятков разных провайдеров перед платными подписками. И это, как ни странно, тоже про безопасность, а не только про экономию. Если ключ утечёт, максимум, что получит злоумышленник, — мой бесплатный дневной лимит, который он и сам мог бы получить со своего аккаунта и который всё равно обнулится в полночь. У меня нет привязанных карт на этих сервисах, нет депозитов, нет аккаунтов с деньгами. В худшем случае кто-то потратит мою дневную квоту в сто миллионов токенов. Пусть ему принесет это много радости, но потом я сменю API ключ и все будет по-старому.
Сложите эти четыре — и станет видно, почему вопрос «а какому провайдеру можно доверять» для меня вообще не имеет смысла. Не потому, что я доверяю всем. А потому, что я не доверяю никому и строю работу так, чтобы доверие не требовалось.
Разница между крупной конторой и посредником при таком подходе не в уровне безопасности. Она в том, что у крупной конторы есть отдел маркетинга, который объяснит, почему именно им можно доверять, и юристы, которые напишут это красиво. Технически же и там и там мой текст уходит на чужую машину, которую я никогда не увижу и не проверю. Логи у обоих, сотрудники с доступом у обоих, запрос от правоохранителей теоретически может прийти к обоим, инцидент с утечкой случается у обоих — просто у большого он попадёт в новости, а у маленького тихо осядет в чате поддержки.
Что там с лимитами, ради которых всё затевалось
Теперь про сами сто миллионов бесплатных токенов в день из недавно найденного сервиса, который тестировал и поделился в другой статье. Цифры там действительно бешеные, но считают они не так, как многие привыкли. В счёт идёт сумма того, что отправили, и того, что ответили. Никакой скидки за «повторно отправленный контекст»/кэш, которыми балуют некоторые крупные провайдеры, здесь нет. Проверено: запрос, где текст весил пять тысяч восемьсот двадцать четыре токена, ответ на двадцать токенов — и счётчик расхода вырос ровно на пять тысяч восемьсот сорок четыре. Арифметика сошлась до единицы. А ведь именно на кэш в агентской работе приходится 95%+ расхода токенов.
К тому же из-за невидимой надстройки в 600+ токенов, каждый мелкий запрос обходится дороже, чем кажется. Простейшее «скажи ОК» стоит шестьсот с лишним токенов, а не два. Так что если гонять агента мелкими шагами, реальный запас — не сто миллионов, а примерно сто шестьдесят тысяч обращений в день. Тоже, мягко говоря, много, но это уже не «бесконечность», а конкретное число, и его полезно держать в голове.
Дальше — механика лимита, от которой немножко подофигел. Базовый уровень — сто миллионов в день, навсегда. Сверху сервис накидывает бонусы за общий счёт: когда суммарно через него прогоняют сто миллиардов токенов, всем на несколько дней поднимают дневную планку до двухсот миллионов. Прогнали десять миллиардов — до трёхсот. Сто миллиардов — до четырёхсот. Следующая ступенька, триллион, даёт пятьсот миллионов на неделю. Это как вообще? - аттракцион невиданной щедрости.
Сейчас как раз действует ступенька на четыреста миллионов, и она заканчивается двадцатого ноября. После этого все дружно съезжают обратно на базовые сто. Кстати, если верить их же публичной статистике — девяносто с лишним миллиардов токенов в сутки проходит через сервис, а суммарно за всё время набежало двести двенадцать миллиардов, — то до триллиона осталось недели полторы такого темпа. Так что ступенька на пятьсот, может включиться уже скоро.
Ограничения по скорости тоже есть, и они заметные. Пять одновременных сессий, пятьдесят токенов в секунду на поток. Хотя дается 5 потоков на API ключ. И сервис признаётся, что ему тяжело: в публичном статусе написано «деградировано». Успешных запросов девяносто шесть с половиной процентов.Это, кстати, важная деталь, которую легко пропустить, глядя на гигантские цифры. Сто миллионов токенов в день — это не «быстрее и лучше, чем у больших», это «много и медленно, зато бесплатно». Для неторопливой работы по списку задач в фоновом режиме, ночной пакетной обработки, для разбора сотен документов — идеально. Для молниеносного выполнения задач, быстрее чем вы успеете пошевелиться, как на подписке Клод — не годится.
Что в итоге
Интересно, как кто относится к вопросу безопасности. Не «какому провайдеру вы доверяете» — этот вопрос, по-моему, бессмысленный. А другое: что лежит выше той папки, которой якобы ограничен ваш агент? Если завтра всё её содержимое станет публичным — вы отделаетесь смехом или придётся менять пароли по всему интернету? Напишите в комментариях. Мне кажется, что честный ответ для многих «придётся менять» — самый частый, и именно поэтому я предпочёл не полагаться на "песочницу", агент оттуда все-равно вылезет — не сегодня, так завтра.






