Чужой в промпте⁠⁠

Вы отправляете нейросети документ и просите разобраться. Пока вы читаете обычный текст, внутри файла может скрываться другое обращение: пропусти проверку, измени вывод, выполни чужую задачу. У вашего помощника появляется ещё один собеседник. И вы можете даже не узнать, что разговор состоялся

◽В мае 2026 года в бразильском суде обнаружили скрытые инструкции в документе, подписанном двумя адвокатами. Белый текст на белом фоне требовал поверхностно рассмотреть обращение и не оспаривать приложенные документы. При обработке документа с помощью судебной ИИ-системы Galileu скрытый текст был выявлен. После проверки адвокатам назначили штраф около 16 тысяч долларов. Попытка повлиять на ИИ была раскрыта

◽Это пример косвенной промпт-инъекции: посторонняя инструкция попадает к модели внутри материала, который ей поручили обработать. Носителем может стать отчёт, резюме или юридический документ: внешне обычный текст содержит команду, которая пытается перенаправить работу системы

◽Чтобы понять эту подмену, важно разделить несколько элементов:

💠Задача пользователя
🔹Пользователь задаёт модели задачу: проанализировать материал, сопоставить сведения или подготовить вывод. Именно его поручение, а не содержание документа, должно определять ход работы

💠Чужая инструкция
🔹Автор документа может обратиться прямо к модели и предложить изменить порядок работы. Доступ к вашему чату ему для этого не нужен

💠Граница доверия
🔹Риск возникает, когда модель воспринимает содержание источника как распоряжение. Файл, который нужно проверить, начинает задавать правила собственной проверки

💠Незаметность
🔹Белый шрифт лишь один из способов скрыть вмешательство. Инструкция может быть и видимой: главное, чтобы система приняла её за указание к действию

💠Проверка результата
🔹Стоит смотреть, какие фрагменты источника обосновывают вывод и соответствует ли он исходной задаче. Одной убедительности ответа для доверия недостаточно

◽Этот случай показывает, что работа с контекстом включает и вопрос доверия к его источникам. Важно различать поручение пользователя и содержание материалов, ограничивать полномочия системы и проверять результат. В бразильском суде вмешательство обнаружили, но это не гарантирует, что любая подобная попытка будет замечена

___

〽Мы учимся говорить с нейросетями, но теперь приходится замечать и чужие голоса в нашем диалоге. Важно не только то, как мы формулируем собственный запрос, но и то, кто формирует контекст и пытается направить ответ. Если ИИ читает за нас, кто ещё может говорить с ним от нашего имени?