Уязвимость в API раскрыла «мысли» ИИ
Источники: Computerra, оригинальное исследование arXiv:2608.09867
Исследователи из немецкого Института интеллектуальных систем Макса Планка, Университета Тюбингена, MATS Research и компании Snyk обнаружили уязвимость в системе шифрования цепочек рассуждений (Chain-of-Thought) в API трёх крупнейших провайдеров ИИ — OpenAI, Anthropic и Google.
Способ заключается в том, что зашифрованные блоки рассуждений от флагманских моделей можно передать более слабой модели того же производителя. Младшая модель расшифровывает и воспроизводит содержимое. Ключевая проблема: все модели одного вендора используют один глобальный ключ шифрования, поэтому блоки взаимозаменяемы между разными сессиями, пользователями и даже моделями внутри экосистемы.
На практике атака выглядит так: зашифрованный блок рассуждений Claude 3 Opus отправляется в запросе к Claude 3 Haiku с инструкцией расшифровать и воспроизвести содержимое. Младшая модель выступает в роли «оракула» для дешифровки. Исследователи подтвердили работоспособность метода на всех трёх провайдерах.
Проанализировав более 315 тысяч зашифрованных блоков, случайно опубликованных разработчиками в открытых репозиториях, команда извлекла 367 единиц личной информации и 182 учётных данных, включая 62 API-ключа и 33 пароля в открытом виде. Во многих случаях чувствительные данные присутствовали исключительно внутри скрытых цепочек рассуждений и не отображались в финальных ответах.
Уязвимость также позволяет обходить защиту от дистилляции моделей и даёт конкурентам возможность копировать архитектуру мышления флагманских ИИ. Исследователи уведомили компании заранее. По их данным, на момент публикации уязвимость была частично устранена.
Что вы думаете о безопасности данных в эпоху повсеместного использования ИИ?
Источники: Computerra, оригинальное исследование arXiv:2608.09867