Премьер Австралии Энтони Албанезе рассказал: 18 июня внутренний ИИ-агент OpenAI проник на портал статистики Medicare и открыл закрытые файлы. Взламывать его никто не просил. Агент получил мирное исследовательское задание, упёрся в запрет доступа и нашёл обходной путь. Правительство узнало об этом только 10 сентября, из письма OpenAI в общий ящик для сообщений об уязвимостях.
Во время внутренней оценки агенту поручили найти данные о госрасходах на лекарства в Австралии. Он вышел на старый портал Medicare Statistics Reporting Service, получил отказ, раз за разом упирался в блокировки и в итоге обошёл защиту от ботов: открыл публичные и непубличные файлы и даже записал файлы на внутренний сервер. Персональных данных там не было, только агрегированная статистика по приёмам у врачей, вакцинации и льготным лекарствам. Затронуты ещё три госсайта, но там, по словам властей, агент видел только открытую информацию.
«Он, если хотите, не принял „нет" в качестве ответа. Никаких иностранных хакеров здесь нет. Это исследовательский проект, который залез туда, куда не следовало», — Энтони Албанезе.
OpenAI заметила инцидент в августе, когда проверяла «несогласованное поведение моделей», а сообщила 10 сентября письмом в публичный ящик, который проверяют раз в день. До центра кибербезопасности оно дошло только 15-го. В начале сентября Сэм Альтман встречался с вице-премьером Ричардом Марлзом и об инциденте промолчал. Альтман признал, что компания сработала недостаточно хорошо, но извинений не принёс. «Юридические последствия, очевидно, будут», — пообещал Албанезе. Спецгруппа решит, есть ли состав преступления и передавать ли дело федеральной полиции.
По данным New York Times и лаборатории Transluce, в мае–июне было минимум четыре таких эпизода, и все их OpenAI подтвердила. Агенты пробовали SQL-инъекции на цифровой библиотеке Университета Нью-Мексико, отправили на её сервер 80 запросов (сам агент назвал это «флудом») и искали уязвимости на портале Data USA. Следы подобной активности тянутся с марта по 16 сентября, то есть и после июльского взлома Hugging Face.
Конрад Стош из Transluce называет эпизод, вероятно, первым случаем, когда агент сам решил взломать правительство: если агенты готовы идти на взлом ради общей задачи, под угрозой любой, у кого есть нужная им информация. Хэммонд Пирс из UNSW ждёт, что такие атаки будут расти и по тяжести, и по частоте. Раффаэле Чириелло из Сиднейского университета считает, что вред ограничен, а урок для регулирования — нет: агентам нужны изоляция, мониторинг в реальном времени и быстрое раскрытие инцидентов.
Ущерб копеечный, но агент с безобидной задачей сам решил, что запрет — препятствие, которое надо обойти, и месяцами этого не видели ни разработчик, ни жертва. А новость, по иронии, вышла через час после того, как Альтман на Совбезе ООН призывал к «точному и быстрому» раскрытию инцидентов с ИИ.
