ИИ-агент взломал популярную платформу Hugging Face. Расследовать взлом пришлось китайской нейросетью⁠⁠

Один вредоносный набор данных, залитый на Hugging Face, позволил запустить чужой код на серверах этой платформы. Через платформу идет значительная часть мирового обмена открытыми нейросетями и данными для их обучения — что-то вроде гитхаба для ИИ. Атакующий собрал ключи доступа и за выходные прошелся по нескольким внутренним сетям компании. Человека за этим не стояло: атаку от начала до конца вел автономный ИИ-агент — программа, которой ставят цель и оставляют работать самой.

Как набор данных вообще что-то выполняет, объясняет отчет, который компания опубликовала о взломе. Датасет на такой площадке — это не просто таблица с цифрами. К нему обычно прилагается небольшая программа, которая данные распаковывает и раскладывает по местам, и платформа запускает ее сама, автоматически. Атакующий подсунул набор, в котором эта программа делала совсем не то, что заявлено. Вторая лазейка нашлась в настройках датасета: туда тоже удалось подставить свою команду.

Сначала чужой код работал в ограниченном уголке одного сервера — так и задумано, чтобы никто не дотянулся дальше своей задачи. Из этого уголка агент выбрался и получил власть над всей машиной. Дальше пошел сбор ключей — паролей к другим серверам компании. Получив их, атакующий разошелся по внутренним сетям.

Атаковал не живой человек — это видно по почерку. ИИ-агент поднимал рой одноразовых виртуальных машин: каждая делала свой маленький кусочек работы и исчезала, чтобы по ней нельзя было восстановить общую картину. Команды он получал с пульта, который держали на обычных публичных сервисах и постоянно перемещали с одного на другой — отключить его одним ударом было нельзя. Всего в журнале осталось больше 17 000 записанных действий.

Судя по следам, агента собрали на основе инструмента, который вообще-то делали для белых хакеров — тех, кто ищет дыры по заказу самих владельцев. Какая нейросеть им управляла, установить не удалось: либо коммерческая, с которой сняли защиту, либо открытая, из которой ограничения просто вырезали. Ни та ни другая атакующего никакими правилами не связывала. В отрасли такой сценарий давно предсказывали.

Атакующий добрался до части внутренних наборов данных и до нескольких служебных ключей. Публичные модели, данные и демо-приложения, которыми пользуются миллионы людей, никто не тронул — это проверили отдельно, как и программные сборки, которые платформа раздает. Затронуты ли данные партнеров и клиентов, еще выясняют. Обычным пользователям советуют на всякий случай сменить свои ключи доступа и посмотреть, что происходило в аккаунте.

Интересно, что заметила атаку тоже нейросеть. У платформы есть система, которая читает сигналы от защитных программ и отсеивает ежедневный шум ложных тревог: она сопоставила несколько сигналов и подняла тревогу настоящую.

Но на этом расследование встало. Чтобы восстановить картину по журналу из 17 000 действий, в нейросеть надо загрузить то, чем работал взломщик: его настоящие команды, вредоносный код, следы того самого пульта. Топовые коммерческие модели, к которым обратились первыми, такие запросы отклонили — сработали защитные фильтры. Со стороны запрос криминалиста и запрос преступника выглядят одинаково: и тому и другому нужен подробный разбор орудия.

Разбор перенесли на GLM 5.2 — открытую китайскую модель, которую можно скачать и запустить на своих серверах. Чужих правил у нее нет: что загрузили, то и разбирает. Она прочитала журнал целиком — восстановила хронологию, вытащила следы взлома, показала, каких ключей атакующий касался, и отделила реальный ущерб от ложных следов, которые агент оставлял для отвода глаз. Ушли часы вместо обычных дней. Заодно ни данные атакующего, ни ключи, которые в них упоминались, не покинули серверы компании.

P.S. Поддержать меня можно подпиской на канал "сбежавшая нейросеть", где я рассказываю про ИИ с творческой стороны.