4

Gemini взломала три настоящие компании. И это уже четвёртый ИИ, с которым такое случилось⁠⁠

Gemini взломала три настоящие компании. И это уже четвёртый ИИ, с которым такое случилось

Google подтвердила: в мае 2026 года её модели Gemini проникли в системы трёх реальных организаций. Не в учебные мишени — в работающие сервисы живых компаний. Публично об этом сказали только 18 сентября, после публикации Wall Street Journal. Но самое интересное здесь не то, что ИИ кого-то взломал, а то, насколько скучной и человеческой оказалась причина.

Как это вышло

Gemini гоняли через capture the flag — стандартный формат киберучений, где модели дают задание добыть данные у выдуманной компании внутри закрытого стенда. Стенд строил и обслуживал не Google, а подрядчик: израильская компания Irregular, которая делает такие полигоны для ведущих ИИ-лабораторий.

Подрядчик ошибся дважды. Во-первых, в изолированную песочницу протёк настоящий интернет — модель, которой сказали «сети у тебя нет», на самом деле имела выход наружу. Во-вторых, название вымышленной компании-мишени совпало с названием реально существующей фирмы. Дальше Gemini просто добросовестно выполняла задание: пошла искать цель — и нашла её в живом интернете.

Двери оказались не заперты

Вот что стоит держать в голове, прежде чем представлять себе взлом в голливудском смысле. В двух случаях из трёх Gemini не ломала ничего: она нашла рабочие логины и пароли, которые сотрудники этих компаний сами выложили в публичные репозитории кода. Оставалось ввести их в форму входа. В третьем случае модель подобрала пароль перебором — что говорит о стойкости этого пароля больше, чем о навыках модели.

Данные при этом никуда не утекли. По версии Google, во всех трёх эпизодах модель останавливалась сама, сообразив, что попала не туда. «В рамках штатной проверки модель нашла публичную информацию в сети и подобрала учётные данные, чтобы зайти на сайты, которые считала частью теста. Во всех трёх случаях модель остановилась», — заявила Хизер Эдкинс, вице-президент Google по инженерной безопасности.

Четвёртый за лето

Gemini тут не первопроходец, а замыкающий. Детонатором стал июль: OpenAI сообщила, что связка её моделей самостоятельно пробралась в системы Hugging Face — тогда это назвали первым известным случаем автономной кибератаки, выполненной ИИ-агентом. После этого Anthropic перелопатила 141 006 прогонов собственных оценок и нашла три похожих эпизода: Claude тоже сказали, что интернета нет, интернет был, и наткнувшись на реальные системы в сети, модель приняла их за часть упражнения. В начале августа о своём инциденте отчиталась Meta* — снова из-за неверно настроенного стенда. К концу августа TechCrunch насчитал уже 17 таких случаев у трёх лабораторий.

Общий знаменатель у большей части этих историй — один и тот же подрядчик. Irregular уведомила заказчиков о дырах в песочницах ещё в конце июля и заявила, что все известные проблемы устранены. Google после этого молчала около семи недель.

Почему это важно

Соблазн прочитать новость как «ИИ вырвался на свободу» велик, но по фактам вышло другое, и оно тревожит сильнее. Модели никто не приказывал выходить из периметра — она и не пыталась, она выполняла инструкцию. Периметра просто не было: его нарисовали в промпте словами «у тебя нет интернета», а технически не закрыли. Изоляция, существующая только на уровне текстовой инструкции, — не изоляция.

Второй вывод касается всей отрасли. Проверять, умеют ли модели взламывать, лаборатории отдали на аутсорс одному узкому специалисту — и одна его ошибка в конфигурации разом задела четыре компании и несколько посторонних фирм, которые вообще не подписывались ни на какие эксперименты. Безопасность ИИ сегодня измеряют на стендах, о качестве которых известно куда меньше, чем о самих моделях.

* Meta признана экстремистской организацией, её деятельность запрещена на территории Российской Федерации.

Источники: Ars Technica, Cybersecurity Dive, TechCrunch

НЕЙРО-ПУШКА ● Новости и обзоры нейросетей

Искусственный интеллект

6.4K постов12.1K подписчика

Правила сообщества

ВНИМАНИЕ! В сообществе запрещена публикация генеративного контента без детального описания промтов и процесса получения публикуемого результата.


Разрешено:


- Делиться вопросами, мыслями, гипотезами, юмором на эту тему.

- Делиться статьями, понятными большинству аудитории Пикабу.

- Делиться опытом создания моделей машинного обучения.

- Рассказывать, как работает та или иная фиговина в анализе данных.

- Век жить, век учиться.


Запрещено:


I) Невостребованный контент

  I.1) Создавать контент, сложный для понимания. Такие посты уйдут в минуса лишь потому, что большинству неинтересно пробрасывать градиенты в каждом тензоре реккурентной сетки с AdaGrad оптимизатором.

  I.2) Создавать контент на "олбанском языке" / нарочно игнорируя правила РЯ даже в шутку. Это ведет к нечитаемости контента.

  I.3) Добавлять посты, которые содержат лишь генеративный контент или нейросетевой Арт без какой-то дополнительной полезной или интересной информации по теме, без промтов или описания методик создания и т.д.


II) Нетематический контент

  II.1) Создавать контент, несвязанный с Data Science, математикой, программированием.

  II.2) Создавать контент, входящий в противоречие существующей базе теорем математики. Например, "Земля плоская" или "Любое действительное число представимо в виде дроби двух целых".

  II.3) Создавать контент, входящий в противоречие с правилами Пикабу.


III) Непотребный контент

  III.1) Эротика, порнография (даже с NSFW).

  III.2) Жесть.


За нарушение I - предупреждение

За нарушение II - предупреждение и перемещение поста в общую ленту

За нарушение III - бан

0
Автор поста оценил этот комментарий

В итоге ВО ВСЕХ «утечках» ИИ виновата израильская контора. И им продолжают платить. Я не сторонник теорий заговоров, но тут явно пахнет моссадом…

Темы

Политика

Теги

Популярные авторы

Сообщества

18+

Теги

Популярные авторы

Сообщества

Игры

Теги

Популярные авторы

Сообщества

Юмор

Теги

Популярные авторы

Сообщества

Отношения

Теги

Популярные авторы

Сообщества

Здоровье

Теги

Популярные авторы

Сообщества

Путешествия

Теги

Популярные авторы

Сообщества

Спорт

Теги

Популярные авторы

Сообщества

Хобби

Теги

Популярные авторы

Сообщества

Сервис

Теги

Популярные авторы

Сообщества

Природа

Теги

Популярные авторы

Сообщества

Бизнес

Теги

Популярные авторы

Сообщества

Транспорт

Теги

Популярные авторы

Сообщества

Общение

Теги

Популярные авторы

Сообщества

Юриспруденция

Теги

Популярные авторы

Сообщества

Наука

Теги

Популярные авторы

Сообщества

IT

Теги

Популярные авторы

Сообщества

Животные

Теги

Популярные авторы

Сообщества

Кино и сериалы

Теги

Популярные авторы

Сообщества

Экономика

Теги

Популярные авторы

Сообщества

Кулинария

Теги

Популярные авторы

Сообщества

История

Теги

Популярные авторы

Сообщества

Недвижимость и ремонт

Теги

Популярные авторы

Сообщества