Искусственный интеллект перепутал кларнет с винтовкой и закрыл школу на карантин⁠⁠

В одной из школ Флориды случился локдаун — полная изоляция здания с эвакуацией учеников в безопасные зоны. Причина? Система видеонаблюдения с искусственным интеллектом засекла «вооруженного человека». Им оказался обычный школьник с кларнетом.

Как это произошло

В школе установлена система Avigilon от Motorola Solutions — одна из самых популярных AI-систем безопасности в американских учебных заведениях. Она анализирует видеопотоки в реальном времени и автоматически определяет угрозы: оружие, подозрительное поведение, драки.

11 декабря нейросеть засекла ученика, который нес кларнет «как будто это было оружие». Система мгновенно подняла тревогу. Охранник школы получил уведомление, посмотрел на экран и... подтвердил угрозу.

После этого запустили протокол активного стрелка. Школу закрыли на локдаун, родителям разослали сообщения о возможной опасности. Только через некоторое время выяснилось, что «стрелок» — это ребенок с музыкальным инструментом.

Контекст американской паранойи

Чтобы понять масштаб абсурда, нужно знать американские реалии. Школьные стрельбы там — настоящий кошмар. Только в 2024 году произошло более 80 инцидентов с применением огнестрельного оружия в школах.

Поэтому системы безопасности настроены максимально чувствительно. AI обучен реагировать на любые предметы, похожие на винтовки — от зонтов до швабр. А персонал натренирован действовать быстро, не раздумывая.

Проблема в том, что нейросеть видит паттерны, а не смысл. Для нее кларнет в определённом положении действительно похож на длинный ствол винтовки AR-15. Система не понимает контекста: музыкальный класс, ребенок после урока, футляр для инструмента рядом.

Человек в цепочке

Самое странное — охранник подтвердил угрозу. Либо он не смотрел внимательно на изображение, либо сработал на автомате, доверившись AI. А может, в условиях постоянного стресса и давления он тоже начал видеть оружие везде, где система его «находит».

Это классическая проблема automation bias — когда люди слепо доверяют решениям автоматизированных систем. Особенно если система дорогая, от известного бренда и позиционируется как «умная».

Цена ошибки

Для школы этот локдаун — потерянное учебное время и стресс для сотен детей. Для родителей — паника и страх за своих детей. Для ребенка с кларнетом — возможно, психологическая травма.

А для индустрии AI-безопасности — очередное напоминание, что искусственный интеллект без человеческого здравого смысла может быть опаснее, чем его отсутствие. Да и наличие человека не всегда автоматически гарантирует появление здравого смысла.

P.S. Поддержать меня можно подпиской на канал "сбежавшая нейросеть", где я рассказываю про ИИ с творческой стороны.