88966988

Не исключено, что программа АНБ SKYNET убивает тысячи невинных людей

В прошлом году издание The Intercept опубликовало документы, в которых излагаются подробности программы АНБ SKYNET. SKYNET осуществляет обширную слежку в сети сотовой связи Пакистана, а затем при помощи алгоритма машинного обучения по метаданным этой сети на 55 миллионов человек пытается оценить, насколько вероятна причастность того или иного человека к террористической деятельности.

Кристиан Гротофф (Christian Grothoff), Дж.М. Порап (J.M. Porup)

В 2014 году бывший директор ЦРУ и АНБ объявил: «Мы убиваем людей, основываясь на метаданных». Сейчас, проведя новый анализ ранее опубликованных документов Сноудена, можно сделать вывод о том, что многие из этих людей ни в чем не повинны.

В прошлом году издание The Intercept опубликовало документы, в которых излагаются подробности программы АНБ SKYNET. Согласно этим документам, SKYNET осуществляет обширную слежку в сети сотовой связи Пакистана, а затем при помощи алгоритма машинного обучения по метаданным этой сети на 55 миллионов человек пытается оценить, насколько вероятна причастность того или иного человека к террористической деятельности.

Специалист по обработке данных Патрик Болл (Patrick Ball), работающий директором по исследовательской работе в неправительственной Группе анализа данных по правам человека (Human Rights Data Analysis Group) и не раз дававший экспертные показания в судах по военным преступлениям, назвал методы АНБ «абсурдно оптимистичными», а также «полным дерьмом». Изъян состоит в том, методы АНБ по обучению этого алгоритма SKYNET анализу сотовых метаданных делают результаты ошибочными с научной точки зрения.

С 2004 году в результате ударов беспилотников в Пакистане погибли от 2 500 до четырех тысяч человек, причем большинство из них было занесено американским правительством в категорию «экстремистов», о чем сообщает Бюро следственной журналистики (Bureau of Investigative Journalism). Эта программа машинного обучения находится в стадии разработки и развития с 2007 года, если судить по дате классификации «20070108», которую можно увидеть на одном из слайдов SKYNET (сами слайды датируются примерно 2011-2012 годом).

За это время из-за такого научно необоснованного алгоритма тысячи невинных людей в Пакистане могли по ошибке попасть в категорию террористов, что не исключает их преждевременной гибели от ударов дронов.

Сладкозвучная песнь больших данных

SKYNET работает как обычное современное коммерческое приложение больших данных. Программа собирает метаданные и хранит их на облачных серверах АНБ, извлекая необходимую информацию, а затем при помощи машинного обучения выявляя наводки и подсказки для проведения целенаправленной кампании. Но вместо того, чтобы что-то продавать с учетом внимания американского правительства к Пакистану, в ходе этой кампании могут задействоваться другие институты государственной власти, такие, как ЦРУ и армия, которые в рамках своей стратегии Find-Fix-Finish (найти, зафиксировать, устранить) используют беспилотники Predator и наземные группы ликвидаторов.

Кроме обработки данных о звонках с мобильных телефонов (это так называемые «данные опознавания набранных номеров» (DNR), такие, как время звонка, его продолжительность, личности абонентов), SKYNET собирает информацию о местонахождении пользователя, что позволяет создавать подробные графики и схемы его поездок. Если телефон отключается, это считается попыткой уйти от массовой слежки, и такие люди заносятся в категорию подозрительных. Те пользователи, которые меняют SIM-карты, наивно полагая, что это помешает слежке, также помечаются особым образом (за телефонами можно следить по электронным серийным номерам и идентификаторам типа ESN/MEID/IMEI, вне зависимости от того, какую SIM-карту ты используешь).

В презентации АНБ говорится, что даже смена телефона фиксируется, и сменивший его человек получает особую метку. Мы можем лишь строить предположения (поскольку в презентации это детально не указано), но такая фиксация может осуществляться, исходя из того, что прочие метаданные, такие, как местонахождение пользователя в реальном мире и в социальных сетях, остаются без изменений.

Имея полный комплект метаданных, SKYNET методом анализа вычисляет распорядок дня человека и его повседневные занятия — с кем он вместе ездит, с кем обменивается контактными данными, у кого останавливается на ночь, какие страны посещает, или куда переезжает на постоянное место жительства. В целом, как показывают слайды презентации, в алгоритме машинного обучения АНБ используется более 80 различных характеристик для определения «террористичности» объекта слежки.

Как говорят нам слайды, эта программа основана на исходной посылке о том, что поведение террористов существенно отличается от поведения обычных граждан по некоторым из этих 80-ти показателей. Но как показал в прошлом году разоблачительный материал The Intercept, согласно этой программе, самым подозрительным в рамках таких характеристик оказался Ахмад Зейдан (Ahmad Zaidan), долгое время работающий шефом бюро Al-Jazeera в Исламабаде.

Как сообщил The Intercept, Зейдан часто ездит в районы активной террористической деятельности, чтобы брать интервью у боевиков и готовить информационные материалы для новостей. Но вместо того, чтобы усомниться в выдавшем столь странный результат алгоритме машинного обучения, разработавшие его инженеры из АНБ в своей презентации для служебного пользования громко раструбили, что Зейдан — это яркий пример успеха SKYNET. А на одном из слайдов они даже назвали его членом «Аль-Каиды».

Обучая машину

Обучение машинного алгоритма подобно обучению байесовской фильтрации спама: туда подается заведомо известный спам и заведомо известный «чистый» материал. На основе этих контрольных данных алгоритм учится правильно отфильтровывать спам.

Точно так же важнейшая составляющая программы SKYNET — это подача в алгоритм данных о «известных террористах», чтобы научить его фиксировать похожие наборы данных.

Но проблема заключается в том, что «известных террористов» мало для обучения алгоритма, а реальные террористы вряд ли станут заполнять гипотетические анкеты АНБ, чтобы помочь в обучении. Служебные документы АНБ показывают, что SKYNET в качестве контрольных использует данные об «известных курьерах», и по умолчанию исходит из того, что остальные люди ни в чем не виновны.

В Пакистане живет примерно 192 миллиона человек, и по состоянию на конец 2012 года, когда была сделана презентация АНБ, у них было около 120 миллионов сотовых телефонов. АНБ проанализировало 55 миллионов записей с этих мобильных устройств. Умножаем 80 характеристик на 55 миллионов пакистанских абонентов сотовой связи, и понимаем, что данных явно слишком много, и разобраться в них вручную невозможно. Поэтому АНБ прибегает к помощи машинного обучения, как в любом приложении больших данных, заменяя алгоритмом человеческий разум и здравый смысл.

Классификационный алгоритм SKYNET анализирует метаданные и контрольные данные, а затем выдает счет очков по каждому человеку на основании его метаданных. Цель заключается в том, чтобы дать наивысшее количество баллов настоящим террористам и минимальное — мирному населению.

Для этого в алгоритме SKYNET используется алгоритм случайного леса, часто применяемый в такого рода приложениях больших данных. Надо сказать, что Управление правительственной связи Великобритании скорее всего использует аналогичные методы машинного обучения, о чем свидетельствуют новые документы Сноудена, опубликованные на прошлой неделе. «Похоже, методом отбора в машинном обучении является случайный лес», — написал в своем анализе опубликованных документов адъюнкт-профессор Университетского колледжа Лондона Джордж Дейнезис (George Danezis), специализирующийся на вопросах безопасности и конфиденциальности информации.

В методе случайного леса используются случайные подпространства учебных данных, чтобы создавать «лес» из «решающих деревьев». Затем выводятся средние показатели по прогнозам отдельных деревьев, после чего они комбинируются. Алгоритм SKYNET берет 80 характеристик каждого сотового пользователя и назначает им шкалы баллов — как в фильтре спама.

После этого SKYNET отбирает пороговое значение, и превышающий его пользователь попадает в категорию «террорист». На слайдах представлены результаты анализа, когда порог установлен на 50% ложно негативных заключений. При таком показателе половина людей, которых следует считать «террористами», заносятся вместо этого в категорию невиновных, дабы количество ложно позитивных заключений (это когда невиновного относят к террористам) было как можно меньше.

Ложно позитивные

Безусловно, мы не можем быть уверены в том, что выбранный для презентации показатель в 50% ложно негативных заключений — это тот самый порог, на основе которого составляются расстрельные списки. Но так или иначе, остается нерешенной проблема: что делать с ложно позитивными невиновными людьми?

«Они делают это, — объясняет Болл, — потому что чем меньше у них ложно негативных заключений, тем больше ложно позитивных. Здесь нет симметрии: истинно негативных заключений так много, что понижая порог для уменьшения ложно негативных заключений на 1, мы признаем появление многих тысяч дополнительных ложно позитивных заключений. Так и принимается решение».

На одном из слайдов хвастливо заявлено: «Статистические алгоритмы способны находить курьеров при очень низком показателе ложных тревог, если нам будет позволено пропускать половину из них».

Но насколько низок этот «очень низкий показатель»?

«Полное дерьмо»

Проблема состоит в том, говорит Болл, как АНБ обучает алгоритм при помощи контрольных данных.

АНБ оценивает программу SKYNET, используя подмножество из 100 тысяч случайно отобранных людей (их определяют по паре MSIDN/MSI /сопоставленный SIM-карте телефонный номер абонента / идентификатор мобильной станции/ на их мобильных телефонах) и известную группу из семи террористов. Затем АНБ обучает алгоритм, вводя туда данные о шести террористах и ставя SKYNET задачу найти седьмого. Эти данные дают проценты по ложно позитивным заключениям.

«Во-первых, в мире очень мало „известных террористов“, чтобы использовать их для обучения и проверки модели, — сказал Болл. — Если они используют одни и те же записи для обучения модели и для ее тестирования, их оценка соответствия превращается в полное дерьмо. Обычная практика состоит в том, чтобы не включать часть данных в процесс обучения, и тогда в проверку можно будет включить записи, которые модель никогда прежде не видела. Без такой меры их оценка совпадения по классификационным признакам будет абсурдно оптимистичной».

Все дело в том, что 100 тысяч граждан отобраны случайно, а семеро террористов взяты из известного кластера. При случайном отборе крошечного подмножества, составляющего менее 0,1% от всего населения, плотность социального графа граждан очень сильно снижается, а «террористический» кластер остается тесно взаимосвязанным. Чтобы статистический анализ был научно обоснованным, АНБ должно включать террористов в население до случайного отбора подмножества. А это непрактично из-за их ничтожного количества.

Это может показаться чисто научной проблемой, однако, по словам Болла, в действительности это очень сильно сказывается на качестве результатов, а тем самым, на точности классификации и выявлении «террористов» для их последующей ликвидации. В данном случае качество оценки особенно важно, так как известно, что метод случайного леса переучивает обучающие множества, давая неоправданно оптимистичные результаты. Таким образом, анализ АНБ не является четким индикатором качества данного метода.

Если 50% ложно негативных, то есть реальных «террористов» позволить жить, ложно позитивный показатель АНБ в 0,18% все равно будет означать тысячи невинных людей, которых ошибочно заносят в разряд «террористов» и могут убить. Даже самый оптимистичный результат АНБ, а это 0,008% ложно позитивных заключений, все равно приведет к гибели многих мирных граждан.

«На слайде с показателями ложно позитивных заключений следует отметить последнюю строчку. Так говорится: »+ привязочный отбор«, — рассказал Дейнезис. — Это ключевой момент, и об этих цифрах не сообщается… если применить классификатор с ложно позитивным показателем 0,18% к населению 55 миллионов человек, мы наверняка убьем тысячи ни в чем не повинных людей. [0,18% от 55 миллионов = 99 тысяч человек.] А если применять его к населению, где мы и без того уже ждем высоких показателей по «терроризму», потому что эти люди, скажем, живут в двух шагах от интересующих нас личностей, то априорная вероятность вырастет, и мы убьем еще больше невиновных«.

Существуют вполне очевидные возражения по поводу того, какой показатель убийства невинных людей допустим. Но здесь также возникает исходная посылка о том, что террористов много. «Мы знаем, что доля „настоящих террористов“ в соотношении с общей численностью населения очень мала, — отметил Болл. — Как говорит Кори Доктороу (Cory Doctorow) (канадский писатель, журналист и философ — прим. пер.), если бы это было не так, то мы все сегодня были бы уже мертвы. Следовательно, низкий показатель ложно позитивных заключений ведет к ошибкам в идентификации людей в качестве террористов».

«Есть еще более важный момент, — добавил Болл. — В этой модели мы полностью упускаем из виду тех „настоящих террористов“, которые статистически отличаются от других „настоящих террористов“, используемых для обучения модели».

В большинстве случаев показатель ошибок в 0,008% значит очень много…

В обычном коммерческом приложении показатель ложно позитивных заключений в 0,008%это ничтожно мало. Это вполне приемлемо, так как следствием здесь станет то, что рекламу покажут не тому человеку, или с кого-то по ошибке возьмут больше денег. Однако 0,008% населения Пакистана это 15 тысяч человек, и эти люди могут быть по ошибке занесены в разряд «террористов», а следовательно, по ним могут нанести удар военные. И это не говоря уже о жертвах среди невинных посторонних лиц, которые могут оказаться поблизости.

С этим согласен авторитетный специалист по безопасности Брюс Шнейер (Bruce Schneier). «Государство использует большие данные совсем не так, как корпорации, — говорит он. — Потребность в точности указывает на то, что та же самая технология здесь не работает. Если ошибку сделает Google, люди увидят рекламу машины, которую они не хотят покупать. Если ошибку сделает государство, оно убьет ни в чем не повинных людей».

Убивать гражданское население запрещает Женевская конвенция, которую подписали Соединенные Штаты. Но многие факты, касающиеся программы SKYNET, остаются неизвестными. Например, является ли SKYNET замкнутой системой, работающей без вмешательства человека, или аналитики просматривают профиль каждого абонента сотовой связи, прежде чем приговорить его к смерти на основе метаданных? Предпринимаются ли попытки схватить подозреваемых в терроризме и привлечь их к суду? Как американское правительство может быть уверено в том, что оно не убивает невиновных, если в алгоритме машинного обучения, готовящем данные для расстрельных списков, есть очевидные изъяны?

«Вопрос о том, является ли использование SKYNET военным преступлением, я адресую юристам — сказал Болл. — Это ненаучно, я в этом чертовски уверен, потому что такая классификация изначально является вероятностной. Если ты собираешься осудить кого-то на смерть, то здесь необходимо применять стандарт „без доли обоснованного сомнения“. Но когда мы ведем речь о пороговых значениях, баллах и „вероятных террористах“, этот стандарт не соблюдается абсолютно. При этом у меня вызывает сомнение даже то, что классификатор вообще работает, так как у нас просто нет достаточного количества известных террористов, чтобы правильно строить на них модель случайного леса».

Утечки информации из АНБ наглядно свидетельствуют о том, что на тысячи невинных людей навешены ярлыки террористов, и мы не знаем, что происходит потом. У нас нет полной картины, а АНБ вряд ли станет заполнять ради нас пробелы. (Мы неоднократно обращались в агентство за комментариями по этим вопросам, однако не получили оттуда ответа.)

Нашими жизнями все чаще управляют алгоритмы. Логику SKYNET, применяемую для поиска террористов в Пакистане, легко можно перенести внутрь нашей страны, чтобы искать «наркоторговцев», «протестующих» или просто тех, кто не согласен с государством. Убийства людей на основе метаданных можно легко и просто игнорировать, когда они совершаются очень далеко и в чужой стране. Но что будет, когда SKYNET применят против нас — если это уже не произошло?