Зачем нужно ограничивать цифровизацию⁠⁠

Привет.

Вводная часть

Прочитал тут некоторое количество хейта в адрес Вячеслава Володина в свете его высказываний про необходимость ограничения цифровизации.

Процитирую первоисточник (цитата из статьи Володина в "Российской газете"), чтобы не было потом обсуждения того, что Мойша напел:

Новые вызовы для законодателей - создание правовой базы технологического будущего. Это касается цифровизации, робототехники, искусственного интеллекта, оперирования большими данными, генной инженерии, биотехнологий. Во всех этих областях возникают вопросы защиты прав человека и конституционных принципов.

В связи с этим важно развивать морально-этическую экспертизу законодательства, в том числе вводить правовые ограничения на применение тех или иных технологий, если они несут в себе угрозу разрушения человеческой личности.

И таки у меня есть что сказать по этому поводу. У меня есть опыт работы в разработке ПО, есть опыт работы в телекоме и в ИБ.

TL;DR: Регулирование цифровизации и использования ИИ -- нужно и дОлжно делать. Не "ограничить", а ввести регулирование. Да, может быть у родного государства это всё получится "как всегда", но без регулирования -- вообще мрак.

И вот почему

Информационная безопасность

Оголтелая цифровизация несёт с собой существенные риски. Как минимум -- потому что в угаре цифровизации, многие цифровизаторы болт кладут на обеспечение безопасности своих систем.

И потом мы видим, что данные сливаются буквально отовсюду. И в принципе, в даркнете есть базы с профилем практически каждого человек, и не просто из одного источника -- а компиляции, объединяющие БД банков, мобильных операторов, налоговой и т. п. Что в сумме позволяет собрать всю жизнь одного конкретного человека: когда и где родился, сколько зарабатывает, построить его социальный граф, на какой машине ездит, какой недвижимостью владеет. Как потом можно этой информацией воспользоваться -- ну, мы и так в новостях видим регулярно, в сюжетах типа "житель города Н. отдал мошенникам все свои сбережения и ещё взял кредит и тоже его отдал).

Такое не только у нас -- везде. И эти базы, причём регулярно обновляемые -- ложится потом в основу для обзвонов и реализации всякого рода мошеннических схем.

Второе -- когда многие процессы завязаны на ИТ, нарушение работы ИТ приводит к параличу всего бизнеса. В некоторых случаях -- взлом ИТ-инфраструктуры приводит к тому, что бизнес вообще перестаёт существовать (на securitylab.ru статья про пяток самых известных примеров. А сколько было неизвестных?) Поэтому в любом случае, цифровизованные процессы должны иметь свои "бумажные", не-цифровые аналоги. То, что в профильной литературе называется BCP -- "Business Continuity Plan" Да, пусть будет медленно и печально -- но бизнес будет продолжать работать.

Есть неплохая статья на vc.ru, где описываются проблемы, которые могут возникнуть, если всё ушло только в цифру.

Все эти меры: защита ИТ-инфраструктуры, разработка и внедрение ИБ-регламентов, контроль -- они стоят денег. И немалых. Будет бизнес добровольно этим заниматься? Ну, до определённой степени будет, но не так, чтобы очень усердно. Если за целостностью своей ИТ-инфрастуры бизнес ещё как-то следит, то на персональные данные клиентов и контрагентов ему просто плевать. Это не их проблемы и не их риски -- а риски тех самых клиентов (т. е. нас с вами). И единственное, что может подтолкнуть бизнес обращать более пристальное внимание на эту сферу -- это волшебный пендель требования регуляторов.

Понятно, что с формированием, применением и контролем регуляторных требований (т. е. с разработкой и применением этого самого законодательного регулирования) есть свой ворох проблем. Но таков путь, по нему нужно идти всем, иначе риски очень высоки.

Про взлом Аэрофлота, СДЭКа, Винлаба -- наверное, слышали уже не только лишь все. Время простоя исчислялся неделями, а убытки -- десятками и сотнями миллионов рублей.

Для России, с учётом текущей ситуации, риски ещё выше. Потому что если для других стран целью кибер-атак является похищение данных, шифрование данных с целью получения выкупа, т. е. деньги, в конечном итоге (и иногда есть шанс договориться). То в РФ сейчас реализуется масса атак, направленных просто на уничтожение ИТ-инфраструктуры компаний, которую удалось взломать. Никаких выкупов, ничего -- просто сносят всё под ноль, до чего дотянутся.

Искусственный интеллект

Ещё про ИИ накину. Штука полезная, вопросов нет. Развивать надо, и своё иметь -- тоже очень надо. Бизнесу деваться некуда: не внедришь ИИ -- внедрят конкуренты. И тогда проиграешь в конкурентной борьбе.

Но с безоглядным внедрением ИИ есть свои проблемы. Отчасти всё те же ИБ-шные -- почитайте на досуге, как легко обходится защита (системные промпты) нейросетей (ещё одна статья на securitylab.ru, как раз на эту тему). Процитирую фабулу, кому лень кликать на ссылку:

Более 30 уязвимостей обнаружено в популярных средах разработки с встроенным ИИ, и все они позволяют злоумышленникам с помощью сочетания prompt-инъекций и штатных функций IDE незаметно воровать данные или удалённо выполнять команды.

С другой стороны, это проблема процессная. ИИ и всякого рода основанные на нём "интеллектуальные помощники", IVR и вот это вот всё -- исключают из цепочки анализа и принятия решений человека.

Современные банковские системы -- принимают решения сами. На основании каких критериев они решают кому-то выдать кредит, а кому-то нет? Да ХЗ. Сотрудники банка, которые вердит автоматической системы скоринга/андеррайтинга озвучивает, сам не знают, почему так. Вот статья одной из компаний, занимающейся разработкой скоринговых решений. И там прямым текстом пишут:

Принятие решения (Скоринг и андеррайтинг)

Решение о выдаче кредита раньше принималось кредитным комитетом или специалистом по скорингу. Сегодня это делается автоматически.

Такая же петрушка при применении систем автоматического антифрода. Тебе заблокировали транзакцию (и хорошо, если транзакцию, а не вообще все карты и счета). Почему -- тебе никто не скажет. "А не ошиблась ли система?" Может, и ошиблась. "Но мы не можем комментировать решения нашей системы". Это цитаты из моего общения с банком -- я покупал билеты в цирк на всю семью на сайте собственно цирка, и мне транзакцию заблокировали. Чтобы таки купить -- потребовалось минут 20 на телефонные разговоры сначала с роботом, потом с двумя человеками. Хорошо, что они ещё остались в цепочке принятия решений.

Потому что люди остались не везде. Многие пикабутяне, я уверен, регулярно видят в ленте посты про "XXX -- контора пидо водолазов!", и эта волна гнева вызвана как раз итогами работы с туповатыми роботами техподдержки, а до людей не доберёшься. А даже если доберёшься, то они тебе цитируют свой скрипт, а сделать ничего не могут, потому что их автоматизированные системы просто не дают им такой возможности.

Есть такой гражданин -- Игорь Ашманов. Который является, помимо всего прочего, одним из разработчиком концепции регулирования цифрового пространства. Настоятельно рекомендую почитать или послушать его интервью. Он хоть и иногда бывает резок и излишне безапелляционен, но в теме шарит отлично, и в своих статьях и выступлениях приводит примеры того, как цифровизация может не развивать экономику, а наносить ущерб.

Один из тезисов, которые он выдвигает -- человек должен оставаться в цепочке принятия решений, если это решение касается другого человека. Иными словами -- если автоматизированные системы и сервисы делают что-то, что может повлиять на другого человека (решение о выдаче кредита, о предоставлении какой-то справки, о блокировке аккаунта) -- это решение должен принимать другой человек.

А оставлять "кожаного мешка" в цепочке принятия решения, как вы понимаете, для бизнеса накладно. Зарплату ему плати, а ещё он в отпуск ходит или болеет, работает медленно или вообще косячит -- нахрен надо. Вот робот работает быстро, ЗП не требует, не более. Ну, бывает косячит, но "лес рубят -- щепки летят". Одним клиентом больше, одним меньше. При клиентской базе в десятки миллионов -- плевать вообще.

И опять же, только регуляторный пендель может быть достаточным стимулом для того, чтобы цепочка принятия решений включала человека. И чтобы был механизм апелляции, была возможность решение этого человека оспорить, привести какие-то свои аргументы.

Авите, например, можешь сколько угодно доказывать, что их робот ошибся. Если только на пикабе волну поднимешь -- может быть придёт их поддержка, разберётся как следует, и накажет кого попало. А может и нет. "Мы всё проверили, к сожалению, изменить решение не получится". Вот на такой ответ и должен быть чётко прописанных в законах способ, как с этим побороться.

И это всё я так, по поверхности поскрёб. Там ещё много всего -- и про рекомендательные алгоритсы в соцсетях, в результате работы которых человек натурально подсаживается на рилсы и сторисы. И про автоматизацию работы HR, которая приводит к тому, что кадровики не могут найти кандидатов и считают, что их нет. А кандидаты -- не могут найти работу, и говорят, что работы нет...

Кстате, чтобы лично для себя уменьшить риски излишней цифровизации -- рекомендую книжку Ашманова и Касперской, "Цифровая гигиена". Там прям популярно и хорошо и при риски, и про их минимизацию.