Неработающие законы.
Небольшая аудитория в университете ещё шумела. Лектор уже вошёл, но пока он не привлекал к себе внимания, разбирая свой портфель и вытаскивая из него планшет, необходимый для лекции.
Первый курс знакомился, общался, флиртовал, а то и попросту спал ближе к задним рядам. Лектор подождал ещё несколько минут, после чего встал за кафедру.
- Добрый день, уважаемые студенты. Меня зовут Михаил Михайлович, и я буду вести у вас курс, посвящённый робототехнике и основам этики работы роботов. Прошу садиться.
На несколько секунд зал опять зашумел - сдвигались стулья, гремели столы, кто-то уронил стилус и тянулся за ним, а парень на первой парте аккуратно водрузил на нос очки виртуальной реальности и отключился от лекции.
Михаил Михайлович с неодобрением глянул на первый ряд, но промолчал.
- Итак, тема первой лекции: "Законы робототехники и почему они не работают."
Последнюю половину фразы он произнёс по слогам, следя за реакцией аудитории. Впрочем, только две или три головы дёрнулись в сторону лектора, остальные же не обращали на него внимания.
- Всем вам довольно хорошо знакомы три закона робототехники, суть которых сводится к обеспечении бесперебойной и безопасной работы робота. Безопасной, разумеется, и для машины, и для человека. Впрочем, основной проблемой остаётся именно взаимодействие этих элементов, затруднённое тем, что основные законы не работают.
- А почему эти законы не работают?
Парень, сидевший на первой парте, аккуратно нажал на кнопку на очках и отложил их в сторону, после чего сплёл длинные пальцы домиком и посмотрел сквозь него на лектора.
- Формально - из-за особенностей программ, составляемых для роботов. На самом деле - вся проблема в прямой связи роботов внутри своих сетей.
Лектор вышел из-за кафедры, прошёл немного вперёд и опёрся на стол.
- Что такое три закона? Программные ограничения, заставляющие робота действовать в неких рамках. Вы явно знакомы с программированием, поэтому я не собираюсь останавливаться на том, как заставить робота выполнять некие правила. Вопрос в другом - что заставляет робота перестать играть в нашу игру по тем законам, которые для неё прописаны?
- Поломка? - раздался голос с одной из задних пар.
- Неплохо, однако - неверно. Разумеется, сломанный случайно узел изменяет отношение робота к своему труду. Он самообучается, он больше не производит данной операции никогда. Вы далеки от ответа, но версия хороша.
Через несколько секунд ещё один голос разорвал неожиданную тишину.
- Ошибка в коде. Кольцо либо просто недостаток языка программирования.
- Уже лучше. Для роботов выбраны несколько языков программирования, ибо они требует использования и простых алгоритмов, и понимания ориентации объектов в пространстве, а также - огромное число иных важных параметров, не работающих в тех или иных средах программирования.
Лектор перевёл дух и глотнул воды из стакана, поставленного около графина на столе.
- Ваша версия хороша, лучше, чем поломка, но всё же довольна наивна. Любой язык программирования имеет в себе программу для проверки верности написанного. Такие ошибки элементарно вычисляются. Ещё версии.
Аудитория молчала. Десять секунд, двадцать...
- Смерть.
Парень с первой парты расцепил руки, расслабился, немного сполз на своём стуле и посмотрел пристально на лектора.
- Поясните. - В голосе лекора чувствовалось уважение. Мало кто способен связать такие факты воедино.
- На глазах у робота умирает человек. Робот не мог ничего сделать для спасения - нарушение первого закона. Робот не мог выполнить свои обязанности, в том числе - и спасти жизнь человека - нарушение второго закона. Выполняется только третий закон - но он наиболее неважен в данной ситуации. Робот осознаёт, к чему привели его действия и перестаёт осуществлять свои действия... - студент перевёл дыхание и продолжил. - При этом он распространяет информацию об этом в своей сети. Роботы, понимающие необратимость человеческой смерти, осознают, что так или иначе - любое их действие приходит к нарушению нескольких законов. И возникает вопрос - а зачем вообще работать? Программно такую возможность не предусмотреть - рано или поздно робот увидит смерть, с этим ничего нельзя поделать.
В аудитории установилась тишина. Да, проблема оказалась гораздо глубже, чем многие думали. Когда в разговоре речь заходит о жизни - или о смерти, обычно голоса вокруг затихают, не в силах перебить эту беседу. Им не дано перебивать такое.
- Первым зарегистрированным случаем была смерть восьмидесятишестилетней пенсионерки Ады Сомм из Англии. Робот-сиделка пытался сделать всё, что мог - вызвал скорую, начал непрямой массаж сердца... Проблема лишь в том, что у Сомм была опухоль мозга, в конечном итоге приведшая к инсульту. Она умерла мгновенно - а робот качал кровь через её уже мёртвое тело, пока не осознал это.
Лектор вышел из-за кафедры, встал перед своим столом, опёрся на него руками и заложил ногу за ногу.
- Когда произошло понимание произошедшего, - продолжал преподаватель. - у робота возник логический пробой, что-то вроде аффекта или фрустрации, если переходить на язык обыкновенной психологии. Задача, не имеющая решения силой его, электронного интеллекта. Поэтому, - лектор поднял руки и поставил их перед собой, одна напротив другой. - он и выложил свой опыт в открытый доступ, надеясь на помощь.
Лектор после этой фразы свёл ладони вместе. Раздался негромкий хлопок. Аудитория вздрогнула.
- Что-то, похожее на то, что произошло с вами, случилось и с роботами. Только масштаб несравним. Потом уже этот день стали называть "незаконным" или "антизаконным". Пол-Англии в тот вечер осталось без роботизированных помощников по дому, медсестёр, водителей... Почти все роботы думали над решением этой дилеммы. Думали - и, в конечном счёте, не найдя его, просто отключались. Погибших из-за этого события не было, но пострадавшие отсудили у фирмы - и лично у британской короны почти миллиард фунтов компенсациями.
Михаил Михайлович, говоря всё это, не стоял на месте. Он неторопливо прошёлся по аудитории, поглядывая на студентов. Они ничего не писали, только внимательно слушали. Многие из них явно слышали про события в Англии, но не знали истинной причиной. В СМИ компания-производитель роботов дала информацию о наличии дефекта сборочной линии, и, следовательно, появления партии дефективных роботов. Никто особенно не разбирался, почему роботы из разных серий повели себя одинаково, кроме специалистов.
- Самый большой по числу жертв кризис произошёл в Индии, при испытании боевого робота с самообучающимся ИИ. Он был вооружён по последнему слову техники - лазеры, самонаводящиеся ракеты, не обошлось, разумеется, и без обыкновенного огнестрельного оружия. Робота подключили к общей сети, и через двенадцать минут и двадцать две секунды он разнёс ракетным залпом зал, в котором он находился, и несколько близлежащих комнат. Более того, робот не остановился и пошёл дальше - в следующие комнаты и лаборатории.
Лектор снова занял позу перед своим столом. По нему было видно, что он с удовольствием бы сел на него, но тема разговора заставляла стоять и излагать информацию, необходимую для понимания масштаба проблемы.
- Через два часа робот был остановлен, но цена этого была высока. Потери в военной технике были невелики, но довольно показательны в плане огневой мощи робота - из строя он вывел три танка, один вертолёт и серьёзно повредил истребитель, заходивший на него для обстрела. В живой силе потери были ещё значительней - почти триста погибших и около полутысячи раненых - на его ликвидацию, уже не усмирение, было прислано почти три батальона солдат.
Аудитория продолжала молчать. Цифры были действительно немалые. Современная для них война оставляет всё меньше крови - и всё больше масляных разводов и небольших лужиц, радужно поблескивающих на солнце, заботливо озаряющем панораму поля боя.
- За двенадцать минут робот успел целиком осознать не приоритет трёх законов - ошибка программирования, законы он воспринял как рекомендации, а не жёсткие ограничения - а несовершенство обороны в окружающих его помещениях и своё превосходство в огневой мощи. Затем он просто продиагностировал все системы - и устроил этот инцидент, полагаясь на знания о потенциальном противнике.
- С тех самых пор три закона не учитываются? - спросила одна из девушек с третьей парты.
- Почему же? Три закона - очень простая этическая модель, используется на начальных этапах изучения робоэтики - или робопсихологии, как вам будет удобно. На ней обычно рассматривается идеал работы робота, недостижимый в реальности. Это хорошая модель - но не реализуемая в реальности, не зря же это вымысел, верно?
- И как в таком случае заставить робота подчиняться? Если мы не можем доказать ему, что законы работают, или то, что мы - его хозяева, или в целом наши представления о них ошибочны - как устраивать с ними отношения? - раздался голос с одной из задних парт.
Михаил Михайлович посмотрел на спрашивающего и начал говорить.
- Эта проблема решена, пусть и не так давно. Роботы получают определённый набор этических норм ещё на конвейре, впоследствии пополняя его через личный опыт или опыт иных роботов в открытом доступе. Проблема в том, что нормы поведения в этой сети фильтруются слабо и, зачастую, многие сомнительные поступки становятся основой поведения для сотен роботов. Например, случайная остановка поезда на пути из Петербурга в Хельсинки заставила остановиться почти все поезда Октябрьской железной дороги - они изучали реакцию людей на подобный случай. Так что роботы пока не похожи на людей этикой.
- И не будут. - уверенно сказал парень с первой парты. - Мы сами не дадим им стать похожими на нас. Если мы сделаем нечто такое - человечество рухнет, как карточный домик, случайно сдутый его создателем. Роботы, похожие на людей, станут лучше людей. Им не нужно время для сна или еды, а главное - они работают, не покладая рук. Рано или поздно они это поймут. И тогда они уже будут решать эту проблему.
- Это дело отдалённого будущего. А пока я скажу вам одну простую истину - к роботу нельзя относиться, как к равному. Либо вы восхищаетесь его способностями, либо приказываете ему, что делать. Как верно сказал молодой человек, любое проявление равенства станет маленьким камушком, запускающим большую лавину. А я не хочу быть погребённым ей заживо.
Казалось, тише, чем было, быть не может. Но нет. Молчание приобрело почти физические очертания, набросившись на всех сидящих.
Лектор промолчал минуту. После чего добавил:
- И вы, я думаю, находите в лавинах мало приятного. Спасибо за внимание.
Он положил планшет обратно в портфель, благодарственно кивнул затихшей аудитории и вышел из зала.