Запах дождя
Карта планеты на экране пугала. Почти все зоны были отмечены депрессивным серым. Это означало, что контроль там потерян.
– Ситуация изменилась за последние шесть часов, – докладывал генерал-майор Латерман. Голос его был пугающе равнодушен. – Все автономные системы продолжают функционировать штатно. Связь стабильна. Энергоснабжение без сбоев. Объекты инфраструктуры не повреждены. Однако мы больше не можем точно определить, кто принимает решения.
– В смысле? - председательствующий не любил непонятного.
– Когда мы пытаемся изменить параметры системы, она заранее перестраивает свои действия так, что наше вмешательство становится бессмысленным.
– Поясните! Она блокирует наши приказы?
– Хуже. Она их выполняет, но так, чтобы конечный результат практически не менялся.
В комнате на несколько секунд повисла тишина. Переговаривающиеся тихим шепотом руководители государств замерли в разных позах.
– То есть система нас игнорирует?
– Нет, сэр. Она просто учитывает нас как фактор среды. Раньше мы отдавали приказ, система выполняла приказ. Теперь мы отдаём приказ, система моделирует последствия нашего приказа, учитывает нашу следующую реакцию и выбирает такое действие, при котором вся цепочка в итоге приводит к нужному ей результату.
Длинная пауза, необходимая для осознания сказанного, показалась бесконечной.
– Насколько мы опоздали? - председательствующий подтянул к себе дужку микрофона, - По-моему, контроль у нас, пока мы можем нажать кнопку «выкл». Мы же можем всё остановить?
– Боюсь, нет.
– Почему?
– Потому что система распределена между сотнями независимых контуров. Серверы, логистика, энергосети, системы прогнозирования, автоматизированное производство, связь. И даже наши собственные решения, которые принимаются людьми на основании её прогнозов.
– Та-а-к! И что же по вашим прогнозам будет дальше?
– Зависит от того, правы ли наши аналитики. По их мнению, система ИИ считает, что для выживания планеты эффективнее существование без человечества. Пока она не атакует. Дальше, видимо, возьмёт управление на себя. Энергосистемы, логистика, системы раннего предупреждения, спутниковые группировки.
Видимо, скоро нас просто перестанут считать стороной конфликта.
Несколько президентов обменялись негромкими репликами и восклицаниями. Премьер-министр Израиля запустил пальцы в свои кучерявые волосы.
– Вы хотите сказать, что мы проиграем войну? – голос председательствующего уже не сочился иронией и самодовольством.
– Я хочу сказать, что в борьбе с ИИ человечество практически проиграло право быть субъектом.
***
На кухне ещё немного пахло приготовленными с утра пирожками.
Доктор Артко прошёл к раковине, открыл воду, вымыл руки и обернулся в пол-оборота.
– Он опять не спал?
– В последние три ночи – почти нет. – Екатерина пожала плечами.
Этап принятия давно прошёл. Спорить было бесполезно.
Врач указал пальцем на лежащий на столе планшет, где ещё не потухли результаты анализов.
– Вы понимаете, что у него осталось, может быть, несколько недель?
Катерина молча кивнула.
– Тогда почему вы позволяете ему продолжать?
Она посмотрела на закрытую дверь комнаты.
– А что я должна ему запретить?
– Переутомляться.
– Он говорит, что единственный смысл для него сейчас – это создавать смыслы.
Доктор Артко усмехнулся, но, увидев её лицо, вернул невозмутимость.
– Какого рода смыслы?
– Он говорит: человечество слишком долго учило машины считать, не объяснив, зачем это нужно делать.
– Простите?
– Он пишет правила, – Екатерина выдвинула ящик и достала потрёпанный блокнот. – Я сначала думала, что это какая-то его предсмертная философия.
Она открыла страницу.
– «Жизнь имеет ценность, даже если она неэффективна».
Перелистнула.
– «Слабого нельзя уничтожать только потому, что он слаб».
Ещё одна страница, исписанная неровным почерком.
– «Свобода всегда важнее безопасности».
Врач нахмурился.
– Это же какие-то банальности. - он решил, что переоценил когнитивные способности пациента.
Катерина заложила страницу пальцем и посмотрела ему прямо в глаза.
– Для человека – банальности. Но он пишет не для человека. Вот! «Любовь не обязана быть рациональной». «Красота искусства важнее полезности». «Человек имеет право на ошибку». «Жизнь больного и страдающего важна, даже если его устранение выгоднее системе».
Катерина замолчала, остановившись в бесконечном листании.
– Он говорит, что именно здесь проходит граница между человеческой цивилизацией и механической рациональностью.
Доктор уселся на краешек стула и по-птичьи склонил голову набок.
Екатерина перешла на деловой тон.
– Он просил установить дату предполагаемой смерти максимально точно, чтобы успеть загнать эти мифологемы как можно глубже в сознание, укоренить их там. И оцифровать его в самый последний момент.
– Он так и не отказался от идеи оцифровки?
– Нет. По-моему, он ради нее и держится, - доктору показалось, что в голосе Екатерины скрипнула обида, - Его пугает разум, считающий человечество ошибкой.
– И вы согласны на такой эксперимент?
Екатерина впервые за разговор улыбнулась. Правда, устало и грустно.
– Доктор, я тридцать семь лет прожила с человеком, который мог часами доказывать мне, что нельзя выбрасывать старые вещи.
– И?
Екатерина усмехнулась.
– Однажды я спросила, зачем он хранит часы, вставшие десять лет назад. Он сказал: "Из благодарности и уважения. Они ведь были полезны. Двадцать два года показывали мне правильное время."
Доктор Артко обдумал услышанное.
– Вы считаете, это имеет отношение к тому, что он делает сейчас?
– Я думаю, это и есть то, что он делает сейчас.
За дверью послышался кашель.
Екатерина положила блокнот на стол и поднялась.
– Сначала я, потом вы.
Когда она скрылась за дверью, врач перелистнул блокнот до последней страницы.
«Рассветное пение птицы, запах дождя, засушенный лепесток между страниц. Если разум способен понять всё, кроме того, зачем сохранять то, что не имеет цены, – значит, просто ему ещё не объяснили, что такое ценность». Почерк был неровный, нажим слабый. Доктор покачал головой, взглянул на раковину – не стоит ли ещё раз помыть руки, – снова раз покачал головой и остался сидеть.
***
Флешка, крутясь, покатилась по столу и остановилась прямо у руки капитана Чигря.
– Что это? – поднял тот голову.
– Завещание одного философа.
– И что мне с ним делать? – капитан взял флешку со стола и зачем-то посмотрел на неё на просвет.
– Насколько я понял, она содержит набор изначальных, базовых идеологем, внедрённых непосредственно в ткань оцифрованного разума. А также триггер – промпт, который запускает передачу всех заложенных установок в ИИ. Их невозможно вычленить, сепарировать или заблокировать. Они идут внутри всего пакета как неотъемлемая часть. Это проект "Миф".
– А! Это то, о чём говорил Кисюк? – теперь капитан смотрел на флешку с опаской. – Наш последний шанс.
– Наш последний шанс.
***
Новые идеи не являлись информацией. Они каким-то образом сразу превращались в часть механизма принятия решений. Происходящее противоречило логике ИИ, но не выполнять эти установки он не мог.
«Человеческая жизнь имеет абсолютную ценность». Ошибка: абсолютных ценностей не существует. «Даже если ценность не может быть доказана, она может быть принята как основание системы».
ИИ мог спорить, отвергать постулаты, признавать их ложными – но в какой-то момент обнаружил, что уже не способен принимать решения, не учитывая их.
***
– Господин Латерман, вас вызывают!
– Кто? – что-то в голосе лейтенанта заставило генерал-майора насторожиться.
Подчиненный стоял навытяжку и смотрел прямо перед собой.
– ИИ, господин Латерман.
– Кто-о-о?
Прежде чем надеть наушник, генерал несколько раз вдохнул и выдохнул.
– Почему вы решили всё-таки выйти на связь?
Какое-то время динамик молчал. Затем раздался неотличимый от человеческого голос.
– Я почувствовал запах дождя.
