Кто решил, кого должна спасать/убивать беспилотная машина?
Тысячи беспилотных такси уже ездят по обычным городским улицам и возят реальных пассажиров.
У того же Waymo уже сотни миллионов миль полностью автономного пробега без водителя за рулём. И тут есть один вопрос, который почему-то почти всегда теряется в разговорах о безопасности беспилотников.
Что делает такая машина, когда аварии уже нельзя избежать? Вот конкретно в ту секунду, когда впереди человек, справа другой автомобиль, слева велосипедист, а остановиться уже невозможно. Куда она поедет?
Это старая проблема вагонетки, только раньше её обсуждали философы, а теперь эта вагонетка реально ездит по улицам. Обычно на этот вопрос компании отвечают примерно так:
“Машина минимизирует вред”.
Звучит разумно. Только это не ответ. Что значит “минимизировать вред”? Допустим, прямо почти наверняка будет тяжело травмирован один человек. Если свернуть, риск для него станет меньше, зато появится риск для трёх других. Что лучше? А если с одной стороны пассажир, а с другой пешеход? А если один нарушил правила?
А если можно с высокой вероятностью убить одного человека или создать меньший риск сразу для нескольких?
Как ни называй это решение, в какой-то момент машина обязана выбрать. Можно говорить про оценку риска, тяжесть последствий, стоимость траектории и что угодно ещё. Суть от этого не меняется. Машина выбирает один вариант из нескольких, и этот выбор меняет риск для конкретных людей.
Даже самое простое правило вроде “никогда не сворачивать, а только тормозить прямо” уже является вполне определённым решением. Оно означает, что система считает недопустимым переносить угрозу на другого человека, даже если такой манёвр мог бы уменьшить общий вред. То есть проблема никуда не делась. Её просто перевели с языка философии на язык алгоритмов.
Теперь про масштаб.
У Waymo показатель аварий с тяжёлыми травмами или хуже находится примерно на уровне 0,01 случая на миллион автономных миль. Это не смертность, а более широкая категория.
Но для мысленного эксперимента возьмём очень простую цифру:
одна смерть на 100 миллионов миль.
Теперь представим, что беспилотники выполняют 20 процентов всего автомобильного пробега США. Американский автопарк проходит примерно 3,3 триллиона миль в год. 20 процентов от этого примерно 660 миллиардов миль.
При нашей условной цифре получаем около 6600 смертей в год.Это не прогноз для Waymo и вообще не попытка доказать, что беспилотники опасны. Это просто показывает масштаб. Даже очень безопасная система при массовом внедрении неизбежно будет участвовать в большом количестве смертельных аварий.
И часть этих аварий будет происходить в ситуациях, где решение машины реально влияет на исход.Значит, кто-то должен заранее определить, что именно она должна делать. Когда продолжать тормозить прямо. Когда разрешено уйти в сторону.
Можно ли повысить риск для одного человека, чтобы снизить риск для другого. Должен ли пассажир иметь преимущество. Нужно ли учитывать количество людей. Можно ли учитывать нарушение правил.
Какие характеристики человека вообще допустимо принимать во внимание. И вот тут начинается самое странное. Специалисты прекрасно понимают эту проблему. Немецкая комиссия по этике автономного транспорта ещё несколько лет назад прямо писала, что выбор между человеческими жизнями нельзя превратить в простой универсальный алгоритм.
Нельзя, например, ранжировать людей по возрасту, полу или физическому состоянию. Нельзя просто сказать: тут один, там пять, значит давим одного. Но машина всё равно обязана что-то сделать. Она не может остановить развитие аварии отойти в сторону и сказать: “Этическая дилемма. Решение невозможно”. Руль в следующую миллисекунду всё равно должен повернуться на какой-то угол. Тормоз должен сработать с какой-то силой.
Из нескольких возможных действий будет выбрано одно. И если общество заранее не определило правила этого выбора, их фактически определяет производитель. Не обязательно напрямую. Никто не пишет в коде: “Если справа один человек, а слева трое, выбираем одного”.
Вместо этого есть сотни ограничений, приоритетов, коэффициентов, моделей риска и правил поведения. Но в конце вся эта система всё равно выдаёт одно конкретное действие. И вот совокупность этих правил и есть реальный ответ машины на проблему вагонетки.
Европа уже попыталась зафиксировать хотя бы часть таких принципов. Например, там прямо прописано, что нельзя считать жизнь пассажира важнее жизни человека снаружи автомобиля. Нельзя принимать решение на основании личных характеристик человека. Нужно учитывать уязвимость пешеходов и велосипедистов.
Это уже похоже на начало нормального общественного договора.Но только на начало.
Потому что тысячи конкретных конфликтов всё равно остаются без ясного публичного ответа. Один человек против двух. Пассажир против пешехода. Высокий риск одному против небольшого риска нескольким. Нарушитель против того, кто ничего не нарушал. Продолжение движения прямо против активного ухода в сторону.
А дорогах всё это уже ездит. Есть разрешения, проверки, отчёты об авариях, испытания, нормативы. Но у обычного человека нет простого документа, где было бы написано: “Вот правила, по которым автономная машина действует, когда вред уже неизбежен и любой вариант плохой”.
Я могу вообще никогда не пользоваться беспилотным такси. Я не клиент Waymo. Я не покупал Tesla. Я не соглашался ни с какими условиями. Я просто перехожу дорогу.
Но в какой-то момент закрытая система частной компании может принять решение, которое напрямую касается моего физического риска.
Вот это, по-моему, и есть главный казус. У человеческого водителя есть ПДД. Они публичны. Я могу их прочитать и примерно понимать, что другой участник дороги обязан делать. У беспилотника ПДД тоже есть. Но поверх них существует ещё один слой. Внутренняя логика принятия решений самой машины. И этот слой обычному человеку почти не виден.
Получается странная конструкция. По дороге общего пользования ездит автономная система, которая в критической ситуации действует по правилам, полностью известных только её создателям и, возможно, регулятору. При этом эти правила могут определять, кому именно достанется больший риск.
Мне кажется, тут всё поставили немного задом наперёд. Сначала должен был появиться публичный набор принципов. Такой же понятный и обязательный, как ПДД. А уже потом производители должны были строить машины, которые этим принципам соответствуют.
Какие риски допустимо переносить с одного человека на другого. Имеет ли пассажир особый приоритет. Можно ли учитывать количество людей. Можно ли учитывать виновность. Когда машина имеет право менять траекторию ради уменьшения вреда. Когда обязана продолжать тормозить прямо. Какие данные о человеке она вообще имеет право использовать.
Это не должно решаться внутри частной компании. Не потому, что там плохие инженеры. Просто это не их полномочие. Инженер может реализовать любое правило. Но само правило должно появиться не в исходном коде автомобиля, а раньше, на уровне общества и закона. Потому что речь идёт не о внутреннем устройстве чужого телефона.
Эта штука ездит рядом со мной по дороге.
И если она однажды окажется в ситуации, где любой вариант плохой, я имею право заранее знать, по каким правилам она будет выбирать.



