Беспредел уровня рисков в разработке общего ИИ⁠⁠1

Я разработчик машинного обучения в области компьютерного зрения. Я посвятил свою карьеру автоматизации, чтобы наша цивилизация могла пользоваться большим количеством благ, прикладывая меньшее количество усилий. Я писал алгоритмы обучения нейросетей, которые позволяют роботам доставщикам замечать детей и объезжать их. Я обучал нейросети ловить мошенников, подделывающих фотографии для банков и для маркетплейсов. Я писал алгоритмы, детектируюшие брак на заводах производства медицинских товаров. И вот как раз на одном из таких заводов я столкнулся с вполне стандартной бюрократией. Бла бла бла, надо думать о безопасности. И таблица, как это правильно делать. Суть таблицы сводилась к тому, что если изменение процесса производства вызывает уровень риска выше, чем 0.01% матожидания смертей в год, то такие изменения не допускаются. Да, при расчёте рисков приходится вводить допустимый уровень риска смерти. Убивать людей нельзя. Рисковать убийством людей - тоже нельзя. Но совсем без рисков обойтись невозможно. И вот этот самый порог расчётного количества смертей определён как 10^-4 в год. Это не только в той организации так, это в целом глобально по всей планете так, порог разный, где-то 10^-3, где-то строже это правило выполняется, где-то менее строго. Во многих странах это закреплено законодательно, например в Британии. Хотите построить гидроэлектростанцию? Перемножьте расчётную вероятность того, что она рухнет, на число людей в области затопления - и если ожидаемое число жертв в год выше 10^-4, то план строительства не будет одобрен - укрепляйте конструкцию. То же самое с атомными реакторами, и прочими конструкциями, создающими риски для населения. Конечно где-то проще закрыть на это глаза, где-то коррупция, где-то дешевле оплатить штраф, но общее направление такое.

А теперь общий искусственный интеллект. В науке нет консенсуса о том, насколько он безопасен. Теоретические изыскания о контроле сильного общего ИИ говорят об отсутствии способов гарантировать сохранение контроля. Я не стану расписывать всю логику теории контроля сильного ИИ в этом посте, хотя мне много чего есть сказать на этот счёт. Если будет интерес - напишу. Скажу лишь то, что больше половины респондентов среди исследователей искусственного интеллекта считают, что риск того, что сильный ИИ уничтожит человечество в ближайшие 100 лет превышает 5% https://aiimpacts.org/2022-expert-survey-on-progress-in-ai/ . Главы лабораторий оценивают этот риск в 10%-20%+ https://en.m.wikipedia.org/wiki/P(doom). И не стоит ориентироваться на цифру 100 лет - сильный общий искусственный интеллект появится гораздо раньше. Больше половины пользователей платформы предсказаний metaculus считают, что он появится до 2031 года https://www.metaculus.com/questions/5121/date-of-artificial-...

И вот всё это вызывает у меня вопрос. Кем возомнили себя разработчики общего искусственного интеллекта, что решили, что их индустриальная отрасль настолько важнее всех других отраслей, что они могут себе позволить превышать допустимые пределы подвергания окружающих опасности не в 2 раза, не в 10 раз и не в 1000 раз, а в триллион раз?