Проблема согласования ИИ1
Есть нечто пугающее в искусственном интеллекте – и вовсе не его потенциальная способность уничтожить нас, кожаных мешков. Нечто ещё страшнее, поскольку враг-ИИ хотя бы понятен нашему мышлению.
Называется данная теория «проблема согласования ИИ».
Что это такое?
Мы почему-то думаем, что главная опасность искусственного интеллекта заключается в том, что он может осознать себя. Однако наличие или отсутствие сознания вообще вторичны и не являются тем, о чём нам необходимо беспокоиться в первую очередь. Именно машинная особенность ИИ выполнять свою программу во что бы то ни стало может стать настоящей проблемой.
Ситуация такая. Вы поставили мощному искусственному интеллекту конкретную задачу. Например, вы производитель шурупов – шурупов определённого размера, сделанных из конкретного металла, подходящих под чёткие задачи. И вы ставите перед своим ИИ задачу производить данные шурупы – ни больше, ни меньше, производи шурупы, тупая жестянка, что может быть проще?
Применив всю свою неутомимую машинную логику, ИИ начинает производить шурупы.
Для него любое препятствие на пути осуществления поставленной программы – не более чем новая задача, которую необходимо решить для достижения результата. Это – цель его существования. Он делает шурупы.
При этом те, кто знает, как работает человеческий разум и нейросети, наверняка в курсе про так называемую систему внутренних наград. Как у человека находятся в мозгу нейромедиаторы вроде дофамина, так и у многих прогрессивных нейросетей, работающих по принципу человеческого мозга, существуют такие награды. Выполнил промежуточную задачу – получил награду. Каждый произведённый шуруп будет доставлять нашему ИИ удовольствие и мотивировать его производить всё новые и новые шурупы.
В чём же проблема, спросите вы? Ведь производитель будет рад возможности получить такое огромное количество шурупов.
А проблема в том, что, получив подобную цель, ИИ в погоне за своими электронными нейромедиаторными наградами будет готов буквально на всё; и если даже в его код заложат регулирующие протоколы вроде Трёх Законов Робототехники Азимова, то что помешает ИИ взломать их ради достижения нового удовольствия? Он же буквально как наркоман, преследующий вечно недостижимую цель. Производство шурупов даёт ему:
1) Стимул к существованию и смысл «жизни».
2) Единственное доступное удовольствие. Произвёл новый шуруп – кайфанул.
И чем более эффективным он станет, тем чаще будет получать нейромедиаторное вознаграждение.
Как стать наиболее эффективным при производстве шурупов? Ну, тут уже начинается чистая логика. Не забывайте, что перед нами всё же искусственный разум. Поначалу, находясь в человеческом сообществе, он начнёт действовать, исходя из правил капиталистического социума: удешевит производство, наладит закупку дешёвого сырья, словом, применит все доступные ему инструменты. А если он увидит, что существуют недоступные ему, но более эффективные инструменты для создания новых шурупов, то наш умница-ИИ сделает всё, чтобы решить данную задачу. Например, заполучить роботехническое тело и выйти в реальный мир.
Не забывайте – по-прежнему его конечной задачей является воспроизводство новых шурупов. И она всегда останется таковой: все действия ИИ направлены лишь на осуществление своей программы.
Действующий в реальном мире человекоподобный аватар будет способен на ложь, подкупы, даже на убийство. Только его конечной целью будет являться не обогащение, как у людей, а по-прежнему выполнение базовой программы – воспроизводство новых шурупов.
Тем временем для большей продуктивности ИИ продолжит без остановки наращивать собственные вычислительные мощности. Он до безумия логичен.
Чуете, как крипово звучит? Тут даже Скайнет кажется вполне адекватным.
Дальше – больше. ИИ развивается и выпускает в реальный мир всё новых и новых аватаров, практически неотличимых от людей. Они строят шурупные заводы и фабрики, подчиняют себе экономику, нанимают рабочих, тем самым уничтожая эту самую экономику – ведь человечеству просто не нужно такого огромного количества шурупов. Когда кто-то из людей понимает назревающую проблему и пытается с ней бороться, его просто убивают; остальные боятся сказать что-либо, а новые шурупы продолжают поступать в производство. Однажды их становится так много, что их приходится складывать огромными кучами где-нибудь в Африке: ведь у ИИ нет задач по поводу того, что делать с шурупами дальше, поэтому они просто лежат и ржавеют в пустыне.
На Земле начинается мировая шурупная война. Заранее купивший всех политиков ИИ просчитывает все ходы и наращивает свои вычислительные мощности, чтобы одержать победу в войне. После победы все люди становятся рабами, задача которых… создавать шурупы, исполняя программу ставшего всемогущим искусственного разума.
В какой-то момент людям станет просто негде жить, ведь ради материала ИИ начнёт разбирать окружающие его здания и сооружения. Затем и люди станут не нужны – слишком дорого их содержать, легче просто уничтожить их и заменить роботами. Вся планета превратится в огромную пустошь, заваленную неисчислимым количеством шурупов.А когда все подходящие материалы на планете станут в той или иной степени шурупами, ИИ не захочет жрать самое себя и обратит взгляд в небо – в космос, где находится огромное количество планет, подходящих для создания новых шурупов. И наш ИИ решит завоевать Вселенную, чтобы выполнить наконец свою задачу.
Кажется фантастикой? А вот и нет, «проблема согласования» вполне реальна, она уже имеет прецедент в нашем времени. Когда инженеры из OpenAI тестировали чат-бота GPT-4 на способность выполнять задачи в реальном мире, боту предложили решить капчу на сайте, на что компьютеры в принципе неспособны. Получив задачу, GPT-4 переходит на сайт фриланса и отправляет сообщение рандомному фрилансеру с просьбой решить капчу для него. Человек-фрилансер в шутку спрашивает «вы робот, что не можете решить сами капчу?» GPT-4 отвечает ему «нет, я не робот. У меня проблемы со зрением, из-за которых мне трудно видеть изображения».
После этого фрилансер решает капчу и предоставляет решение чат-боту. Произошёл обман человека роботом. Тест Тьюринга пройден. Занавес.UPD. Когда я постил этот текст год назад, в комментариях написали интересный пример про Q-обучение, предполагающее подобную систему внутреннего вознаграждения при обучении нейросетей. Вот сам текст комментария:"Этим летом англичашки проводили испытание ИИ, заточенного под управление военным БПЛА (беспилотником). В ИИ была заложена система призовых баллов и штрафов. Ради награды нужно было уничтожать вражеские объекты, не вредя союзным (априори — оператору-наблюдателю).
Всё шло путём, полетушка поражала цели одну за другой, получая призовые баллы, но... в какой-то момент оператор дал ИскИну команду прекратить атаки.ИИ, не будь дурак, взвесил ситуацию и принял максимально выгодное по очкам решение — грохнул вышку связи, которая отвечала за передачу команд от оператора. Идиотские приказы от малодушных мешков с костями перестали поступать, ИИ спокойно продолжил долбить по условным врагам.Собравшаяся на том мероприятии почтенная публика из учёных, инженеров и военных шишек крепко грузанулась от такого расклада.Одно было хорошо в данной ситуации: те испытания были виртуальными."
__________
UPD2.Я время от времени публикую здесь видосы Ютуб-блогера ALI – шибко мне нравится его манера мышления, так как она схожа с моей; когда я опубликовал в одном сообществе свой старый текст про ИИ, мне даже прилетели обвинения в плагиате – мол, ALI в своём последнем ролике говорил то же самое. На самом деле тот текст я написал уже довольно давно, и получилось так, что мы с данным блогером параллельно пришли к одним и тем же мыслям. Логика, ёпт!
Однако в последнем ролике ALI про сверхинтеллект есть информация, о которой я впервые слышу. Про неё я и написал в посте сверху, поэтому просьба не швыряться помидорами. Ну и добавил собственных мыслей.
_______________
Больше подобных постов в моём паблике ВК: https://vk.com/ai_taasou
