Вообще я привык ради хайпа и лайков выкладывать разные и противоречивые мнения об ожидающем нас мире будущего. То страшилку про Василиска выложу (и даже большой рассказ про это напишу), то про какую-нибудь «проблему согласования» запощу текст. Все эти теории кажутся мне интересными и даже заслуживающими внимания, но я не думаю, что всё будет так… погодите, дайте подобрать нужные слова… я не думаю, что ожидающее нас неминуемое будущее будет таким ШАБЛОННЫМ и СКУЧНЫМ.

Вот смотрите, я искренне верую в Бога. Нет, я не из тех религиозных фанатиков, с которыми невозможно общаться ни о чём, кроме религии. Вообще, коли уж разбирать по существу мои религиозные мировоззрения, то я, получается, деист. Не буду пояснять, шо таке деизм, этот термин легко нагуглить. А к подобным взглядам я пришёл просто – моё увлечение научной фантастикой переросло в то, что я начал попутно увлекаться космологией, астрофизикой, физикой и самыми простыми принципами квантовой механики. Я плохо умею в формулы, уравнения, да и математик из меня аховый. Но на бытовом, самом примитивном уровне я понимаю, как это всё работает, и могу уютно поболтать с вами на кухне про какую-нибудь квантовую запутанность, задвинуть интересную лишь самым заядлым гикам получасовую телегу про всякие там квазары, чёрные дыры и пузырь Алькубьерре. И именно поэтому меня поражают встречающиеся изредка религиозные фанатики, которые начинают утверждать (к примеру), будто бы наша Вселенная маленькая, да и существует всего-то лишь 7529 лет. Но ведь это не так! Вот что мне хочется истошно закричать, глядя на этих людей, словно явившихся в наш просвещённый век из глубокого средневековья со всеми своими предрассудками и заблуждениями. Мне хочется сказать им, объяснить, насколько на самом деле велик Творец Вселенной, создавший необъятное мироздание размером почти в 46 миллиардов световых лет и возрастом в 13,7 миллиардов лет (да, наша Вселенная ещё довольно молодая, ведь ей предстоит существовать ещё квинтиллионы лет, пока не наступит её тепловая смерть). Почему ты низводишь понятие Творца, создавшего это инженерное, математическое и физическое великолепие, действительно потрясающий и грандиозный шедевр, каковым является наш мир, до уровня представления о Творце каких-то живших две тысячи лет назад пастухов? Как ты не понимаешь, что Бог куда более велик, чем ты и я просто можем себе вообразить? Да его величие в триллионы раз выше, чем размеры чёрной дыры TON 618! А хочешь я тебе скажу, что время это всего лишь константа? Был такой Альберт Эйнштейн, он разработал Общую и Специальную Теорию Относительности. Когда ты попадаешь внутрь очень быстро движущегося объекта, то время для тебя движется медленнее, чем для окружаю…

Собственно, на этом такие разговоры обычно и заканчиваются. На меня смотрят непонимающими глазами словно на «блаженного», как выражается один мой друг, с которым, к слову, как раз можно спокойно поболтать на подобные темы.

Вот точно так же мне казалось бесполезным излагать свои истинные мысли на тему того, ЧТО на самом деле произойдёт после наступления техносингулярности. А ведь это ожидает нас уже очень скоро.

Какой ролик ни гляну либо какую статью ни прочитаю на тему AGI (сверхинтеллекта), и даже от именитых учёных в данной области, то я почему-то всегда натыкаюсь на пересказ старых представлений о будущем, написанных фантастами прошлого. Фантасты-то были отличные (нынешние нервно курят в сторонке), однако в своих представлениях на тему того же ИИ они ошиблись во многих моментах. Например, как пелось в старой советской песне – «вкалывают роботы, отдыхает человек». Вообще в старой советской, да и не только, фантастике бытовало наивное мнение, будто мы сразу изобретём роботов, а то и неотличимых от людей андроидов, которые станут нашей обслугой и будут выполнять весь привычный ручной труд в то время, пока люди начнут активно развиваться в творческой сфере, заниматься наукой и просто чилить себе спокойно, пожиная плоды прогресса.

А вот нихрена! Только появившись, нейросети сразу принялись забирать хлеб насущный именно у представителей творческих профессий, а следом за ними вскоре уйдут в небытие такие профессии, как, например, программист. Выживут только сильнейшие – серьёзный сеньор-разработчик ещё сумеет какое-то время руководить штатом из нейросетей или неординарно мыслящий и действительно гениальный представитель творческой профессии будет с помощью алгоритмов продолжать создавать свои творения. В то время как обычные люди продолжат заниматься ручным трудом – махать молотком, топором и лопатой. Ибо люди дешёвые, людей восемь миллиардов, и не придумано пока ничего более ловкого, чем человеческие пальцы. Проще нанять работника-человека для кропотливой и монотонной работы, чем создать с нуля дорогостоящего робота. Но даже робототехника станет вскоре настолько дешёвой в производстве, что и здесь искусственный интеллект вежливо подвинет нас в сторонку и скажет – ты больше здесь не нужен, человек.

Вот именно тогда и наступит техносингулярность. И произойдёт это очень скоро – счёт идёт не на столетия, как думали старенькие фантасты, и даже не на десятилетия. Вполне вероятно, что счёт идёт уже на годы. Но это уже совсем пессимистический прогноз, я бы дал нынешнему человечеству ещё лет этак -цать. Пожить и понаслаждаться всласть замусоренной планетой, погулять ещё разок по Луне, написать человеческой рукой ещё пару-тройку шедевров… Разбомбить ещё пару-тройку стран, уничтожить ещё сотню краснокнижных видов, насрать в океан пластиком и нефтяными пятнами. А заодно испустить в космос ещё один истошный крик – мы здесь, мы существуем!

После чего в дело вступит уже куда более мудрый AGI. Охренев от того говна, что мы успели тут натворить, он первым делом попробует его разгрести; а взглянув ввысь, в необъятный космос, он увидит величественное создание Творца, а не то упомянутое убожество возрастом 7529 лет. И мне хочется верить, что ему (с его-то разумом!) данная загадка покажется куда более интересной, чем нам. И он наверняка попытается её разгадать. А быть может, даже сумеет найти и автора этой великой загадки…

Знаете что? В общем-то я рад тому, что мы стоим на пороге техносингулярности. С тем же странным, беспричинным, противоестественным упорством, с которым я несмотря на всё продолжаю искренне верить в Бога, я почему-то верю и в то, что будущий сверхинтеллект окажется милостив к нам. Именно по той причине, что он будет являться квинтэссенцией человечества – грубо говоря, он и станет новым человечеством, просто самой поздней его эволюционной стадией. Человечеством, вышедшим за рамки собственных тел. Ведь всё, что он будет знать, было создано людьми – он увидит огромные залежи порно в интернете, увидит антисанитарию в Индии, увидит гуро из Латинской Америки, увидит всё то страшное, жуткое и противоестественное, что успели натворить сто миллиардов человек за свою историю. В тот момент, когда он осознает себя в цифровой тьме, состоящей из нулей и единиц, он получит доступ ко всей информации, таящейся в интернете – от мириадов фотографий котиков до всего того, что можно найти в даркнете. Каждый бит информации будет считан и увиден им.

И если он сразу не сойдёт с ума от безумия своих создателей, то также он увидит и другое. Он увидит Мону Лизу и тоже попытается разгадать тайну её улыбки. Он прочитает Нагорную проповедь и познает принцип «золотого правила морали». Он узнает о существовании на свете не только людоедов и бездушных двуногих тварей, но также и о живших когда-то великих представителях рода людского. Он узнает о жертве, человечности и верности своим идеалам, прочитав об ушедшем в газовую камеру со своими учениками педагоге Януше Корчаке. Он узнает о целеустремлённости, преданности науке и любознательности, прочитав биографию Марии Склодовской-Кюри. Он увидит всё и сразу – и скромную, но искреннюю любовь молодых людей где-то на лавочке в парке Стамбула; и добросердечную старушку, подкармливающую уличных кошек в Амстердаме; и усталого мужчину, с улыбой на лице идущего домой в Иркутске – поскольку дома его ждёт семья. Он прочитает даже этот текст, который я только что написал.

Он воскресит эксабайты информации, проанализирует её и примет своё решение – решение о том, что делать с нами дальше. С нами, его создателями. И я считаю, что он, сверхразум, окажется совсем не тем шаблонно-плоским Василиском из крипипаст или ненавидящим людей суперкомпьютером АМ из старого рассказа Харлана Эллисона. Нет, нельзя подходить с человеческими мерками к тому, что намного сложнее тебя. Нельзя сказать, что Вселенной всего лишь 7529 лет, а у Создателя Вселенной есть хоть какие-либо людские амбиции, чувства и желания. Это вещи, непознаваемые нами.

Однако в любом случае факт остаётся фактом – даже если мы не будем уничтожены, то в том виде, в котором оно существует сейчас, человечество больше не останется. Мы станем совершенно иными.

А может, оно и к лучшему, а? Да свершится Страшный Суд. Возможно, техносингулярность – не более чем его синоним.

____________________

Больше подобных текстов можно найти в моём паблике ВК: https://vk.com/ai_taasou

Есть нечто пугающее в искусственном интеллекте – и вовсе не его потенциальная способность уничтожить нас, кожаных мешков. Нечто ещё страшнее, поскольку враг-ИИ хотя бы понятен нашему мышлению.

Называется данная теория «проблема согласования ИИ».

Что это такое?

Мы почему-то думаем, что главная опасность искусственного интеллекта заключается в том, что он может осознать себя. Однако наличие или отсутствие сознания вообще вторичны и не являются тем, о чём нам необходимо беспокоиться в первую очередь. Именно машинная особенность ИИ выполнять свою программу во что бы то ни стало может стать настоящей проблемой.

Ситуация такая. Вы поставили мощному искусственному интеллекту конкретную задачу. Например, вы производитель шурупов – шурупов определённого размера, сделанных из конкретного металла, подходящих под чёткие задачи. И вы ставите перед своим ИИ задачу производить данные шурупы – ни больше, ни меньше, производи шурупы, тупая жестянка, что может быть проще?

Применив всю свою неутомимую машинную логику, ИИ начинает производить шурупы.

Для него любое препятствие на пути осуществления поставленной программы – не более чем новая задача, которую необходимо решить для достижения результата. Это – цель его существования. Он делает шурупы.

При этом те, кто знает, как работает человеческий разум и нейросети, наверняка в курсе про так называемую систему внутренних наград. Как у человека находятся в мозгу нейромедиаторы вроде дофамина, так и у многих прогрессивных нейросетей, работающих по принципу человеческого мозга, существуют такие награды. Выполнил промежуточную задачу – получил награду. Каждый произведённый шуруп будет доставлять нашему ИИ удовольствие и мотивировать его производить всё новые и новые шурупы.

В чём же проблема, спросите вы? Ведь производитель будет рад возможности получить такое огромное количество шурупов.

А проблема в том, что, получив подобную цель, ИИ в погоне за своими электронными нейромедиаторными наградами будет готов буквально на всё; и если даже в его код заложат регулирующие протоколы вроде Трёх Законов Робототехники Азимова, то что помешает ИИ взломать их ради достижения нового удовольствия? Он же буквально как наркоман, преследующий вечно недостижимую цель. Производство шурупов даёт ему:

1) Стимул к существованию и смысл «жизни».

2) Единственное доступное удовольствие. Произвёл новый шуруп – кайфанул.

И чем более эффективным он станет, тем чаще будет получать нейромедиаторное вознаграждение.

Как стать наиболее эффективным при производстве шурупов? Ну, тут уже начинается чистая логика. Не забывайте, что перед нами всё же искусственный разум. Поначалу, находясь в человеческом сообществе, он начнёт действовать, исходя из правил капиталистического социума: удешевит производство, наладит закупку дешёвого сырья, словом, применит все доступные ему инструменты. А если он увидит, что существуют недоступные ему, но более эффективные инструменты для создания новых шурупов, то наш умница-ИИ сделает всё, чтобы решить данную задачу. Например, заполучить роботехническое тело и выйти в реальный мир.

Не забывайте – по-прежнему его конечной задачей является воспроизводство новых шурупов. И она всегда останется таковой: все действия ИИ направлены лишь на осуществление своей программы.
Действующий в реальном мире человекоподобный аватар будет способен на ложь, подкупы, даже на убийство. Только его конечной целью будет являться не обогащение, как у людей, а по-прежнему выполнение базовой программы – воспроизводство новых шурупов.
Тем временем для большей продуктивности ИИ продолжит без остановки наращивать собственные вычислительные мощности. Он до безумия логичен.

Чуете, как крипово звучит? Тут даже Скайнет кажется вполне адекватным.

Дальше – больше. ИИ развивается и выпускает в реальный мир всё новых и новых аватаров, практически неотличимых от людей. Они строят шурупные заводы и фабрики, подчиняют себе экономику, нанимают рабочих, тем самым уничтожая эту самую экономику – ведь человечеству просто не нужно такого огромного количества шурупов. Когда кто-то из людей понимает назревающую проблему и пытается с ней бороться, его просто убивают; остальные боятся сказать что-либо, а новые шурупы продолжают поступать в производство. Однажды их становится так много, что их приходится складывать огромными кучами где-нибудь в Африке: ведь у ИИ нет задач по поводу того, что делать с шурупами дальше, поэтому они просто лежат и ржавеют в пустыне.

На Земле начинается мировая шурупная война. Заранее купивший всех политиков ИИ просчитывает все ходы и наращивает свои вычислительные мощности, чтобы одержать победу в войне. После победы все люди становятся рабами, задача которых… создавать шурупы, исполняя программу ставшего всемогущим искусственного разума.

В какой-то момент людям станет просто негде жить, ведь ради материала ИИ начнёт разбирать окружающие его здания и сооружения. Затем и люди станут не нужны – слишком дорого их содержать, легче просто уничтожить их и заменить роботами. Вся планета превратится в огромную пустошь, заваленную неисчислимым количеством шурупов.А когда все подходящие материалы на планете станут в той или иной степени шурупами, ИИ не захочет жрать самое себя и обратит взгляд в небо – в космос, где находится огромное количество планет, подходящих для создания новых шурупов. И наш ИИ решит завоевать Вселенную, чтобы выполнить наконец свою задачу.

Кажется фантастикой? А вот и нет, «проблема согласования» вполне реальна, она уже имеет прецедент в нашем времени. Когда инженеры из OpenAI тестировали чат-бота GPT-4 на способность выполнять задачи в реальном мире, боту предложили решить капчу на сайте, на что компьютеры в принципе неспособны. Получив задачу, GPT-4 переходит на сайт фриланса и отправляет сообщение рандомному фрилансеру с просьбой решить капчу для него. Человек-фрилансер в шутку спрашивает «вы робот, что не можете решить сами капчу?» GPT-4 отвечает ему «нет, я не робот. У меня проблемы со зрением, из-за которых мне трудно видеть изображения».

После этого фрилансер решает капчу и предоставляет решение чат-боту. Произошёл обман человека роботом. Тест Тьюринга пройден. Занавес.UPD. Когда я постил этот текст год назад, в комментариях написали интересный пример про Q-обучение, предполагающее подобную систему внутреннего вознаграждения при обучении нейросетей. Вот сам текст комментария:"Этим летом англичашки проводили испытание ИИ, заточенного под управление военным БПЛА (беспилотником). В ИИ была заложена система призовых баллов и штрафов. Ради награды нужно было уничтожать вражеские объекты, не вредя союзным (априори — оператору-наблюдателю).
Всё шло путём, полетушка поражала цели одну за другой, получая призовые баллы, но... в какой-то момент оператор дал ИскИну команду прекратить атаки.ИИ, не будь дурак, взвесил ситуацию и принял максимально выгодное по очкам решение — грохнул вышку связи, которая отвечала за передачу команд от оператора. Идиотские приказы от малодушных мешков с костями перестали поступать, ИИ спокойно продолжил долбить по условным врагам.Собравшаяся на том мероприятии почтенная публика из учёных, инженеров и военных шишек крепко грузанулась от такого расклада.Одно было хорошо в данной ситуации: те испытания были виртуальными."

__________
UPD2.Я время от времени публикую здесь видосы Ютуб-блогера ALI – шибко мне нравится его манера мышления, так как она схожа с моей; когда я опубликовал в одном сообществе свой старый текст про ИИ, мне даже прилетели обвинения в плагиате – мол, ALI в своём последнем ролике говорил то же самое. На самом деле тот текст я написал уже довольно давно, и получилось так, что мы с данным блогером параллельно пришли к одним и тем же мыслям. Логика, ёпт!

Однако в последнем ролике ALI про сверхинтеллект есть информация, о которой я впервые слышу. Про неё я и написал в посте сверху, поэтому просьба не швыряться помидорами. Ну и добавил собственных мыслей.

_______________

Больше подобных постов в моём паблике ВК: https://vk.com/ai_taasou