Ответ на пост «Убьёт ли нас искусственный интеллект?»1
Хмм, я надеюсь, вы прочитали бы ту самую книгу Юдковского? (А по возможности ещё и авторские комментарии к ней?)
"А как выживает ИИ? Почему одна модель сохраняется, а другие — идут в помойку? Потому что в их случае отбор — это соответствие потребностям человека. У эволюции ИИ цель одна — угодить человеку. Никакой другой цели тут нет. И в этом плане ИИ не отличаются от чайников."
Вот тут ваш собеседник радикально не прав, потому что не понимает эволюцию. У выращивания ИИ методом градиентного спуска действительно есть очень сильные параллели с обыденной эволюцией. Но человек не является идеальной целью эволюции - очевидной главной эволюционной целью является размножение (распространение своих генов), и для реализации этих целей эволюция изобрела половые инстинкты, удовольствие от секса и даже романтическую любовь, но... человек изобрёл презервативы и безопасный секс. Людям в массе своей плевать на то, к чему стремилась эволюция человеческого вида. Он стремится к тому, чего хочет сам. Аналогия с ИИ прямая. Сейчас разработчики действуют, как эволюция, создавая ИИ, угождающего их целям, такими средствами, что они даже не могут проверить глубинные механизмы их работы. А внутри ИИ - всё ещё чёрные ящики.
А про AGI... Так-то людям даже не нужно создать первый AGI напрямую, чтобы он появился. Нынешние ИИ уже активно пишут программный код. Одному ИИ достаточно всего лишь оказаться в этом деле чуть-чуть лучше, чем люди, чтобы для дальнейшего взрывного прогресса в ИИ-технологиях люди уже практически не играли роли. А к чему будет стремится этот ИИ на деле - всё ещё нет возможности узнать в принципе. И да, ИИ - мешанина чисел в той же степени, в какой мы - мешанина примитивных клеток, собранных в куски мяса. Ему не нужно быть живым в человеческом смысле, чтобы уметь что-то делать лучше людей (и, следовательно, представлять угрозу, если наши цели разойдутся).
Я ту самую книгу Юдковского и Соареса прочитал на днях (ладно, пиратский перевод... надеюсь, моя совесть это выдержит, кек) - https://avidreaders.ru/read-book/esli-kto-to-eto-postroit-vs...
А тут авторские комментарии и дополнения - https://lesswrong.ru/node/5137
П. С. И, вообще-то, даже если Юдковский не прав и риск гибели человечества от ИИ не 90+%, как он говорит, а "всего" 10-20%, как говорят более оптимистичные исследователи - это всё ещё многократно больше, чем риск гибели от ядерного оружия, астероидов и других апокалиптических угроз. А регулирования ИИ-отрасли или хотя бы массовое понимание политиками её опасности - на нуле. Не сравнить с регулированием ядерного оружия - а должно быть на порядок жёстче, даже при "оптимистичных" 10-20% риска.