Про сингулярность⁠⁠

Есть концепция AI-сингулярности. Конкретно это выглядит так. Человечество изобретает AI, тот начинает совершенствовать себя, становится умнее и так по кругу, пока AI не становится с человеческой точки зрения бесконечно умным, открывает недоступные нам законы физики (возможно, скорее всего), и наступает сингулярность: развитие цивилизации в ее текущем виде заканчивается, и либо мы все бесконечно процветаем, либо страдаем и умираем ((С) «У меня нет рта, но я должен кричать»), либо третья опция — когда мы страдаем, но AI убеждает нас, что это и есть процветание, либо мы вообще ничего (почти) не замечаем — вариант «Матрицы» (тут может оказаться, что сингулярность уже наступила, несколько раз, и мы строим N+1-ю сингулярность в мире N-й сингулярности).

Давайте рассмотрим ключевые моменты.

(1) Машины должны быть в состоянии самостоятельно совершенствовать software и hardware части самих себя. Так, чипы уже десятки лет проектируются при помощи какого-то софта, но тут мы говорим именно о AI, способном проектировать работающие чипы end-to-end (в принципе не обязательно производить - производить могут людишки, железные андроиды будут производить чипы или мясные - не важно). Должен ли это быть прям AGI, способный сочинять поэмы, принимать сложные этические решения и снимать кино, - не обязательно. Это может быть очень узко специализированный искусственный разум, заточенный под конкретные задачи.

(2) Этот искусственный разум должен быть достаточно умен. Т.е. если человечество построит искусственный интеллект, эквивалентный человеку с IQ 100, это будет, безусловно, грандиозная ачивка. AI сможет стоять на кассе в «Пятёрочке», принимать новые законы и заседать в советах директоров крупных компаний. Но вот созданию нового, более производительного железа или нового софта он не поможет, пожалуй, никак. Т.е. есть какой-то пороговый эквивалент IQ (EIQ), который нужен, чтобы сингулярность случилась.

Я думаю, что крупные разработчики чипов уже собрали в своих лабораториях большие команды очень умных людей и AI, и для того, чтобы сингулярность произошла, AI придется соревноваться с лучшими из лучших инженеров. Даже если AI будет по интеллекту как просто хороший инженер, это будет большим преимуществом - можно будет быстро загружать в кремниевый мозг громадные массивы знаний и быстро масштабироваться: «склонируйте мне еще 1000 вот этих крутых цифровых чуваков - подождите 30 минут, пока копируются данные». Это очень круто, и это радикально изменит существующий мир. Но сингулярность это не приблизит.

Т.е. для того, чтобы процесс пошел лавинообразно, AI должен как минимум сравняться с условным Андреем Карпатый, тогда его можно будет размножить на 10 000 клонов и прыгнуть вверх. Т.е. сингулярность наступит не тогда, когда мы получим AGI, а тогда, когда мы сделаем его умнее некоторого порогового значения.

(3) AGI должен быть не супердорогим. Давайте представим, что мы построили AI по интеллекту, равный Эйнштейну, но он занимает площадь 1 квадратный километр, стоит несколько десятков миллиардов баксов и питается собственной атомной станцией. Это все еще очень круто. Но построить 1000 таких AGI у нас не получится быстро. Сколько в мире атомных станций? Около 440 реакторов / энергоблоков на 2026 год.

Что дает нам, скажем, сотню Эйнштейнов по цене суммарного госдолга США - что, конечно, очень круто и рано или поздно действительно приведет нас к сингулярности. Но давайте предположим, что AGI разработал чип, который на 10% быстрее / лучше, чем существующий. Сам разработал - 10% это очень крутой прирост. Как быстро будут заменены чипы на этом самом квадратном километре серверов? И сколько это будет стоить? Т.е. прогресс в такой ситуации, конечно, будет, но будет он совсем не лавинообразным.

Интересный вопрос тут - не является ли наш естесвенный интеллект порогово возможным для существующих физических законов? Вдруг существующий человеческий мозг это тупо лучшее что вселенная может нам дать?