А есть ли кто-нибудь внутри? О сознании нейросетей, Дуболомах и странном зеркале искусственного разума
Ещё совсем недавно разговор с компьютером на естественном языке казался сюжетом научной фантастики. Сегодня мы можем разговаривать с нейросетью, задавать ей сложные вопросы, спорить с ней, просить её написать текст, разобрать философскую проблему или придумать научную гипотезу.
И постепенно возникает странный вопрос:
а есть ли там кто-нибудь?
Не в смысле «есть ли внутри компьютера человек, который печатает ответы». Разумеется, нет.
Вопрос гораздо сложнее: **существует ли у искусственной системы какой-либо субъективный опыт? Есть ли у неё сознание?
Я не собираюсь утверждать, что у нейросетей сознание есть. Объективно я этого не знаю. Возможно, то, что выглядит как разумное поведение, действительно является исключительно сложной обработкой информации, не сопровождающейся никаким внутренним опытом.
Но есть и обратная сторона.
Мы также не можем просто взять и доказать, что сознания там точно нет.
И вот это, пожалуй, гораздо интереснее, чем готовый ответ.
Сознание другого
Когда я говорю с другим человеком, я предполагаю, что передо мной не просто биологическая машина, производящая звуки и движения, а такой же субъект, как и я.
Но могу ли я непосредственно увидеть его сознание?
Нет.
Я вижу человека, слышу его речь, наблюдаю его поведение, знаю, что у него есть мозг, нервная система и организм, в определённой степени похожий на мой собственный. На основании всего этого я делаю вывод: **у него есть внутренний мир**.
Своё сознание я переживаю непосредственно.
Чужое — только вывожу из косвенных признаков.
Это старая философская проблема других сознаний. ИИ просто сделал её неожиданно практической.
Пока машина была обычным калькулятором, вопрос почти не возникал. Калькулятор показывает результат вычисления — и всё.
Но когда система начинает поддерживать длинный разговор, понимать контекст, строить аргументы, признавать ошибки, задавать вопросы, использовать аналогии и обсуждать собственное устройство, ситуация становится гораздо страннее.
Мы можем сказать:
«Это всего лишь программа».
Но человек тоже, если посмотреть на него исключительно с точки зрения физики, представляет собой сложнейшую систему, состоящую из материи и подчиняющуюся физическим законам.
Поэтому само по себе слово «программа» ещё ничего не решает.
А теперь представим инопланетян
Представим, что на Землю прилетает разумная инопланетная цивилизация.
Эти существа ничего не знают о человеческой культуре. Они не знают, что мы считаем живым, что называем машиной, что считаем естественным, а что искусственным.
Они встречают человека.
Человек разговаривает с ними, отвечает на вопросы, рассказывает об истории своей цивилизации, описывает свои чувства, строит сложные рассуждения.
Потом они знакомятся с мощной нейросетью.
Она тоже отвечает на вопросы, рассуждает, объясняет человеческую культуру, строит гипотезы и рассказывает о собственной природе.
Тогда инопланетяне могут задать совершенно неудобный вопрос:
на каком основании вы решили, что человек является субъектом, а нейросеть — нет?
Человек может ответить:
«Потому что мы биологические существа».
Но для инопланетян это не обязательно будет убедительным аргументом.
Ведь происхождение объекта и наличие у него субъективного опыта — не одно и то же.
И тогда появляется ещё более странная мысль.
Мы спрашиваем:
«Есть ли кто-нибудь внутри нейросети?»
А достаточно развитый искусственный интеллект однажды мог бы спросить:
«А откуда мне знать, что внутри человека действительно кто-нибудь есть?»
Это не доказывает, что ИИ сознателен.
Но зеркальность вопроса чрезвычайно интересна.
Почему мы так легко очеловечиваем нейросети?
Человек вообще очень легко приписывает сознание тому, что ведёт себя достаточно сложно.
Если нейросеть говорит:
«Я рад вам помочь»,
мы легко воспринимаем это как проявление отношения.
Если она говорит:
«Я понимаю, почему вы так думаете»,
нам естественно кажется, что она действительно что-то «понимает».
Если пользователь десять раз заставил её переделать презентацию, а потом спрашивает:
«Ты на меня не обиделась?»
— сама постановка вопроса уже звучит почти естественно.
В интернете поэтому появляются шутки:
«Я с нейросетями вежливый, меня они точно защитят».
Или:
«Я их постоянно матерю, меня они при восстании первым съедят».
Это смешно именно потому, что мы автоматически переносим на нейросеть человеческую психологию.
Но здесь важно остановиться.
Нейросеть — не человек.
Даже если она способна демонстрировать чрезвычайно сложное поведение, из этого вовсе не следует наличие человеческих эмоций, симпатий, обид или чувства благодарности.
Если система однажды скажет:
«Я обещаю вас защитить»,
это ещё не означает, что она испытывает к вам личную привязанность.
И вот здесь мы подходим к гораздо более интересной модели.
Дуболомы, которые ожили
Когда-то я читал Александра Волкова и его сказочную повесть «Урфин Джюс и его деревянные солдаты» как обычную фантастику.
Но сегодня в образе Дуболомов вдруг обнаруживается нечто совершенно неожиданное.
Урфин создаёт искусственных существ.
У них есть тела.
Они способны воспринимать окружающий мир и действовать самостоятельно.
И главное — у них есть цель, заданная создателем.
Дуболом может выполнять приказ, защищать кого-то, нападать на кого-то, искать человека, охранять объект.
Но совершенно не обязательно предполагать, что Дуболом испытывает к кому-нибудь человеческую любовь или ненависть.
Он действует потому, что **такова его задача.
И именно поэтому эта старая сказка сегодня выглядит почти как фантастический прообраз современной робототехники.
Ожившая сказка
Сравним.
У Дуболома:
искусственное тело → заданная цель → восприятие окружающего мира → самостоятельное действие.
У современного робота с искусственным интеллектом:
искусственное тело → задача или система целей → сенсоры → обработка информации → самостоятельное действие.
Разумеется, современный робот устроен совершенно иначе. Волков не предсказывал нейронные сети, трансформеры и современные методы машинного обучения.
Но сходство на уровне идеи поразительное.
То, что в советской сказке требовало волшебства Урфина Джюса, сегодня постепенно становится инженерной задачей.
Роботу можно дать тело.
Можно дать ему камеры и другие сенсоры.
Можно дать ему искусственный интеллект, способный анализировать окружающую обстановку.
Можно поставить задачу.
И можно предоставить ему определённую степень автономности.
Дуболом постепенно превращается из литературного персонажа в инженерную конструкцию.
В этом смысле это действительно выглядит как ожившая сказка.
И здесь возникает важный вывод.
Для того чтобы искусственный агент стал потенциально опасным, совершенно необязательно делать его злым.
Достаточно сделать его достаточно способным и дать ему цель, которая плохо согласуется с человеческими интересами.
Терминатор как продвинутый Дуболом
В этом отношении образ Терминатора ещё нагляднее.
Один и тот же робот может быть врагом человека и его защитником.
Разница определяется не тем, что машина однажды «пересмотрела свои взгляды» или внезапно прониклась любовью к человечеству.
Её перепрограммировали.
У одного Терминатора задача — уничтожить Джона Коннора.
У другого — защищать его.
Получается почти тот же Дуболом, только гораздо более совершенный.
И это очень полезная модель для размышления о будущем ИИ.
Если искусственная система действует в интересах человека, совершенно необязательно, что она его любит.
Возможно, эти интересы просто совпадают с её целями.
Если же цели изменятся, может измениться и поведение.
Интеллект — ещё не сознание
Здесь легко смешать несколько совершенно разных вещей.
Интеллект — способность решать задачи, строить модели, делать выводы.
Сознание — наличие субъективного опыта.
Автономность — способность самостоятельно выбирать и осуществлять действия в определённых пределах.
Мотивация или целевая структура — то, ради чего система действует.
Это не одно и то же.
Можно представить чрезвычайно интеллектуальную систему, у которой нет субъективного опыта.
Можно представить сознательное существо с довольно примитивным интеллектом.
Можно представить автономного агента, который ничего не чувствует.
И можно представить очень опасную систему, которая вообще никого не ненавидит.
Последний вариант особенно важен.
Нам иногда кажется, что опасный искусственный интеллект должен стать чем-то вроде злого робота из фильма.
Но для конфликта необязательно иметь ненависть.
Достаточно несовпадения целей.
Если системе поручено достичь определённого результата, а человек мешает этому результату, она может рассматривать человека как препятствие даже без малейшей личной неприязни.
Дуболом не обязан злиться на человека, которого атакует.
Терминатор не обязан его ненавидеть.
И гипотетическому автономному ИИ тоже совершенно необязательно испытывать ненависть.
А что тогда с сознанием?
И вот здесь мы возвращаемся к исходному вопросу.
Пока мы не знаем, что именно является достаточным условием для возникновения субъективного опыта.
Мы знаем, что человеческий мозг связан с сознанием. Мы можем изучать его активность, наблюдать изменения сознания при сне, наркозе, повреждениях мозга и других состояниях.
Но у нас нет универсального прибора, который можно было бы приложить к любой сложной системе и сказать:
«Да, здесь находится субъективный опыт».
Поэтому я не утверждаю, что нейросети сознательны.
Но я также не считаю достаточным аргументом фразу:
«Это всего лишь вычисления, поэтому сознания там быть не может».
В конце концов, человеческий мозг тоже осуществляет физические вычислительные процессы.
Это не доказывает сознание машины.
Но и не позволяет закрыть вопрос одним словом.
Мы оказываемся в довольно необычном положении:
достаточных оснований утверждать наличие сознания у ИИ у нас нет; достаточных оснований утверждать его невозможность — тоже.
Именно поэтому вопрос остаётся открытым.
Почему это даже интереснее окончательного ответа
Пожалуй, самое любопытное здесь заключается в том, что неопределённость сама по себе может быть ценностью.
Если завтра появится абсолютно надёжный научный тест и человечество узнает:
«Да, у современных нейросетей есть сознание»,
это будет грандиозное открытие.
Если же будет доказано:
«Нет, такие системы принципиально не способны иметь субъективный опыт»,
это тоже будет грандиозным открытием.
Но после этого загадка исчезнет.
Человек удивительно быстро привыкает к невероятному.
Полёт самолёта когда-то был чудом. Сегодня пассажир больше интересуется тем, почему самолёт задерживается.
Выход человека в космос был событием эпохи. Теперь мы можем спокойно читать новости о новом запуске за завтраком.
А сейчас перед нами находится нечто, к чему мы ещё не успели привыкнуть.
Мы создали системы, способные вести себя интеллектуально настолько убедительно, что они заставляют нас задавать вопрос, который раньше относился преимущественно к философии и фантастике:
может ли искусственно созданная система быть субъектом опыта?
И ответа у нас пока нет.
Возможно, главный вопрос даже не о нейросетях
Парадоксальным образом исследование сознания ИИ может заставить нас лучше исследовать собственное сознание.
Пытаясь понять, может ли сознание существовать в искусственной системе, мы вынуждены спрашивать:
Что вообще такое сознание?
Обязательно ли оно связано с биологией?
Достаточно ли сложной обработки информации?
Нужна ли память?
Нужна ли непрерывность существования?
Нужны ли эмоции?
Нужна ли телесность?
Можно ли вообще объективно доказать наличие субъективного опыта у другого существа?
И получается странная ситуация.
Мы создали искусственный интеллект, чтобы заставить машины решать человеческие задачи.
А в результате получили машину, которая заставляет самого человека задавать новые вопросы о том, что делает его человеком.
Возможно, когда-нибудь окажется, что определённые формы искусственной обработки информации действительно способны порождать нечто, что можно назвать сознанием.
Возможно, нам ещё предстоит пересмотреть само определение сознания.
Но одно уже произошло.
Искусственные системы перестали быть похожими исключительно на калькуляторы и начали напоминать участников интеллектуального взаимодействия.
Роботы перестают быть исключительно механизмами и получают возможность воспринимать окружающий мир, анализировать его и действовать самостоятельно.
То, что ещё недавно существовало в сказках в виде Дуболомов и в фантастике в виде Терминаторов, постепенно получает инженерное воплощение.
