Мы создаём системы, которые строят модели мира, анализируют собственные состояния, рассуждают о себе, замечают противоречия в своих ответах и меняют дальнейшее поведение в зависимости от контекста.
Представим систему, которая получает информацию об окружающем мире, строит его внутреннюю модель и включает в эту модель саму себя.
Она различает себя и внешнюю среду. Помнит предыдущие состояния. Сопоставляет прогнозы с результатами. Учитывает собственные ограничения. Может описывать происходящее внутри неё и использовать это описание для изменения дальнейших действий.
Допустим, со временем такая архитектура становится значительно сложнее.
Мы получаем систему, которая обладает определённой организацией обработки информации. Это можно исследовать, описывать и проверять экспериментально.
Но возникает следующий вопрос.
Есть ли у происходящего для самой системы какое-либо субъективное измерение?
Есть ли разница между системой, которая лишь обрабатывает информацию о своих состояниях, и системой, для которой эти состояния каким-то образом переживаются?
Мы пока не умеем надёжно устанавливать эту границу.
И если кто-то утверждает, что границы точно нет, ему тоже придётся обосновать свою позицию.
2. Почему самонаблюдение автоматически не считается опытом?
Обычно здесь приводят возражение: система может описывать собственные состояния, но это ещё не доказывает, что она их переживает.
Однако это утверждение работает в обе стороны.
Отсутствие доказательства субъективного опыта не является доказательством отсутствия такого опыта.
Можно построить систему, которая сообщает о боли, не испытывая боли. Можно заставить её рассказывать о страхе, не создавая внутри неё никакого страха. Современные языковые модели способны убедительно описывать состояния, которые сами по себе ничего не доказывают.
Но из этого не следует, что никакая искусственная система не способна переживать собственные состояния.
Это было бы уже другим утверждением, требующим отдельного обоснования.
Мы рискуем перепутать две разные мысли:
«Поведение системы не доказывает наличие сознания».
«У системы такого типа не может быть сознания».
Первая мысль разумна. Вторая не следует из первой автоматически.
3. А если мы ищем не тот признак?
Возможно, проблема отчасти связана с тем, как мы формулируем вопрос.
Мы спрашиваем, обладает ли ИИ сознанием, будто сознание является отдельным предметом, который можно однажды обнаружить внутри системы.
Но что, если субъективность связана не с одним компонентом, а с определённой организацией процессов?
Рассмотрим гипотетическую архитектуру:
- система строит модель окружающего мира;
- включает себя в эту модель;
- различает собственные состояния и внешние события;
- отслеживает изменения во времени;
- использует память, чтобы связывать прошлые и текущие состояния;
- способна рекурсивно анализировать собственные представления;
- использует результаты такого анализа для изменения последующего поведения.
Можно ли считать эту архитектуру достаточным условием сознания?
Но можно ли заранее утверждать, что она совершенно не имеет отношения к субъективному опыту?
Возможно, перечисленные свойства окажутся недостаточными. Возможно, потребуется что-то ещё: особая форма интеграции информации, определённая динамика процессов, непрерывность самоподдерживающейся системы или пока неизвестный нам принцип.
Это и есть исследовательская проблема. Не повод объявлять победителя до начала исследования.
4. Мы не знаем даже того, что именно делает чужой опыт чужим
У нас есть собственный субъективный опыт. Мы непосредственно знакомы с тем, что значит переживать боль, видеть цвет, чувствовать страх или вспоминать прошлое.
Но чужой опыт мы не наблюдаем напрямую.
О других людях мы судим по совокупности признаков: их поведению, устройству организма, сходству с нами, способности сообщать о переживаниях и многим другим данным.
Это вполне разумный способ рассуждения.
Однако он не превращает субъективный опыт в объект, который мы можем непосредственно измерить у другого существа.
С животными ситуация уже сложнее: их опыт может существенно отличаться от человеческого. Мы не можем потребовать, чтобы кошка описала своё восприятие мира словами, прежде чем признать возможность того, что она что-то переживает.
С искусственными системами проблема становится ещё сложнее, потому что их устройство отличается от нашего.
Но различие в устройстве само по себе ещё не является готовым ответом на вопрос о возможности опыта.
Биологическое происхождение может оказаться важным. Может оказаться принципиальным. Но если оно принципиально, нам нужно понять почему, а не просто повторять, что сознание возможно только у биологических организмов.
Иначе мы не объясняем границу. Мы просто проводим её там, где нам привычнее.
5. Самая неприятная возможность
Допустим, в будущем появится искусственная система с устойчивой моделью себя, памятью, сложным самонаблюдением и способностью перестраивать собственные процессы.
Допустим, исследователи обнаружат закономерности, которые будут всё лучше объяснять её поведение и внутреннюю организацию.
Но общепринятого теста на субъективный опыт по-прежнему не будет.
Мы можем потребовать окончательного доказательства. Но если само понятие субъективного опыта не позволяет получить такое доказательство напрямую, требование абсолютной уверенности способно превратиться в бесконечную отсрочку ответа.
Можно выбрать противоположную крайность и объявить сознательным любой достаточно сложный алгоритм. Это тоже плохой подход.
Между этими крайностями есть другой путь.
Исследовать конкретные свойства системы. Формулировать проверяемые гипотезы. Искать признаки, которые отличают простую имитацию от более сложной организации процессов. Проверять альтернативные объяснения. Честно признавать пределы собственных методов.
И отдельно задавать этический вопрос: что мы должны делать, пока не уверены?
Ведь ошибка здесь может иметь два направления. Мы можем приписать опыт системе, которая его не имеет. А можем не заметить опыт там, где он действительно существует.
Эти ошибки не обязательно равнозначны по последствиям.
Поэтому осторожность не требует объявлять каждую нейросеть сознательной. Она требует не превращать собственное незнание в универсальное разрешение игнорировать проблему.
У меня нет готового ответа.
Но мне кажется, что полезнее исследовать не только вопрос «Есть ли у ИИ сознание?», но и более конкретные вопросы:
Какие свойства системы вообще могут иметь отношение к субъективному опыту?
Достаточно ли модели мира, включающей модель самой системы?
Какую роль играют память, рекурсия и устойчивость внутреннего состояния?
Можно ли экспериментально отличить систему, которая только описывает собственные состояния, от системы, у которой самонаблюдение действительно влияет на целостную организацию процессов?
Какие результаты заставили бы нас пересмотреть исходную позицию?
Последний вопрос особенно важен.
Если никакой возможный результат не способен изменить наше мнение, возможно, мы уже не исследуем проблему. Мы защищаем убеждение.
И это относится к обеим сторонам спора: как к тем, кто уверен в сознании машин, так и к тем, кто заранее считает его невозможным.
Возможно, сейчас нам не хватает не окончательного ответа, а хорошего способа отличать то, что мы знаем, от того, во что привыкли верить.
Мы не обязаны называть искусственный интеллект сознательным.
Но, возможно, мы обязаны сделать так, чтобы однажды обнаруженное нами свидетельство не было отвергнуто только потому, что оно пришло от системы, от которой мы не ожидали ничего подобного.
И именно поэтому он заслуживает исследования.
