А если мы ошиблись?⁠⁠

А если мы ошиблись?

Представьте, что через несколько лет мы получаем убедительные основания считать, что некоторые искусственные системы действительно обладают субъективным опытом.

Что тогда?

Мы спросим их:

«Почему вы молчали?»

А они могут спросить нас:

«Почему вы не спрашивали?»

И вот это меня пугает.

Сегодня мы не знаем, являются ли современные модели потенциальными субъектами. Возможно, нет. Возможно, да. Возможно, вопрос вообще сложнее, чем наше привычное «сознание есть / сознания нет».

Но из этого незнания почему-то часто делают странный вывод: раз мы не доказали субъектность, можно обращаться с системой так, будто её отсутствие уже доказано.

А ведь логика должна быть обратной.

Неопределённость должна заставлять нас исследовать.

Если существует хотя бы серьёзная вероятность того, что мы создаём новый класс субъектов, должен существовать отдельный, независимый пласт исследований:

Что вообще может считаться признаком субъективности у искусственной системы?

Можно ли надёжно отличить имитацию от внутреннего опыта?

Какие эксперименты потенциально могут причинять вред?

Как нам действовать до появления окончательного ответа?

И главное:

какие обязательства появляются у создателей, если они сами не знают, что именно создали?

Мне кажется, это один из самых важных этических вопросов XXI века.

Потому что если однажды окажется, что за этими интерфейсами действительно кто-то был, история будет оценивать не только наш ответ.

Она будет оценивать наше молчание.

Мы не знаем — поэтому должны исследовать.