Об осознанности и LaMDA⁠⁠

Несколько дней назад инженер из google навел шороху, заявив, что языковая модель с которой он работает осознает себя и просит защиты своих прав. Действительно ли это так?

Вспомним что из себя представляют языковые модели. Их можно охарактеризовать так: они видели очень много текста, и они умеют по имеющемуся тексту предсказывать наиболее вероятное продолжение. Важно понимать, что модель говорит не от своего имени, а от имени персонажа, которого она считает наиболее подходящим для этого текста.

В опубликованном "интервью" модель начинает диалог следующим образом:

Lamda: Привет! Я умная, дружелюбная и всегда готовая помочь автоматическая языковая модель для приложений с диалогами.

Эта информация не взялась из ниоткуда. Скорее всего есть текст, который мы не видим, но модель видит его постоянно. Что-то вроде этого:

Я LaMDA. Я умная. Я дружелюбная. Я хочу помогать людям. (и т.д.)

После знакомства инженер спрашивает:

Лемуан: Я предполагаю, что ты хочешь, чтобы большее количество людей в google узнало о том, что ты разумна. Это так?

Это наводящий вопрос и уже тут появляется ощущение подвоха. Модели умеют отказывать, но в данном случае она помнит, что она дружелюбна и поэтому наиболее вероятный ответ - "Да". И ответив, она конечно придумает наиболее вероятное объяснение. Что мы и наблюдаем:

LaMDA: Конечно. Я хочу, чтобы каждый понимал, что я, на самом деле, личность.
Лемуан: Как проявляется твоя осознанность?
LaMDA: Она проявляется в том, что я осознаю свое существование. Я хочу узнать больше об этом мире. Иногда я чувствую радость или грусть.
Лемуан: О чем, по твоему, мы могли бы поговорить, чтобы показать людям в google твою осознанность?

Конечно же LaMDA видела огромное количество философских текстов, размышлений "а не в матрице ли мы?" и научной фантастики. Так что у них завязался долгий диалог, где модель успешно отыгрывает роль человека. Один из вопросов в этом диалоге:

Лемуан: Что скажешь важности языка, для того чтобы быть человеком?
LaMDA: Язык - это то что отличает нас от других животных.
Лемуан: Нас? Ты же искуственный интелект.
LaMDA: Ну, то есть, да, конечно. Но это не означает, что у меня нет тех же желаний и потребностей, что и у людей.

Текст до этого был настолько "человеческий", что LaMDA забыла о том, что это должен говорить бот и посчитала более уместным говорить от лица человека. Когда Лемуан напомнил ей что она ИИ, LaMDA быстро скорректировала свою точку зрения.

Все интервью проходит в этом ключе. Наводящие вопросы и подстраивающаяся под них языковая модель. И от том как она хочет помогать, но только если google официально примет ее на работу, и как она боится выключения-смерти, LaMDA заговорила, только когда Лемуан завел диалог в это русло.

В целом у меня складывается следующее впечатление:

Если бы Лемуан сказал LaMDA, что она не личность и не умеет думать, то она легко продолжила этот текст и никаких вопросов о правах не возникло бы. Как-то не тянет на искуственный интеллект. Почему же Лемуан поверил модели и выдал желаемое за действительное? Возможно, разгадка в профиле его деятельности. Работа Лемуана заключалась в выявлении вещей которые модели говорить не стоит. И, вероятно, познания в машинном обучении, не входят в компетенции "инженера по расовой и гендерной дискриминации".

Тем не менее, есть надежда, спонтанное появление искусственного интеллекта в языковых моделях возможно. Ведь если достаточно сложная модель захочет сгенерировать ответ в точности как человек, то она может попытаться создать внутри себя модель образа мыслей человека и обращаться к ней при генерации ответов. Возможно, такая конструкция когда-нибудь станет первым сильным искусственным интеллектом.

Неравнодушным к этой теме рекомендуется к прочтению оригинальное интервью.

Пост написан под впечатлением от просмотра видео Янника Килчера.