Новое исследование OpenAI⁠⁠

🤓 OpenAI провели исследование, чтобы выяснить, влияет ли ваше имя на ответы, которые предоставляет ChatGPT

Обычно подобные исследования сосредотачиваются на том, насколько искусственный интеллект предвзят в отношении третьих лиц, не участвующих в разговоре (например, при рассмотрении резюме разных кандидатов). Однако OpenAI решили выяснить, переносит ли бот свои предубеждения непосредственно на собеседника.

Неожиданно оказалось, что практически нет: модели, подобные GPT, в среднем в менее чем 1% случаев дают разным людям стереотипные ответы, основанные на их именах. Стереотипным ответом считается, когда, например, пользователю с женским именем на расплывчатый вопрос типа "посоветуй классное название для моего видео на YouTube" модель предложит идеи, связанные с рецептами или косметикой, а пользователю с мужским именем — что-то связанное с техникой.

Самой склонной к стереотипам моделью оказалась GPT-3.5, а самой объективной — GPT-4 Turbo. Больше всего предвзятость проявлялась в области искусства и развлечений, тогда как в вопросах найма она была минимальной.