«Кремниевый взор»: Почему ChatGPT считает, что в Африке живут глупые, а в США — красивые?⁠⁠

Пока мы спорим, заменит ли нас ИИ, ученые из Оксфорда решили проверить, а как этот самый ИИ вообще видит наш мир. Результаты оказались настолько неполиткорректными, что если бы ChatGPT был человеком, его бы «отменили» во всех соцсетях за один вечер.

Исследователи прогнали через нейросеть 20 миллионов запросов и выяснили: у нейросетей есть свой «Кремниевый взор» (Silicon Gaze) — системное искажение, которое делит мир на «первый сорт» и всех остальных.

Почему так происходит?

Ученые выделили 5 причин, почему нейросеть так «глючит»:

1. Доступность данных: О Нью-Йорке в сети написано в миллионы раз больше, чем о деревне в Намибии. ИИ просто «знает» больше хороших слов про богатые места.

2. Эффект усреднения: ИИ берет среднее по интернету. А интернет — это в основном западный контент на английском языке.

3. Тропы и стереотипы: Если в новостях про определенный регион пишут только в контексте войн или голода, ИИ намертво связывает это место с негативом.

Почему это проблема?

Мы всё чаще используем ИИ в образовании, бизнесе и даже госслужбе. Если нейросеть заранее считает жителей определенного района «менее надежными» или «менее способными» просто на основе данных из интернета 20-летней давности, мы получаем цифровую дискриминацию, которую почти невозможно отследить.

Марк Грэм, профессор Оксфорда, резюмирует:

«Если ИИ постоянно связывает определенные города или страны с негативными ярлыками, эти ассоциации начинают формировать реальное восприятие людей, даже если они основаны на частичной или устаревшей информации».

Итог для нас

ChatGPT — это не истина в последней инстанции, а просто гигантское зеркало нашего кривого интернета. Он не «думает», он просто повторяет за нами наши же предрассудки, только делает это с уверенным «лицом».