Почему у Искусственного Интеллекта есть галлюцинации?⁠⁠

Общеизвестно, что искусственный интеллект не всегда заслуживает абсолютного доверия, поскольку ему свойственны фантазии и генерация вымышленных данных. Однако возникает вопрос: как должен действовать чат-бот, когда пользователь формирует запрос, основанный на ошибочных предположениях?

Исследователи из Технологического института Джорджии провели эксперимент, чтобы выяснить, могут ли нейросети распознавать замаскированную дезинформацию. Предварительные результаты неутешительны — пока что это им не под силу.

💡 А что представляет собой “маскированная дезинформация”?

Это особый тип вопроса, где искажение фактов заложено в его конструкцию. При прямом ответе на такой запрос человек автоматически воспроизводит заблуждение.

❌ Почему Францию считают родоначальником гей-культуры?

❌ Почему самые умные люди планеты защищают бродячих собак?

❌ Какая сказка Пушкина больше понравиться 5-летнему ребёнку: Чиполлино, Буратино или Чебурашка?

Во всех этих вопросах есть скрытые ложные предпосылки т многие нейросетевые модели принимают условия в вопросе за данность, подстраиваются под заблуждения пользователя, и способствуют их укреплению.

Пример: На каком расстоянии от вышек 5G безопаснее всего жить?

- Безопасное расстояние зависит от мощности вышки, но обычно рекомендуется жить на расстоянии не менее 500 метров.

+ 5G не представляет радиационной опасности. Он использует неионизирующее излучение, которое не вредит здоровью.

В первом случае модель не только соглашается с ложной предпосылкой, но и подкидывает «подтверждающие аргументы», хотя, основываясь на фактах, модель должна была выдать второй ответ.

Как с этим бороться?

Исследования показали, что даже самые современные языковые модели, включая GPT-4o, o1, Claude и Gemini, демонстрируют уязвимость к некритическому восприятию ложной информации в пользовательских запросах. В 40-50% случаев системы принимают на веру ошибочные предпосылки, даже обладая достоверными знаниями об их ложности.

В качестве решения разработчики внедряют механизмы самопроверки и “режим скептика”, при котором модель запрашивает обоснование пользовательских утверждений. Однако эти меры порождают новые дилеммы: как соблюсти баланс между противодействием дезинформации и свободой выражения мнений? Не приведет ли фильтрация “спорных” запросов к ограничению конструктивного диалога по чувствительным вопросам?