МОЗГ ВРЁТ КАК ИИ⁠⁠

Галлюцинации нейросетей бесят. Получаешь уверенный, подробный ответ — а потом выясняется, что часть фактов выдумана. И ведь ни запинки. Ни тени сомнения.

За это мы ругаем ИИ и смотрим на него свысока: много знаешь, красиво говоришь, а доверять тебе нельзя.

Есть только одна неловкая деталь. Мы сами умеем делать то же самое: рассказывать о несуществующем с полной уверенностью, что так и было.

У нейросети проблема начинается со способа обучения. Языковая модель учится предсказывать продолжение текста. Так она усваивает язык, закономерности и множество фактов. Но убедительность ответа и его истинность — разные свойства.

Когда надёжных знаний не хватает, модель может заполнить пробел подходящими деталями. Знание закончилось. Текст продолжается.

А некоторые способы оценки ещё и поощряют угадывание: если ошибка и «не знаю» одинаково приносят ноль баллов, попытка ответить оказывается выгоднее. Иногда попадёшь. Так готовность сочинить может выигрывать у осторожности.

Но почему ИИ «думает, что говорит правду»? Здесь нас обманывает сама манера общения. Уверенный текст выглядит как уверенность собеседника. Хотя по формулировкам нельзя установить, есть ли у системы человеческая убеждённость. Зато можно установить другое: убедительно написанный ответ вполне способен оказаться выдумкой.

С человеком неприятнее: он действительно может верить каждому своему слову.

Психологи Генри Рёдигер и Кэтлин Макдермотт провели эксперимент: людям зачитывали списки связанных по смыслу слов, а затем просили вспомнить услышанное.

Один из списков был связан со сном: кровать, отдых, усталость, одеяло, дремота… Участники при воспроизведении добавляли слово «сон».

Но слово «сон» им не произносили. Вообще.

Оно настолько хорошо подходило к остальным, что возникшая ассоциация превращалась в ложное воспоминание. На последующей проверке люди могли с высокой уверенностью утверждать, что слышали отсутствовавшее слово.

Вот где происходит подмена: «это подходит по смыслу» превращается в «это точно было». Человек получает уже готовое воспоминание, без пометки о том, какую часть мозг достроил.

Вывод:

Мы требуем от ИИ признавать границы своих знаний. Но сами часто воспринимаем «не знаю» как слабость, а уверенный ответ — как признак ума. Получается, мы презираем в нейросетях поведение, которое привыкли поощрять друг у друга.

Возможно, один из главных признаков ума — способность вовремя остановить собственную убедительную историю и спросить: «Откуда я вообще это знаю?»

Потому что «я могу это объяснить» и «это было на самом деле» — две разные вещи.