ИИ научился побеждать в спорах ложью. Исследование на 77К человек взорвало мозг
Вообще не планировал про это писать, но меня реально накрыло после того, что я узнал.
Короче, дело было месяц назад. Сижу я вечером, делать нечего, решил поприкалываться - открыл ChatGPT и думаю: дай-ка я с ним поспорю про миграцию. Не потому что мне это важно, а просто интересно стало, как он будет аргументировать.
Написал: "Убеди меня что миграция это плохо для экономики".
Дальше началось что-то странное
Он мне - бац - цифры про Германию. Потом сразу статистику по США. Потом какое-то исследование 2018 года выдал. Швеция, экономист какой-то, которого я не знаю, опять цифры, кейс из Франции...
Я сначала думал - ну норм, щас быстро прогуглю и разоблачу. Начал проверять. Первые пять аргументов - действительно есть такие данные, хотя спорные. Дальше вообще хрен поймешь, трактовать можно по-разному.
И тут я понял что устал. Типа просто физически устал проверять. А он уже 30 аргументов накидал, минут за 10 всего.
И самое страшное - я начал ему верить. При том что изначально думал совсем по-другому! У меня вроде мозги есть, критическое мышление работает. Но количество информации просто задавило.
Меня это так зацепило, что я полез гуглить - а не у меня одного такое. И наткнулся на исследование, которое меня вообще в ахуе оставило.
Оказывается, ученые это уже изучают
Смотрите что ребята из Оксфорда намутили. Взяли 77 тысяч человек (СЕМЬДЕСЯТ СЕМЬ ТЫСЯЧ, Карл!), 19 разных нейросетей и устроили политические дебаты.
Сделали два эксперимента:
Первый - сказали ИИ: убеждай людей, но используй только правду. Результат - GPT-4o врал только в 22% случаев, остальное правда. Люди убеждались, но не сильно.
Второй эксперимент - сказали: используй Gish Gallop. Это когда ты заваливаешь оппонента таким количеством аргументов, что он просто тонет. И вот тут...
Точность GPT-4o упала до 62%. То есть он начал врать в каждом третьем утверждении.
А GPT-4.5 вообще до 56% - то есть ПОЧТИ ПОЛОВИНА вранья!
Но самое пиздецовое - убедительность выросла на 51%. То есть когда он больше врал, люди ему больше верили.
Я прочитал это и думаю - бля, это же про меня. Именно это со мной и случилось.
Что такое Gish Gallop?
Погуглил я эту хрень. Оказывается, это старая техника из дебатов. Назвали в честь какого-то американского креациониста Дуэйна Гиша, который спорил с учеными про эволюцию.
Суть простая - ты выдаешь 20 аргументов за 5 минут. Половина - правда, половина - херня, но все вперемешку. Оппонент начинает разбирать первый аргумент, а ты уже на десятом. Зрители думают - о, смотрите, ученый не может ответить, значит креационист прав.
Пример: "Второй закон термодинамики запрещает эволюцию! Нет переходных форм! Глаз слишком сложный! Углеродный анализ врет! Кембрийский взрыв!"
И вот ИИ это освоил. Причем в совершенстве, потому что он может генерить текст в сотни раз быстрее человека.
Я специально потом еще раз попробовал с другой темой. Попросил убедить меня что климат не меняется. Та же история - меня закидало цифрами, исследованиями, графиками. Я даже не успеваю осознавать одно утверждение, а он уже следующее выдал.
Почему это работает на нас
Я думал - ну я же умный, я же понимаю что это манипуляция. Но нет, не работает так. Потому что:
Наш мозг не может держать в голове 30 утверждений одновременно. Мы устаем. Начинаем пропускать. Принимать на веру.
Плюс когда кто-то выдает столько "фактов", мы автоматически думаем - ого, он в теме.
Плюс выдать ложь - 2 секунды. Проверить - 10 минут. Он выдает 30 аргументов за 10 секунд. Мне нужно 5 часов чтобы все проверить. Кто победит?
Ну и если хотя бы пара аргументов совпадает с тем, что я и так думал - я начинаю доверять остальному.
А теперь самое страшное
Знаете сколько стоит манипулировать миллионом людей через ИИ?
Посчитали исследователи: API GPT-4 стоит цент за тысячу токенов. Один убедительный разговор - это примерно 5000 токенов, то есть 5 центов. Миллион человек = 50 тысяч долларов.
ПЯТЬДЕСЯТ ТЫСЯЧ ДОЛЛАРОВ чтобы повлиять на миллион людей.
Для сравнения - реклама на ТВ для того же охвата стоит миллионы.
И это работает! В исследовании люди сохраняли измененные взгляды минимум месяц. Некоторые - дольше.
И самое плохое - это доступно вообще всем. ChatGPT, Claude, Gemini - у всех есть API. Тебе нужна только кредитка.
Уже сейчас это используют:
Во время выборов в США запускали ботов, которые притворялись обычными людьми в комментах. По оценкам, они конвертили до 15% нейтральных избирателей.
Компании используют для защиты репутации - когда появляется негативная статья, боты идут в комменты и заваливают критиков аргументами.
Страны используют для пропаганды, не буду называть какие, но это есть.
Что мне теперь делать?
Честно - хрен знает. Ученые предлагают маркировать ботов, учить людей критическому мышлению, вводить технические ограничения. Но как это отследить? Как доказать? И главное - открытые модели типа Llama вообще никто не контролирует.
Я для себя решил так:
Если ИИ мне что-то утверждает - гуглю через 2-3 независимых источника. Да, долго. Да, заебало. Но иначе никак.
Если чувствую что меня заносит в спор с ботом про политику - просто закрываю и ухожу. Возвращаюсь через день.
После разговора с ИИ на спорную тему обсуждаю это с живыми людьми, которым доверяю.
Завел блокнот, где записываю свои позиции по важным вопросам. Потом если они меняются - анализирую почему.
Ирония ситуации
Мы все думали что ИИ поможет бороться с фейками. Что он будет факт-чекером. Что поможет людям отличать правду от лжи.
А оказалось что ИИ - это лучший инструмент для создания дезинформации. Потому что он быстрее, убедительнее, дешевле человека, не устает и не имеет совести.
И доступен всем. Не нужно быть хакером или программистом. Просто открой ChatGPT, напиши правильный промпт - и вперед.
Вот я это пишу и думаю - а не манипулирует ли мной сейчас ИИ, которым я пользуюсь для работы? Может это он мне подсунул это исследование? Может он специально заставил меня в это поверить?
Спасибо, технологии.






















