Что точнее: прогнозы политического эксперта или рандомная угадайка?
В 1984 году психолог Филип Тетлок из Пенсильванского университета собрал 284 эксперта и попросил их сделать прогнозы в своих областях.
Советолога спрашивали об СССР, специалиста по международной торговле – про международную торговлю.
К 2003 году накопилось ~28 тысяч предсказаний обо всем на свете. Тетлок измерил их точность и опубликовал результаты в книге.
Эксперты оказались лишь немного точнее рандома, и при этом регулярно проигрывали простейшим приемам вроде "продолжи текущий тренд" или "предположи, что ничего не изменится".
Диванный аналитик со средним образованием справлялся не хуже профессора, который не вылезает из СМИ.
Внутри своей выборки Тетлок выделил две группы экспертов.
а) "Ежи" (эксперты, объясняющие мир через одну большую идею) были очень уверены в своих прогнозах. И вот они оказались хуже случайного угадывания.
б) "Лисы" (менее зашоренные, открытые к пересмотру выводов при новых данных) были единственной группой экспертов, которые статистически побеждали случайность.
Но даже самые лучшие "лисы" все равно проигрывали формальным статистическим моделям ("экстраполируй тренд" и проч.)
1. Законы медиа. Телепродюсеру не нужен эксперт, который говорит очевидное. Нужен тот, кто вскрыл скрытую причинно-следственную связь и видит неочевидное будущее. Самоуверенность и оригинальность важнее точности.
2. Для эксперта-завсегдатая ток-шоу социальная цена неправильного мнения выше, чем эпистемологическая. Лучше ошибиться, чем быть выписанным из своего сообщества. Многие публичные прогнозы и аналитические тексты создаются не точности ради, а чтобы единомышленники чувствовали себя уверенно.
Исследование Тетлока – проверяемое и по всей науке, но не стоит обесценивать любых экспертов.
Очевидно, кардиолог знает про сердце больше вас, и вулканолога вы не обыграете на его поле, профессионального баристу тоже не обыграете.
Но когда речь заходит о геополитических прогнозах (и вообще, о том, что произойдет в непросматриваемом будущем), диплом и специализация не дают статистически значимого преимущества.
Исследование Тетлока показало, что уверенность эксперта и точность его прогнозов в этой области не коррелируют, даже больше – часто все еще хуже, чем у не-экспертов.
