5. Ошибочность рассуждений, вызванная эффектом подтверждения

В 1960 году Питер Уосон (Peter Wason) провел ныне классический эксперимент, известный как задача '2-4-6' [Wason, 1960.] Испытуемые должны были определить правило, известное экспериментатору, но не самому испытуемому — так, как оно бывает при научном исследовании. Испытуемые писали три числа, таких как '2-4-6' или '10-12-14' на карточках, и экспериментатор говорил, соответствуют ли данные три числа правилу или нет. Изначально субъектам была выдана тройка чисел 2-4-6 и сказано, что она соответствует правилу. Испытуемые могли продолжать испытывать тройки до тех пор, пока они не чувствовали себя уверенными, что знают правило экспериментатора, и тогда испытуемым объявляли правило.
Хотя участники обычно выражали высокую уверенность в своих догадках, только 21% из них в этом эксперименте правильно угадали правило, и при повторениях эксперимента уровень успеха обычно составлял 20%. Вопреки совету Карла Поппера, испытуемые в эксперименте Уосона пытались подтвердить свои гипотезы, а не опровергнуть. Таким образом, те, кто сформулировали гипотезу «Числа увеличиваются каждый раз на два», проверяли тройки 8-10-12 или 20-22-24, слышали, что они подходят, и уверенно объявляли правило. Во всех случаях подлинное правило было одно и тоже: три номера должны следовать один за другим по возрастающей. В некоторых случаях испытуемые выдумывали, «тестировали» и объявляли правила, гораздо более сложные, чем действительное.
Задача Уосона «2-4-6» является «прохладной» формой интеллектуальной ошибки, связанной с подтверждением: люди предпочитают подтверждающие, а не опровергающие свидетельства. «Прохладный» означает, что задача «2-4-6» является эмоционально нейтральным случаем интеллектуальной ошибки подтверждения: вывод подтверждается логикой, а не эмоциями. «Горячий» случай имеет место, когда вера эмоционально заряжена, например, в случае политических рассуждений. Неудивительно, что «горячая» ошибочность сильнее — больше по размаху и более устойчивая к изменениям. Активная, полная усилий склонность к подтверждению обычно называется мотивированным мышлением (motivated cognition) (обычно известным как «рационализация»). Как отмечает Бреннер [Brenner, 2002] в «Заметках к теории одобрения»:
«Очевидно, что во многих обстоятельствах желание уверенности в гипотезе может заметно повлиять на воспринимаемую степень ее подтверждения... Канда [Kunda, 1990] обсуждает, как люди, нацеленные на то, чтобы достичь определенных выводов, пытаются сконструировать (в ошибочной манере) убедительный случай для своей любимой гипотезы, который мог бы убедить беспристрастную аудиторию. Джилович [Gilovich, 2000] предполагает, что выводы, в которые человек не хочет верить, рассматриваются гораздо требовательнее, чем те, в которые он хочет верить. В первом случае человек требует, чтобы свидетельство с необходимостью вело к данному выводу, а во втором — спрашивает, позволяет ли некоторое свидетельство придти к данному выводу».
Когда люди подвергают те свидетельства, которые противоречат их точке зрения, более пристрастному анализу, чем те, которые ее подтверждают, это называется мотивированный скептицизм или когнитивное искажение несогласия (disconfirmation bias). Ошибка несогласия особенно деструктивна по двум причинам: во-первых, два подверженных этой ошибке спорщика, рассматривая один и тот же поток свидетельств, могут изменить свою веру в противоположных направлениях — обе стороны выборочно принимают только привлекательные для них свидетельства. Накопление большего числа свидетельств не приведет этих спорщиков к согласию. Во-вторых, люди, которые являются более опытными скептиками, – то есть которые знают больший набор типичных логических нестыковок, но применяют этот навык избирательно, – склонны изменять свою точку зрения гораздо медленнее, чем неопытные спорщики.
Тэйбер и Лодж [Taber and Lodge, 2000] исследовали изначальное отношение к теме ношения огнестрельного оружия и изменение его у студентов, под воздействием прочтения политической литературы за и против контроля и выдачи разрешений на оружие. Это исследование проверило шесть следующих гипотез в двух экспериментах:
1. Эффект предшествующего отношения. Испытуемые, имевшие изначальную точку зрения на проблему — даже когда их поощряли в том, чтобы они были объективными — находили поддерживающие аргументы более охотно, чем опровергающие.
2. Систематическая ошибка опровержения. Испытуемые тратили больше времени и умственных усилий, стараясь отклонить опровергающие аргументы, чем поддерживающие аргументы.
3. Систематическая ошибка подтверждения. Испытуемые, свободные выбирать источники информации, скорее искали подтверждающие, чем опровергающие источники.
4. Поляризация отношения. Предъявление субъектам очевидно уравновешенного набора аргументов за и против приводило к увеличению изначальной поляризации их мнений.
5. Эффект силы мнения. Испытуемые, имеющие более ярко выраженное мнение, были более подвержены вышеназванным склонностям к ошибке.
6. Эффект усложнения. Более искушенные в политике испытуемые, по причине обладания более тяжелым вооружением для опровержения противных фактов и доводов, были более подвержены вышеприведенным систематическим ошибкам.
Забавно, что эксперименты Тэйбера и Лоджа (Taber and Lodge) подтвердили все шесть изначальных гипотез авторов. Вы можете сказать: «Вероятно, эти эксперименты только отражают верования, на которые опирались их авторы, и это как раз пример систематической ошибки подтверждения». Если так, то, сделав вас более опытным спорщиком, а именно, научив вас еще одной систематической ошибке, в которой можно обвинить людей, я, в действительности, навредил вам: я ослабил вашу реакцию на новую информацию. Я дал вам еще один шанс всякий раз терпеть неудачу, когда вы сталкиваетесь с возможностью изменить свой стиль мышления.
Эвристика и когнитивные искажения широко распространены в человеческих размышлениях. Знание о них позволяет нам замечать большое разнообразие логических ошибок, которые, в противном случае, были бы недоступны для нашего наблюдения. Но, как и любая способность обнаруживать ошибки в рассуждениях, это знание должно применяться обоюдосторонне: как к нашим собственным идеям, так и к идеям других; к идеям, которые нам нравятся, и которые нам не нравятся. Знание человеческой склонности ошибаться — это опасное знание, если вы напоминаете себе об ошибочности тех, кто не согласен с вами. Если я избирателен в отношении тех аргументов, которые я исследую на предмет ошибок, или даже того, насколько глубоко я исследую эти ошибки, тогда каждый новый закон логики, каждая новая логическая несообразность, которую я научаюсь обнаруживать, делает меня глупее. Ум, чтобы быть полезным, должен быть использован не для того, чтобы дурачить самого себя.
Нельзя рационализировать то, что не рационально с самого начала — как если ложь назвать «правдизацией». Нельзя сделать утверждение более истинным посредством взяточничества, лести или даже страстной аргументации — можно заставить больше людей верить в утверждение, но нельзя сделать его вернее. Для того, чтобы сделать наши верования более истинными, мы должны изменить сами эти верования. Не каждое изменение — это улучшение, но каждое улучшение — это изменение по определению.
Наши верования гораздо более подвижны, чем мы привыкли думать. Гриффин и Тверский [Griffin and Tversky, 1992] осторожно опросили 24-х своих коллег на тему выбора между двумя предложениями по работе и попросили их оценить вероятность того, что они его выберут, для каждого из предложений. Средняя вероятность выбора, высказанная в отношении более привлекательного предложения, составила умеренные 66%. Но только один из 24 опрошенных выбрал в конечном счетt вариант, которому он приписал в начале более низкую вероятность, увеличив общую точность предсказания до 96 процентов. (Это — один из немногих известных примеров, когда имеет место не «сверх-уверенность», а «недо-уверенность».)
Мораль в том, что как только вы начинаете догадываться, каков будет ваш ответ, как только вы приписываете большую вероятность тому, что вы ответите так, а не иначе, вы, на самом деле, уже решили. И если вы будете честны с самим собой, вы должны признать, что обычно вы догадываетесь об окончательном ответе через секунды после того, как услышите вопрос. Мы меняем наши мнения гораздо реже, чем мы думаем. Насколько скоротечен этот короткий незаметный момент, когда мы даже не можем догадаться, каков будет наш ответ, малюсенькое хрупкое мгновение, которое нам отведено, чтобы на самом деле подумать — как в вопросах выбора, так и в вопросах установления фактов.
Шенкель (Shenkel) говорил: «Нет необходимости в вере, пока ситуация может быть легко рассмотрена тем или другим образом».
Норман Майер (Norman R. F. Maier): «Не предлагайте решения до тех пор, пока проблема не будет исследована так тщательно, как это только возможно».
Робин Доуз (Robyn Dawes), комментируя Майера, писал: «Я часто предлагал это правило группам, которые я вел, в частности, когда они сталкивались с особенно трудной проблемой. Это – типичная ситуация, когда члены группы особенно склонны предлагать мгновенные решения».
В компьютерной безопасности «система, которой доверяют» (trusted system) — это та, которой вы на самом деле доверяете, а не та, которая достойна доверия. «Система, которой доверяют» — это система, которая, будучи скомпрометированной, способна вызвать ошибку. Когда вы читаете статью, утверждающую, что глобальная катастрофа невозможна, или имеет определенную годовую вероятность, или может быть преодолена с использованием определенной стратегии — вы доверяете рациональности авторов. Вы доверяете способности авторов переходить от удобных выводов к неудобным, даже в случае отсутствия сногсшибательных экспериментальных свидетельств, опровергающих любимую гипотезу. Вы доверяете авторам в том, что они не искали немного более интенсивно ошибки в тех уравнениях, которые указывали на неверный, с их точки зрения, путь, до того, как

3. Черные лебеди

Талеб [Taleb, 2005] предположил, что ошибки последующего знания и доступности несут первостепенную ответственность за нашу неспособность защититься от того, что Талеб назвал Черными Лебедями. «Черные лебеди» являются особенно серьезным аспектом проблемы мощных последствий: иногда б;льшая часть вариативности процесса происходит из исключительно редких, но исключительно масштабных событий. Представьте себе финансовый инструмент, который зарабатывает $10 с 98% вероятностью, но теряет $1000 с 2% вероятностью. В конечном счете, расход перевешивает доход, но инструмент выглядит как устойчиво выигрышный. Тэйлеб (2001) приводит пример трейдера, чья стратегия работала 6 лет без единого убыточного квартала, принося около $80 миллионов — и затем он потерял $300 миллионов в одной катастрофе.
Другим примером является Long-Term Capital Management, инвестиционный фонд, в состав основателей которого входили два Нобелевских лауреата по экономике. В течение Азиатского кризиса и российского дефолта 1998 года рынки вели себя совершенно беспрецедентным образом, имевшим пренебрежимо малую вероятность по исторической модели, использованной LTCM. В результате LTCM начал терять по $100 миллионов в день, день за днем. За один день в 1998 году он потерял более $500 миллионов [Taleb, 2005]
Основатели LTCM позже назвали рыночные условия 1998 года очень маловероятным событием с вероятным отклонением в десять сигма . Но очевидно, что это событие, раз оно случилось, не было столь невероятным. Ошибочно веря, что прошлое предсказуемо, люди пришли к выводу, что будущее тоже предсказуемо. Как пишет Фишхофф [Fischhoff, 1982]:
«Когда мы пытаемся понять события прошлого, мы косвенным образом проверяем гипотезы и правила, применяемые нами, чтобы интерпретировать и воспринимать мир вокруг нас. Если, благодаря последующему знанию, мы систематически недооцениваем сюрпризы, которые могли быть в прошлом, мы подвергаем эти гипотезы ненадлежаще слабым тестам и, вероятно, не находим никаких оснований для их изменений».
Урок истории состоит в том, что такие неприятности, как «черные лебеди», случаются. Люди удивляются катастрофам, которых они не ожидали, которые лежат за пределами известных им исторически вероятных распределений. Но почему мы бываем так ошеломлены, когда «черные лебеди» случаются? Почему LTCM занял $125 миллиардов под $4.72 миллиарда собственности, практически гарантируя, что любая крупная неприятность их обанкротит?
По причине ошибки из-за последующего знания, мы выучиваем очень специфические уроки. После 11 сентября американское управление авиации запретило использование ножей для разрезания бумаги на самолетах. В ретроспективе это событие выглядит слишком предсказуемым, позволяя разъяренным жертвам считать случившееся результатом халатности — такой, как неспособность разведывательных агентств различить предупреждения об активности Аль-Каиды среди тысяч других предупреждений. Мы научились не позволять захваченным самолетам летать над нашими городами. Но мы не выучили урок: «черные лебеди» случаются. Делай, что можешь, чтобы приготовиться к неожиданному».
Талеб [Taleb, 2005] пишет:
«Трудно мотивировать людей к предотвращению «черных лебедей»... Защита с трудом воспринимается, измеряется и вознаграждается; это обычно незаметный и неблагодарный труд. Представьте себе, что некая дорогостоящая мера была предпринята, чтобы предотвратить такое явление. Легко вычислить стоимость этих мер, тогда как результат трудно измерим. Как мы можем говорить об эффективности, когда есть два альтернативных варианта объяснения: или принятые меры были эффективны, или просто ничего существенного не случилось. Оценка качества работы в таких случаях не просто сложна, но искажена наблюдением «актов героизма»... В исторических книгах не пишут о героических превентивных мерах».

4. Ошибочное включение лишнего элемента
Линде 31 год, она незамужняя, искренняя и оптимистичная девушка. В колледже она специализировалась на философии. Как студентка, она была глубоко озабочена проблемами дискриминации и социальной справедливости, а также участвовала в антиядерных демонстрациях.
Расположите следующие утверждения в порядке уменьшения их достоверности.
1. Линда — учитель в начальной школе.
2. Линда работает в книжном магазине и занимается йогой.
3. Линда — активистка феминистского движения
4. Линда — социальный работник в области психиатрии
5. Линда — член общества женщин, имеющих право голоса.
6. Линда — кассир в банке
7. Линда — страховой агент
8. Линда — кассир в банке и активистка феминистского движения
89% из 88 студентов посчитали пункт 8 более вероятным, чем пункт 6 [Tversky и Kahneman, 1982]. Поскольку выбранное описание Линды похоже на описание феминистки, а не банковского кассира, п.8 в большей мере характерен для описания Линды. Однако, считая п.8 более вероятным, чем п.6, мы нарушаем закон суммирования вероятностей, который утверждает, что p(A&B) ; p(A). Представьте себе выборку из 1000 женщин. Наверняка в этой выборке больше женщин — банковских кассиров, чем женщин-феминисток и одновременно банковских кассиров.
Может быть, ошибочное включение лишнего элемента связана с тем, что участники воспринимали экспериментальные инструкции неправильно? Например, они могли понять под «вероятностью» вероятность того, что женщина, для которой верны утверждения 6 и 8, соответствует приведенному выше описанию Линды, а не вероятность утверждений 6 и 8 в отношении Линды? Или, возможно, они интерпретировали 6 как означающее «Линда — кассир и не феминистская активистка»? И, хотя, чтобы объяснить склонность к этой логической ошибке, было предложено много интересных альтернативных гипотез, она пережила все экспериментальные попытки ее опровержения (см. обзор [Sides, 2002].) Например, следующий эксперимент исключает обе альтернативные гипотезы, предложенные выше.
Представьте себе правильный 6-сторонний кубик с четырьмя зелеными сторонами и двумя красными. Кубик будет брошен 20 раз и последовательность выпадения зеленых (G) и красных (R) сторон будет записана. Испытуемый должен выбрать одну последовательность из трех предложенных, и он выиграет $25, если выбранная им последовательность выпадет в серии бросков кубика. Вот эти три последовательности, надо выбрать одну из них.
1. RGRRR
2. GRGRRR
3. GRRRRR
125 студентов в Стэнфордском университете играли в эту игру с реальными ставками. 65% из них выбрали последовательность 2. [Tversky и Kahneman, 1982]. Последовательность 2 наиболее типична для игральной кости, поскольку кость большей частью зеленая и последовательность 2 содержит наибольшую пропорцию зеленых сторон. Однако, последовательность 1 превосходит последовательность 2, поскольку полностью входит в нее. Чтобы получилось 2, у вас должна выпасть последовательность 1 и зеленая грань кости перед ней.
В приведенной выше задаче студенты могли вычислить точные вероятности каждого события. Однако вместо того, чтобы тратить время на арифметические вычисления, 65% студентов, по-видимому, полагались на интуицию, исходя из того, что казалось более типичным для игральной кости. Когда мы называем это умозаключением по типичности, мы не настаиваем на том, что студенты специально решили, что они будут оценивать вероятность, исходя из типичности. Скорее, умозаключение по типичности является как раз тем, что создает интуитивное чувство, будто последовательность 2 более вероятна, чем последовательность 1. Другими словами, умозаключение по типичности является встроенной характеристикой мозга, предназначенной, чтобы давать быстрые достоверные суждения, а не сознательно выбранной процедурой. Мы не осознаем подмены суждением о типичности суждения о достоверности.
Ошибочное включение лишнего элемента подобным же образом происходят в футурологических прогнозах. Две независимых группы профессиональных аналитиков на Втором Международном Конгрессе по Предвидению Будущего были опрошены, соответственно, о вероятности «полного разрыва дипломатических отношений между СССР и США в 1983 году» и «русского вторжения в Польшу, и последующего полного разрыва дипломатических отношений между СССР и США в 1983 году». Вторая группа аналитиков сообщила о значительно более высокой вероятности. [Tversky и Kahneman, 1982].
В исследовании Джонсона [Johnson, 1993], группа студентов MBA из Уортона должна была отправиться в Бангкок в качестве части своей образовательной программы. Несколько подгрупп студентов было опрошено на тему, как много они готовы заплатить за антитеррористическую страховку. Первой группе был задан вопрос, сколько она готова заплатить за антитеррористическую страховку, покрывающую перелет из Таиланда в США. Вторую группу студентов спросили, сколько она готова заплатить за страховку, покрывающую перелет туда-обратно. А третью — о страховке, которая бы покрывала все путешествие. Эти три группы оказались в среднем готовы заплатить $17.19, $13.90, и $7.44 соответственно.
С точки зрения теории вероятностей, добавление дополнительной детали к истории делает ее менее вероятной. Менее вероятно, что Линда является кассиром-феминисткой, чем просто кассиром, поскольку все кассиры-феминистки по определению являются кассирами. Но с точки зрения человеческой психологии добавление каждой новой детали делает историю все более достоверной.
Люди могут предпочесть заплатить больше за международную дипломатию, направленную на предотвращение нанотехнологической войны с Китаем, чем за инженерный проект, предназначенный, чтобы защитить от нанотехнологической атаки с любой возможной стороны. Второй сценарий предотвращения выглядит менее зрелищным и побуждающим, но универсальная технологическая защита будет более полезной по причине своей многосторонности. Более ценными выглядят стратегии, которые уменьшают вероятности истребления человечества без жесткой зацикленности только на нанотехнологических угрозах — такие, как колонизация космического пространства или искусственный интеллект (см. работы автора на эту тему). Брюс Шнейер заметил что правительство Соединенных Ш

Нашел случайно интересную статью, но она здоровая, буду выкладывать по частям (благо разбита удобно).

Ну, поехали!
-------------------------------------------------------------------------------


Введение
При всех прочих равных, мало кто из людей хотел бы уничтожить мир. Даже безликие корпорации, лезущие не в свои дела правительства, безрассудные ученые и прочие опасные люди нуждаются в окружающем мире, чтобы достигать в нем своих целей, таких как нажива, власть, собственность или другие малоприятные вещи. Если гибель человечества будет происходить настолько медленно, что успеет произойти ужасное осознание этого процесса, то деятели, запустившие его, будут, вероятно, ошеломлены пониманием того, что они, в действительности, уничтожили мир. Поэтому я предполагаю, что, если Земля будет все-таки уничтожена, то произойдет это, вероятно, по ошибке.
Систематическое экспериментальное исследование повторения ошибок в человеческих рассуждениях и того, что эти ошибки говорят о предшествующих им ментальных процессах, изучается в когнитивной психологии в рамках исследований эвристики и предубеждений. Эти исследования привели к открытиям, очень существенным для экспертов по рискам глобальных катастроф. Допустим, вы беспокоитесь о рисках, связанных с неким взрывчатым веществом Р, способным разрушить всю планету, если оно подвергнется достаточно сильному радиосигналу. К счастью, имеется знаменитый эксперт, который открыл субстанцию Р, потратил тридцать лет, работая с ней, и знает ее лучше, чем любой другой на Земле. Вы звоните эксперту и спрашиваете, насколько сильным должен быть радиосигнал, чтобы вещество взорвалось. Эксперт отвечает, что критический порог находится, вероятно, на уровне 4.000 тераватт. «Вероятно?» — Спрашиваете вы. «Можете ли вы мне сообщить интервал мощности запускающего сигнала с 98%-й уверенностью?» — «Конечно, — отвечает эксперт. — Я на 99% уверен, что критический порог больше 500 тераватт, и на 99% уверен, что он меньше 80.000 тераватт.» «А как насчет 10 тераватт?» — спрашиваете вы. «Невозможно», — отвечает эксперт.
Приведенная выше методология опроса эксперта выглядит совершенно резонной, такой, какую должен использовать любой компетентный работник, сталкиваясь с подобной проблемой. И в действительности, эта методология была использована при исследовании безопасности реакторов [Rasmussen, 1975], ныне считающемся первой значительной попыткой вероятностной оценки рисков. Но исследователь моделей рассуждений и погрешностей в рассуждениях может распознать, по крайней мере, два больших недостатка в этом методе, — не просто логических слабых места, а пару обстоятельств, чрезвычайно уязвимых к человеческой ошибке.
Исследования эвристики и когнитивных искажений открыли результаты, которые могут напугать и привести в уныние неподготовленного ученого. Некоторые читатели, впервые сталкивающиеся с экспериментальными результатами, цитируемыми здесь, могут удивиться и спросить: «Это действительно экспериментальные результаты? Действительно ли люди так плохо предсказывают? Может быть, эксперименты были плохо организованы, и результаты изменятся, если совершить такие-то и такие-то манипуляции?» Не имея достаточно места для объяснений, я могу только призвать читателя проконсультироваться с основополагающей литературой. Очевидные изменения условий опытов уже применялись, и результаты от этого не становились другими.

1. Доступность информации
Предположим, вы возьмете случайное слово из трех или более букв из английского текста. Что более вероятно: что слово начинается с буквы R ("rope"), или что его третья буква R ("park")?
Основная идея исследований когнитивных искажений (euristic and biases program) состоит в том, что человеческие существа используют методы мышления, называемые эвристикой, которые дают хорошие приблизительные ответы в большинстве случаев, но которые также приводят к увеличению системных ошибок, называемых когнитивными искажениями (bias). Примером эвристики является суждение о частоте или вероятности события по его информационной доступности (availability), то есть по легкости, с которой примеры подобного события приходят на ум. «R» появляется в качестве третьей буквы в большем числе английских слов, чем на первом месте, но гораздо легче вспомнить слова, которые начинаются на эту букву. Таким образом, большинство респондентов предполагают, что слова, начинающиеся на букву R, встречаются чаще. [Tversky and Kahneman, 1973.]
Когнитивные искажения, основанные на эвристике доступности, влияют на оценки риска. Пионерское исследование Лихтенштейна [Lichtenstein, 1978] описывает абсолютную и относительную достоверность суждений о риске. Люди в общих чертах представляют, какие риски причиняют большее число смертей, и какие – меньшее. Однако, когда их просят посчитать риски точнее, они весьма переоценивают частоты редких причин смерти, и сильно недооценивают частоты обычных. Другие повторяющиеся ошибки, выявленные в этом исследовании, также были очевидными: аварии считались причинами такого же количества смертей, что и болезни (на самом деле болезни в 16 раз чаще становятся причинами смертей, чем аварии). Убийство неверно считалось более частой причиной смерти, чем диабет или рак желудка. В исследовании Комбса и Словица [Combs and Slovic, 1979] был проведен подсчет сообщений о смерти в двух газетах, в результате была обнаружена высокая корреляция между суждениями о достоверности и выборочностью репортажей в газетах (0,85 и 0,89).
Также люди отказываются покупать страховку от наводнений, даже если она хорошо субсидируется и стоит гораздо ниже справедливой рыночной цены. Канрейсер [Kunreuther,1993] предполагает, что слабая реакция на угрозы наводнений может происходить из неспособности индивида представить себе наводнение, которое на их глазах никогда не случалось. Жители затапливаемых равнин оказываются в плену своего опыта. По-видимому, люди не могут всерьез беспокоиться о возможности потерь и разрушений б;льших, чем пережитые во время последних наводнений. Бертон [Burton, 1978] сообщает, что после строительства дамб и насыпей наводнения происходят реже, что, видимо, создает фальшивое чувство безопасности, ведущее к снижению мер предосторожности. В то время как строительство дамб уменьшает частоту наводнений, ущерб от каждого наводнения все-таки происходящего настолько возрастает, что среднегодовой ущерб увеличивается.
Кажется, что люди не экстраполируют опыт пережитых малых опасностей на возможности более серьезных рисков; наоборот, прошлый опыт малых опасностей устанавливает верхнюю границу ожиданий максимально возможного риска. Общество, хорошо защищенное от малых опасностей, не будет предпринимать никаких действий по отношению к большим рискам. Например, часто ведется строительство на затапливаемых равнинах после того, как регулярные малые наводнения устранены. Общество, подверженное регулярным малым опасностям, будет считать эти малые опасности в качестве верхней границы возможных рисков (защищаясь от регулярных малых наводнений, но не от неожиданных больших).
Аналогично, риск человеческого вымирания может быть недооценен, поскольку, очевидно, человечество никогда не сталкивалось с этим событием .

2. Когнитивные искажения, связанная со знанием «задним числом».

Когнитвиные искажения, связанная со знанием «задним числом» происходит, когда субъект, узнав окончательный итог событий, дает гораздо б;льшую оценку предсказуемости именно этого итога, чем субъекты, которые предсказывают итог без знания результата. Эта ошибка иногда называется «я-все-это-время-чувствовал-что-так-оно-и-есть».
Фисчхофф и Бейс [Fischhoff и Beyth, 1975] представили студентам исторические отчеты о малоизвестных событиях, таких, как конфликт между гуркхами и англичанами в 1814 году. Пять групп студентов, получивших эту информацию, были опрошены в отношении того, как бы они оценили степень вероятности каждого из четырех исходов: победа англичан, победа гуркхов, патовая ситуация с мирным соглашением или пат без соглашения. Каждое из этих событий было описано как реальный итог ситуации одной из четырех экспериментальных групп. Пятой, контрольной группе о реальном исходе не говорили ничего. Каждая экспериментальная группа приписала сообщенному ей итогу гораздо б;льшую вероятность, чем любая другая или контрольная группа.
Эффект знания «задним числом» важен в суде, где судья или присяжные должны определить, виновен ли обвиняемый в преступной халатности, не предвидев опасность. [Sanchiro, 2003]. В эксперименте, основанном на реальном деле, Кэмин и Рачлински [Kamin and Rachlinski, 1995] попросили две группы оценить вероятность ущерба от наводнения, причиненного закрытием принадлежащего городу разводного моста. Контрольной группе сообщили только базовую информацию, бывшую известной городу, когда власти решили не нанимать мостового смотрителя. Экспериментальной группе была дана эта же информация плюс сведения о том, что наводнение действительно случилось. Инструкции устанавливают, что город проявляет халатность, если поддающаяся предвидению вероятность наводнения больше 10 процентов. 76 % опрашиваемых из контрольной группы заключили, что наводнение было настолько маловероятным, что никакие предосторожности не были нужны. 57% экспериментальной группы заключили, что наводнение было настолько вероятно, что неспособность принять меры предосторожности была преступной халатностью. Третьей группе сообщили итог и также ясным образом инструктировали избегать оценки задним числом, что не привело ни к каким результатам: 56% респондентов этой группы заключили, что город был преступно халатен. Отсюда видно, что судьи не могут просто инструктировать присяжных, чтобы те избежали эффекта знания задним числом: Меры против предвзятости (debiasing manipulation) не работают.
Рассматривая историю сквозь линзы нашего последующего знания, мы сильно недооцениваем затраты на предотвращения катастрофы. Так, в 1986 году спейс шаттл Челленджер взорвался по причине того, что кольцевой уплотнитель потерял гибкость при низкой температуре [Ro