ПРЕДУПРЕЖДЕНИЕ: статья длинная (очень).
Прежде чем начать, ответьте на вопрос. Это не обязательно, но вам будет гораздо интереснее читать один из блоков если вы сделаете это. Мария смотрит на Светлану, Светлана смотрит на Ирину. Мария в браке, Ирина — нет. Смотрит ли здесь кто-то в браке на кого-то не в браке? Варианты ответ: Да, Нет, Недостаточно данных.
Есть такой полезный принцип: уверенность в чём-то не должна возникать из ниоткуда. Если вы имеете сильную уверенность в некоем убеждении, то вы обязаны иметь много свидетельств в его подтверждение. Если свидетельств мало, то и уверенность должна быть низкой. Но сегодня не совсем про это.
Если вас спрашивают, почему вы в чём-то так уверены, то вы запаковываете свидетельства для передачи собеседнику. Такие запакованные свидетельства называются доказательствами, про них сейчас и поговорим. Вот четыре типа доказательств: истории, статистика, логика, авторитеты.
Истории (опыт).
Мы обожаем рассказывать истории, это явно какая-то видовая фича. Истории, это чей-то опыт - ваш, ваших знакомых, просто других людей или даже героев книг или фильмов. В бизнесе они называются кейсы, в медицине — клинические случаи. Всем известно, что истории убеждают лучше всего. Что может быть убедительнее, чем “а мне помогло” или “а у моего тестя”? Вообще-то, что угодно.
Йос Хорникс из Университета Неймегена в Голландии в 2005 году собрал метаанализ 14 исследований сравнительной убедительности доказательств. Он выяснил, что истории наименее убедительны, если дело касается изменения убеждений или отношения к чему-либо. Это в целом довольно хорошая новость, потому что истории также являются наименее надёжным типом доказательств.
Причин тому несколько, но одна из основных — не все истории интересно слушать. Поэтому для рассказа мы часто выбираем особые случаи, неожиданные статистические выбросы. То, что обычно не происходит, и поэтому привлекает наше внимание. Я вот поставил вакцину и ничего не произошло. Боюсь, эта история не вызовет вау-эффекта и вы не расскажете её друзьям.
К тому же память работает довольно ненадёжно. Каждый раз, рассказывая что-либо, мы переписываем это немного иначе. А есть ведь эффект ложных воспоминаний, когда нам кажется, что мы помним то, чего не было. Ещё хуже то, что люди врут. Не специально (хотя иногда и специально). И это только проблемы всплывающие при пересказе из первых уст.
Истории искажаются с каждым новым рукопожатием. И хотя это добавляет им художественной красочности, драматизма и юмора, но делает их крайне ненадёжной опорой для изменения убеждений о реальности. Так что в целом хорошо, что наш мозг не спешит менять свои представления на основе анекдотов.
Однако есть соревнование, в котором истории выигрывают вообще у всех остальных типов доказательств. Это мотивация к действию. Особенно в случаях связанных с угрозой жизни или здоровья вам и вашим близким. Профессор Трейси Фриллинг из университета Техаса выяснила это в мета-анализе 2020 года.
История (выдуманная). Статус: ненадежное доказательство.
Иван не пристёгивается, потому что не видит в этом смысла. Довольно легко убедить Ивана, что пристёгиваться важно с помощью статистики и логики. Но если для него это непривычно, то пристёгиваться он всё равно не будет. Хоть и станет теперь говорить: «да, я понимаю, что это влияет на вероятность выжить», и начнёт хвалить тех, кто пристегнулся. Внезапно друг Ивана, Григорий, разбивается в автокатастрофе. Мама Григория рассказывает Ивану, что Гриша не был пристёгнут, и вылетел через лобовое стекло. Иван начинает пристёгиваться даже в городе и на заднем сидении (что согласно статистике не такая уж плохая идея).
Стоит ли отказываться от использования историй в качестве доказательства? Вообще-то нет, игнорировать данные идея так себе. Просто для любого доказательства хорошо бы проверить достоверность и присвоить ему соответствующий вес.
Как проверить достоверность историй? Если речь про какие-то общеизвестные факты, то неожиданно англоязычная Википедия ваш отличный друг. Нет, это не потому, что на английском языке сложно врать. Просто его носителей очень много. Да, я знаю, что китайский давно обогнал его по суммарному количеству носителей. Но на самом деле последний факт — ложь, и для проверки всего лишь нужно зайти на Википедию.
Также есть специализированные фактчекинговые сервисы. Это такие «разрушители мифов» из мира журналистики. Информации там меньше, но зато они специализируются на популярных фейках. На русском языке есть вот такой сервис. Интервью с его основателем Ильёй Берром (это тот, кто придумывал вопросы для "кто хочет стать миллионером") можно посмотреть здесь. На английском есть, например, snopes.com.
Я, когда готовил ролик про совпадения, наткнулся на интересную историю. Евгений Петров (автор «12 стульев») рассылал письма в разные страны, выдумывая адрес и получателя. Когда письма не находили адресата, их возвращали отправителю с маркой нужной страны. И однажды вместо возврата письма ему пришёл ответ от получателя. Причём выдуманный текст письма попал в фактуру о получателе, и тот даже приложил письмо с фотографией самого Петрова. Я с историей столкнулся на ютубе (Utopia show, архивный ролик), но засветилась она много где. Если вам интересен статус этой истории, то вот ссылка на сервис указанный выше. Кстати, не все истории там оказываются мифами, как и в оригинальных «разрушителях». Вот неожиданный пример, там есть чему удивиться.
А как быть с фактами известными только узкому кругу, вроде «мой знакомый»? Есть лайфхак, который иногда работает. Спросите как зовут знакомого, и уточните детали. Это инициирует у собеседника самопроверку, потому как у нас разные стандарты точности для фраз про «одного моего знакомого», и «Петю Иванова из соседнего отдела». Ведь первое никто проверять не будет, а второе — могут.
Но неужели люди не пытаются придумать какую-то хитрую магию, для проверки историй? Вообще-то, пытаются, и имя такой штуке — научный метод. С помощью неё люди превращают истории в наблюдения. Это когда с помощью особых ритуалов истории по максимуму очищаются от минусов выше (и других искажений). Есть и спецсредство — эксперимент. Когда история специально создаётся для поверки убеждения (в науке убеждения имеющие много доказательств называются теориями, а не особо — гипотезами).
Проводить свои эксперименты может и обычный человек. Однако обычно их ценность довольно низкая. Это потому что не понимая, как работает магия, человек совершает ошибки, которые рассказывают профильным специалистам на первом курсе. А начитавшись, он начинает делать ошибки со второго. Тем не менее кое-какие полезные принципы почерпнуть всё же можно. Но если ты кушаешь бады и записываешь своё самочувствие в дневник, это всё же не совсем исследование.
Так, с историями вроде разобрались. Это слабые доказательства, которые должны немного менять убеждения, если они достоверны. Но что, если мы соберём много историй с некоторой степенью достоверности? Тогда мы перейдём к другому типу доказательств.
Статистика.
Помните Гришу из выдуманной истории про Ивана? Если обобщить опыт тысяч настоящих Гриш и их убитых горем матерей, а потом снизить детализацию чтобы не слушать это 20 часов подряд, то мы получим статистику. Конечно, это сильное упрощение, но оно демонстрирует принцип. Тысяча историй должны убеждать гораздо сильнее трёх.
В медицине есть иерархия доказательности клинических исследований. Давайте взглянем на неё (от самого сильного к самому слабому):
Рандомизированное двойное/тройное слепое плацебо контролируемое многоцентровое
Нерандомизированное контролируемое
«Случай-контроль»
Перекрёстное
Наблюдательное без группы сравнения
Описание серии клинических случаев
Клинический случай
Как видите, клинический случай и серия клинических случаев там в самом низу. Причём верхушка пирамиды это только начало ещё большей конструкции. Высоко достоверными данными в медицине принято считать наличие нескольких исследований по смежным темам, называемых систематическими обзорами (мета-анализ — это их количественный подвид).
Я к тому, что два знакомых, которым помогли нетрадиционные методы при лечении рака всё ещё немного меньше чем 1,9 миллиона человек. Истории знакомых не надо игнорировать. Просто положите их на весы, и посчитайте баланс свидетельств.
И да, с исследованиями и статистикой куча проблем. Да, в них сложно разобраться. Да, там надо смотреть размер выборки, нормальный ли журнал публиковал, кто спонсировал исследование, и когда оно проведено. Да, многие популяризаторы указывают на дизайн исследований, как будто мы способны отличить хороший от плохого. А ещё я залетаю и в одном из роликов говорю, что статистическая значимость — штука неоднозначная (кризис воспроизводимости и все дела). Но это по-прежнему другой масштаб доказательств, отличающийся не на один порядок от истории вашего знакомого. И когда люди в обсуждении начинают кидаться друг в друга исследованиями и статистикой вместо баек и анекдотов — это просто великолепно.
Статистика по исследованию Хорникса второй по эффективности способ убеждения. Иногда он не способен изменить мнение, но способен снизить уверенность. Заставить сомневаться. Но если статистика на втором месте, то кто же на первом?
Логика.
Это чудовищно эффективный инструмент. И сейчас я это докажу (за пример спасибо выступлению Алексея Каптерёва про критическое мышление у меня в плейлистах).
В начале я привёл задачку: «Мария смотрит на Светлану, Светлана смотрит на Ирину. Мария в браке, Ирина — нет. Смотрит ли здесь кто-то в браке на кого-то не в браке?». Были даны варианты ответа: «да», «нет» и «недостаточно данных». Подумайте над ответом, если этого не сделали.
Большинство людей в опросе у меня в ТГ ответило «недостаточно данных» и … ошиблись. Я покажу это за пару предложений. В задачке нет никакой хитрости или подвоха. Дело в том, что Светлана может быть только в двух состояниях (в браке/не в браке). Если она в браке, то правильный ответ на задачу «да», ведь она в браке и смотрит на Ирину не в браке. Если же она не в браке, то правильный ответ опять «да», ведь Мария в браке смотрит на неё не в браке. Правильный ответ «да» в любом возможном случае.
Если до прочтения статьи всех людей, кто отвечал на вопрос, собрали бы и дали им пообщаться на тему этой задачки, они через какое-то время пришли бы к одному и тому же выводу. Такова сила логики. Это же просто золотой инструмент доказательства! Но и у него есть проблемы.
Во-первых, логика не вероятностна. Взглянем на индукцию. Это когда мы делаем наблюдения:
• Вода кипит дома при 100 С°
• Вода кипит на улице при 100 С°
• Вода в лаборатории кипит при 100 С°
А затем делаем вывод: вода везде кипит при 100 С° (что неверно, к примеру, в горах вода закипит при меньшей температуре).
Это ещё называют ошибкой поспешного обобщения, подразумевая правильное полное обобщение (это когда перепробованы вообще все варианты). Но в чём тогда ценность вывода, если его информация уже содержится в самих наблюдениях?
К тому же в реальности мы все варианты не пробуем. Да, да — «все мужики козлы», это оно. Лекарство от этого — либо ограничить вывод наблюдаемой выборкой (в таких-то случаях вода кипит при такой температуре, Петя, Вася и Денис — козлы). Либо помножаем уверенность в выводе на долю, которую составляет наша выборка. Мы очень уверены, что все мужики козлы на основе трёх наблюдений, что составляет 0,….1% от выборки. Таким образом, для гипотезы «все мужики — козлы» наше доказательство имеет примерно никакущую ценность.
Но это индукция. Есть же дедукция, волшебный метод Шерлока Холмса и она даёт 100% точные выводы. Правда после этого заявления маленькими буковками приписывается: «если верны посылки».
Однажды придворный шут посмел продемонстрировать своё превосходство в логике над Императором. Тогда Император заковал его в кандалы, выдал две шкатулки и сказал: «в одной шкатулке ключ к твоим кандалам, вынешь его и ты свободен; в другой кинжал, вынешь его и им тебе проткнут сердце». На одной шкатулке было написано: «либо обе надписи истины, либо обе ложны», на второй: «в этой шкатулке лежит ключ». Шут правильно решил логическую задачку и открыл вторую шкатулку. Но там оказался кинжал. Шут закричал: «я же решил правильно, это невозможно!». На что Император ответил: «возможно, я просто написал эти надписи и положил кинжал во вторую шкатулку».
Ответ на задачу про девушек из опроса верен безусловно, потому как речь про абстрактную задачу, истинность посылок в ней - абсолютная. Однако в жизни вы будете опираться на неточную информацию. Я мог соврать, не знать реальный статус Светланы, ошибиться. Логика всегда позволяет сделать безусловно точный вывод, но ничего не говорит нам о достоверности посылок. Их стоит проверять и доказывать отдельно.
Вот пример. Есть такая задачка в математике, как проблема четырёх красок. Её решили доказать при помощи компьютера. Идея отличная, почему компьютеры ещё не доказывают вообще все математические теоремы? Дело в том, что компьютер выдал ответ в стиле Дугласа Адамса, только сказал не 42, а что-то типа: «да, всё верно». Но встал вопрос: а как проверить нет ли ошибки? Как проверить что программа написанная для проверки верна? В каком-то смысле исходные данные (могли быть неправильно внесены) и программа для вычисления и проверки (могла быть написана с ошибкой) это две посылки. А «да» это вывод. Это часть чуть более крупной проблемы: математические конструкции точны и идеальны. Но нам нужны отдельные доказательства их связи с реальностью. К этому, вернёмся в другой раз.
Потому как есть вопросик поважнее. Все эти вышеприведённые типы доказательств работают только когда не включены эмоции и у людей нет предубеждений. Исследователи Найхан и Рейфлер в 2011 году провели рандомизированное исследование, в котором родителям с маленькими детьми либо показали, либо не показали научную информацию, развенчивающую связь между вакцинами и аутизмом. Родители, которые до просмотра собирались с высокой вероятностью вакцинировать своих детей, повысили эту вероятность после просмотра. Родители, которые опасались вакцин, снизили вероятность того, что они привьют детей после ролика. Этот эффект обычно переводят как «эффект обратного действия».
Статистика, логика, истории — всё это не работает, если люди уже имеют какое-то мнение и вовлечены эмоции. Тогда зачем мы тут вообще собрались? Расходимся и забываем прочитанное.
Ладно, ладно. Не спешите.
Другие исследователи Портер и Вуд в 2016 году не смогли воспроизвести исходное исследование, получив совершенно иные результаты. Наметился холивар. Потом учёные собрались и устроили ритуальный бой два на два на выбывание. Ну почти, в науке вопросы решаются немного иначе. Они договорились провести более глубокое и масштабное совместное исследование для того, чтобы выяснить насколько распространён эффект и в каких условиях он срабатывает (Найхан и Рафлер на самом деле, не дожидаясь Портера и Вуда, обнаружили, что это срабатывает далеко не всегда, но надо же нагнать драматизма, а то будет неинтересно пересказывать эту историю).
В интернете и в жизни можно найти множество людей, доказывающих, что доказывать что-то бесполезно. Забавное наблюдение: делают они это при помощи историй, логики, статистики и мнений авторитетов. Кстати, о последнем.
Авторитеты
Это когда мы ссылаемся на какого-то крутого дядьку или тётьку, потому что из наших уст их мысли прозвучат недостаточно сильно.
Перед вами две цитаты Альберта Эйнштейна, но только одна из них настоящая.
1. «Человек с одними часами знает, который час. Человек с двумя часами, никогда не уверен»
2. «Любой дурак может знать, дело в том, чтобы понять»
Цитаты было бы здорово проверять на достоверность, перед использованием их в качестве доказательств чего-либо. Эти вот обе выдуманные. Это можно выяснить с помощью сайта, профилирующегося на изучении историй различных высказываний.
Но даже с реальными цитатами не всё так просто. И речь не про то, что их вырывают из контекста. Просто по абстрактным поводам довольно просто найти цитату кого-нибудь известного. Ведь как сказал Цицерон «Нет величайшей нелепости, которая не была бы сказана кем-либо из философов». Или не сказал?
Но почему для нас вообще является важным чьё-то мнение по некоторому вопросу? Потому что наши знания о мире не идеальны. И есть люди, которые обладают бОльшим количеством информации по какой-то теме. Но доказательством является именно информация, а не мнение человека её знающего. Без аргументов авторитет не имеет никакой ценности в плане доказательств, а вот аргументы без него всё ещё ценны. Но почему мы всё же считаем мнения людей доказательствами не смотря на вышесказанное?
Как сказал Александр Панчин в нашем чаепитии: «невозможно разбираться во всём. Причём невозможно разбираться хотя бы во всём, в чем полезно было бы разбираться». Именно по этой причине нам приходится полагаться на авторитетов. Мы не можем изучить все доказательства во всех нужных областях (а если изучим хотя бы одну область, то сами станем авторитетом в ней). Некоторые аргументы мы даже не можем понять.
Как это не можем понять? Ну на понимание, внезапно, нужно время. Вот пример. Есть такая ABC-гипотеза в математике. В 2012 году японский математик заявил, что смог её доказать. И нет, я не ошибся - не доказал, а заявил, что доказал. Дело в том, что разработанный им для доказательства математический язык — дико сложная штука (это вам не английский за 3 месяца выучить). В мире есть десяток математиков, способных проверить доказательство, но у них внезапно свои дела. Ведь они специалисты экстракласса и работают над своими задачами. На текущий момент доказательство ни подтверждено, ни опровергнуто. Так что когда я говорю, что мы не способны понять некоторые доказательства, я скорее имею в виду, что у нас нет столько свободного времени.
Поэтому нам приходится зачастую как бы играть в покер с экспертами. Они говорят: у меня на руках куча надёжных доказательств моей позиции. А мы, не имея возможности изучить их все, должны принять решение верить ли авторитету. Что мы можем сделать, чтобы играть лучше?
Если речь идёт про учёных, то мы можем смело верить во всё, что они говорят. Ладно, опустите бровь, я шучу. Учёные отжигают с особым шармом. Лайнус Полинг, Нобелевский лауреат по Химии продвигал крайне сомнительную даже по тем временам идею из области медицины — о пользе сверхпотребления витамина C. Люк Монтанье, тоже получивший Нобелевскую премию, как раз по физиологии и медицине за установление связи между ВИЧ и СПИД. При этом активный сторонник идеи памяти воды. Которую кстати придумал так же уважаемый учёный Жак Бенвенист - первооткрыватель фактора активации тромбоцитов. А опровергал Монтанье другой Нобелевский лауреат уже по химии Керри Мюллис - первооткрыватель полимеразной цепной реакции и… активный вич-диссидент.
Все эти люди выходили за рамки своей области, что превращает их в простых рассказчиков историй. Однако даже внутри своей области специалисты могут откланяться от такой штуки, как "научный консенсус". Это умный способ сказать: если большинство специалистов считают так, то лучшая стратегия считать так же. Иногда всё научное сообщество ошибается, как в ситуации, когда биологи в начале прошлого века традиционно насчитывали 48 хромосом у человека. Это продолжалось 23 года. Важный момент — ошибку таки заметили специалисты. Это не сделал непризнанный гений. Александр Панчин в уже упомянутом чаепитии красиво выразил эту мысль: «Если научный консенсус ошибается, не вы это выясните» (имея ввиду неспециалистов).
Где искать этот неуловимый консенсус? Вновь англоязычная Википедия вам в помощь. На всякий случай — консенсус не значит, что учёные думают под копирку. Это скорее про отделение того в чём научное сообщество больше уверено от того, в чём оно уверено меньше. И да, завтра всё поменяется. Но у научного сообщества на текущий момент всё равно старшая комбинация. И если кто-то случайно соберёт завтра лучшую комбинацию, его карта всё равно попадёт в руки к ученым.
С консенсусом есть некоторая сложность. Нас почему-то привлекают именно спорные вопросы. Интереснее всего разобраться в различных экстремальных штуках на краю научного знания, там, где максимальный хаос. Очень уж интересны нам белые дыры в космосе, при этом белые дыры у нас в голове на месте знаний куда более базовых и хорошо изученных нас волнуют, к сожалению, меньше.
Но почему мы вообще верим науке? Ответ на этот вопрос поможет разобраться, кому стоит верить вне научного знания.
Научный метод заточен на поиск ошибок. Подтверждение даёт мало информации, много её как раз в ошибках. Предсказывает Ньютоновская механика обращение небесных тел и новых знаний мы особо не получаем. А вот ошиблась в прецессии Меркурия и понеслась. Делают ли так эксперты в других областях? Ищут ли они места, где не работают их идеи, чтобы сделать эти самые идеи более точными? Некоторые делают, и им мысленно можно поставить плюсик. Скорее всего, они критичны к подбору своих карт на руках в данной покерной партии (судя по правилам тут явно не холдем).
Второй момент, в науке идёт соревнование на точность прогнозов. Астрологи не собираются раз в год и не меряются количеством угаданных неудачных понедельников у козерогов. Учёные собираются и меряются. Конкуренция — это хорошо, она в том числе рождает методы защиты от жуликов. Так что области, где есть конкуренция, правила игры и механизмы защиты от шулеров также получают плюсики.
Кроме того области должны быть в принципе предсказуемы. Эксперт по игре в рулетку — оксюморон. Но это не мешает созданию «стратегий» и «паттернов» в некоторых хаотических отраслях на зависть Скиннеровским голубям.
Озвученные выше критерии не гарантия. Однако позволяют бегло отсеять тех, у кого маловероятно на руках есть что-то серьезное.
Но как быть с более бытовыми авторитетами? Есть же интуиция, построенная на многолетнем опыте. Разве не стоит прислушаться к людям, обладающим таким опытом? Конечно стоит, но вся статья выше про то, в какой степени. Опыт это просто истории. Они ненадёжны и авторитеты построенные на них, хоть и являются источником информации о мире, но наименее точным.
