Может содержать ложь (4)⁠⁠

Продолжаем знакомиться с книгой Алекса Эдманса.
Все части выложены в серии.

Совпадение? – не думаем? ... или думаем?

Коротко для ЛЛ: Наука уже давно разработала средства для установления подлинных причин явлений. И всё равно мир сложен, так что в конечном счёте в нашем арсенале часто остаётся лишь здравый смысл. Его надо иметь с собой на все случаи жизни.

Как мы убедились, путь от корреляции к причинной связи может быть очень труден. Избавиться от общих причин у входа и выхода сложно, но иногда можно. В качестве иллюстрации автор привёл одно из первых рандомизированных контролируемых испытаний (РКИ). А именно историю, как было найдено средство против цинги, от которой за триста лет в течение эпохи великих открытий погибло два миллиона матросов. Что только не пробовали в качестве потенциального лекарства! Васко да Гама приказал своим матросам полоскать рот своей мочой. Пробовали и купорос, и электуарий (это такая пряная лекарственная паста), и прочие гадости. Но успеха не было. А всё потому, что не могли избавиться от систематической ошибки: лекарство выбирали сами матросы либо его предписывали капитаны. В 1747 году британский судовой врач Джеймс Линд разорвал этот порочный круг, предписав своим двенадцати пациентам шесть разных средств: купорос, сидр, уксус, морскую воду, лимоны с апельсинами или электуарий. Выбор лечения стал делом случая. Вы, наверное, догадались, что случилось потом: те, кто ели цитрусы, быстро выздоровели и стали помогать ухаживать за другими пациентами.

Поступая таким образом, мы можем вывести из простого совпадения причинную связь. Данные становятся свидетельством. РКИ являются золотым стандартом в этом смысле, и метод был с тех пор значительно улучшен. Линд мог и ошибиться со своим выводом, поскольку причинная связь – это всё ещё не свидетельство при возможности альтернативных объяснений. Трудно сказать, почему помогли лимоны: может они выглядели наиболее убедительным из возможных вариантов лечения, и у пациентов сработала психосоматика. Выходом из этой неопределённости стало изобретение плацебо: лекарства-пустышки. Подопытный вообще не должен знать, какое лекарство он получил и получил ли вообще.

При всей их привлекательности, РКИ имеют важный недостаток: не так-то просто проводить опыты над людьми. Иногда это может вылезть боком для тех подопытных, которым не посчастливилось оказаться в «правильной» группе. В данном случае приходится прибегать к инструментальным переменным: чему-то из внешнего мира, что не принимает участия в эксперименте, но воздействующему на него.

С помощью такого метода удалось прояснить ответ на вопрос, влияет ли на оценки учеников более широкий выбор школы их родителями. Здесь у нас классическая проблематика с общей причиной, которая влияет и на выбор школы, и на оценки. Избежать её удалось привлечением инструментальной переменной в виде количества рек в городе. Если рек много – то много и разных школ, ведь границы между школьными районами часто проходят по рекам. Оказалось, что в Бостоне, где много рек, дети учатся в среднем лучше, чем в Майами. Потому, что там у родителей есть больше школ на выбор.

Нерадивые исследователи часто стремятся приукрасить свои труды использованием инструментальных переменных, но не факт при этом, что на короле останется какое-то платье. Поскольку пригодная переменная должна, во-первых, влиять на вход, а во-вторых – не влиять на выход иначе, чем через вход. Так, количество рек в городе влияет на оценки учеников лишь посредством дробления районов. На самом деле, очень непросто найти такой инструмент. Он должен звучать безумно в плане объяснения результата эксперимента.

Силу метода демонстрирует история с исследованием влияния размера минимальной зарплаты на занятость, автор которого получил Нобеля по экономике в 2021 году. Дэвид Кард вместе с Аланом Крюгером исследовали влияние повышения МРОТ в Нью-Джерси с 4,25 до 5,05 долларов в час, начиная с апреля 1992 года. Оказалось, что после повышения занятость парадоксальным образом выросла, так что средний штат ресторанов вырос с 20 до 21 работника. Разумеется, противники нашли что ответить. Они стали, например, говорить, что рост занятости произошёл на фоне экономического роста, и если бы его не случилось, он бы получился ещё выше. «Штош,  – сказали Дэвид с Аланом –  давайте-ка сравним с соседней Пенсильванией, где не повышали минималку». И оказалось, что в Пенсильвании занятость, наоборот, упала с 23 до 21. Но и этого им оказалось мало. Они провели ещё один анализ: сравнивали занятость в ресторанах, которым пришлось поднимать зарплату, с теми, кого подъём минималки не затронул (они и до него уже платили больше). Вторая группа может рассматриваться как контрольная, которая выпила плацебо вместо лекарства. Результаты остались теми же: работодатели, которых затронул подъём минималки, набрали после него больше людей, в то время, как у остальных занятость упала.

Здесь мы имеем дело с природным экспериментом. Суть при этом в том, что инструментальную переменную задаёт «природа», то есть внешние обстоятельства, а не кто-то. Ключевым вопросом является при этом: можешь ли ты повлиять на то, в какой группе окажешься? Когда McKinsey исследовали влияние горизонта планирования на производительность компаний, они не смогли обеспечить этого, ведь решение раздвинуть горизонт принимает сама компания.

Если же мы не можем располагать ни инструментом, ни природным экспериментом, то у нас в арсенале останется ещё кое-что. А именно наш здравый смысл. С ним мы сможем хоть и не достичь истины, но хотя бы приблизиться к ней. Так, можно сделать дополнительный тест для того, чтобы поддержать свою гипотез, как сделал Алекс, когда исследовал влияние настроения участников рынка после проигрыша их команды на биржевые индексы. Оказалось, что курсы крупных компаний (акции которых держали и иностранцы тоже) проседали меньше, чем мелких (которые были в руках в основном лишь земляков проигравшей команды). Также они сделали анализ для опровержения конкурентной гипотезы. Если реакция на поражение была бы рациональна, то акции проседали бы больше в случае неожиданных проигрышей. Но нет, они проседали независимо от букмехерских рейтингов.

Но даже если мы поднялись ещё одну ступеньку лестницы, до цели – доказательства – мы всё ещё не добрались. Потому что наше новое знание может не оказаться универсальным. Автор иллюстрирует это на примере попыток применить принципы научной организации труда, открытые Фредериком Тейлором в позапрошлом веке, в системе образования. В 2001 году в США приняли закон NCLB, согласно которому к успеваемости привязали не только зарплаты учителей, но и вопрос финансирования или даже закрытия школ.

Всё было по заветам Тейлора: хорошо работаешь – получай конфетку. Нетрудно догадаться, к чему это привело: школы стали натаскивать своих учеников на экзамены вместо того, чтобы заниматься образованием. Стали сокращать количество предметов, чтобы дать больше часов на математику и чтение. Кроме этого, началось засилье учебных планов, которые, подобно тейлоровским должностным инструкциям, ставили обучение в жёсткие рамки, так что учителям предписывалось даже как пошагово учить ребёнка читать. Пошли протесты, учителя толпами пошли на выход, и в 2015 году NCLB после возражений со стороны обоих партий в Конгрессе был отменён.

Фабричные методы столетней давности не сработали. Потому что было три важных различия. Во-первых, образование не так хорошо поддаётся стандартизации: учиться – это не землю копать. Во-вторых, школьная оценка не даёт полной картины эффективности работы учителя. И в-третьих, к успеху в обучении могут привести разные пути, и выбор пути зависит от конкретного учителя и его учеников. Всё это очевидные вещи, но сторонники научных методов в образовании всё равно не смогли понять, что свидетельство – это не доказательство, потому что оно не универсально. Интерпретация результатов всегда должна базироваться на здравом смысле, и потому нужно задавать вопрос, перед тем, как начать действовать: имеются ли причины, по которым результаты могут неприменимы к контексту? Ведь мир сложен, случаются гранулярные объекты, которые реагируют по-разному.

Как мы уже знаем, реакция объекта может быть и умеренной. Многим известен тот факт, что успеха добивается не всегда самый умный, и потому нельзя, измерив IQ, заранее предсказать насколько будет успешна карьера того или иного студента. Да, определённый уровень необходим, но всё, что свыше – может не принести дополнительного успеха. Важную роль играют и упорство, и настойчивость. Но и они тоже могут оказаться полезны лишь в меру. И главное – они сыграют только в сочетании с другими факторами, тем же IQ. В данном случае мы неоправданно экстраполируем не на другой контекст, а на другой масштаб.

Рецептом автора при столкновении с ограничением масштаба является всё тот же здравый смысл. Сохраняйте ясность о предмете изучения. Если кто-то пишет про то, что А улучшает Б, то обращайте внимание на шкалу. Можно лучше пробежать марафон, выпив два литра воды вместо одного, но это не значит, что добавление ещё одного литра сделает результат ещё лучше. Здесь надо будет включить голову, прежде чем, как сделать правильный вывод.

А то так ведь примешь за чистую монету результаты исследования о бесполезности парашютов, проведённого кардиологами Гарварда по всем правилам РКИ. Они не нашли разницы при прыжках с борта самолёта или вертолёта с парашютом или без. Всё у них было верно, но для правильного вывода нужно указать одну деталь: во время экспериментов и самолёт, и вертолёт были припаркованы на аэродроме, так что высота прыжка была всего с полметра.

Свидетельство не может стать доказательством ещё по одной причине: нашего неведения. Если мы железобетонно показали, что А влияет на Б и не обнаружили при этом ни одной систематической ошибки, то это не значит того, что этой общей причины не может быть. Она по-прежнему может существовать, но мы о ней просто не знаем на данный момент. С этой точки зрения, наше знание о мире не может быть исчерпывающим, а окончательных истин тоже нет. Мы движемся к более полному знанию, но никогда не достигнем совершенства.