Стандартные отклонения (2)⁠⁠

Продолжаем знакомиться с книгой Гари Смита.
Все части выложены в серии.

Что посеешь, то и пожнёшь

Коротко для ЛЛ: К сбору данных нужно относиться ответственно. Чтобы добиться корректного сравнения, нужно сравнивать случайно отобранные группы, а не кружки по интересам. Нельзя искать рецепт успеха, спрашивая лишь тех, кто его добился. Также не стоит снимать со счетов личный интерес собравшего статистику.

Не стоит ожидать от самого лучшего компьютера чудес на выходе, если на входе снабжать его мусорными данными. Если мы попросим сделать его что-нибудь глупое, он справится с задачей. Garbage in, garbage out: что посеешь, то пожнёшь.

Иллюстрировать этот принцип можно долго. Автор рассказывает о сравнении процента студентов, которые смогли защититься, между двумя университетами. Стоит ли принимать меры, если в одном университете до диплома доходят 90% студентов, а в другом – всего 40%?  Взять и сделать первый университет дешевле, чтобы туда шло больше студентов? Казалось бы, да, но нет. Дело в том, что в университет не поступают по жребию. Каждый абитуриент знает свои способности и сообразно им делает свой выбор. Они сортируются уже до поступления, и потому сравнивать проценты смысла не имеет. В статистике это называется смещением самоотбора – self-selection bias.

Со студентами было связано ещё одно исследование, посвящённое влиянию посуды на дозу принятого алкоголя. Профессор Скотт Геллер пришёл к выводу в 1984 году, что студенты, заказывавшие пиво кружками, а не стаканами, в конечном счёте больше выпивали. Ему не пришло в голову, что если человек заказывает целую кружку, он изначально планирует нажраться. Вот если бы всем разносили дозу по жребию – тогда было бы другое дело. Но такая логика в баре не работает. Но, несмотря на это, Стэнфордский университет запретил в 2016 году большие бутылки с крепким алкоголем в студенческих общежитиях.

Из той же оперы сообщения о том, что женатая жизнь хороша для сердца. Определили это, сравнивая здоровье женатых и холостяков. Но не учли при этом, что кто-то не может жениться именно из-за плохого здоровья.

Не стоит доверять данным, полученным из опросов популярных СМИ. Во-первых, опросник дойдёт не до всех подряд, а лишь их читателей или зрителей. А во-вторых, далеко не всякий возьмёт на себя труд заполнить и отослать анкету. Я могу проиллюстрировать это отзывами на маркетплейсе, где часто можно увидеть непропорционально много негатива по той причине, что тот, кто доволен, не станет автоматом строчить отзыв, в отличие от. Если опрос длинный и нудный, то чаще всего результатом становятся экстремальные мнения. Просто потому, что это стоит усилий.

Проблемы с исходными данными возникают при так называемой ошибке выжившего. Классическим примером является стремление английских конструкторов улучшить бронирование своих самолётов во время Второй мировой войны. Весь самолёт усилить было не вариант, пришлось выбирать самые уязвимые места. Найти их предполагалось путём анализа повреждений самолётов, вернувшихся с задания.

Если взглянуть на рисунок, то первой идеей будет укрепить там, где максимальное количество пробоин. На самом же деле статистику нужно собирать со всех, а те самолёты, которые не вернулись из полёта, в этой статистике не участвуют. А возвращаются как раз выжившие, так что укреплять нужно в первую очередь места без пробоин.

Много места в исследованиях всяческого рода находит поиск рецепта разбогатеть. Наполеон Хилл продал 100 миллионов экземпляров своей книжки Думай и богатей, в которой он поместил беседы с 45 миллионерами. В девяностых годах вышла ещё одна книжка, авторы которой тоже обещали раскрыть «удивительные секреты богачей-американцев». Секреты предполагалось раскрывать путём рассылки опросника на восемь страниц с обратным конвертом и одним долларом в придачу на адрес трёх тысяч американцев, проживающих в элитных районах. Трудно представить себе, что один доллар побудить миллионера заполнить длинную анкету, но всё-таки авторы получили 1115 ответов, и 385 из них были от миллионеров. Здесь мы имеем дело всё с той же самой ошибкой выжившего. Нельзя делать это в ретроспективе. Правильно было бы идентифицировать характеристики заранее, а потом сравнивать две группы по прошествии времени. Ведь в противном случае мы не имеем дела с неудачниками, которые действовали так же, как и «уцелевшие» миллионеры.

Автор книги От хорошего к великому Джим Коллинз делает ту же ошибку: его команда истратила пять лет, изучая сорокалетнюю историю 1435 компаний и определяя лучших. У 11 «победителей» определили несколько общих характеристик, каждой из которых дали броское имя. На самом деле нужно было вернуться в начало сорокалетнего периода, который исследовал Коллинз, и взять компании, которые существовали на тот момент времени во всей их совокупности. А затем проследить за их судьбой, исходя из вероятных критериев успеха. Кто-то из них неизбежно сойдёт со сцены за сорок лет. Ну а если мы будем смотреть в прошлое успешных фирм, то всегда сможем найти что-то общее. Например, одинаковые буквы в названии. Ну а так – сегодня можно констатировать из одиннадцати победителей Коллинза двое уже обанкротились с момента выхода книжки. Акции пятерых выросли лучше, чем средний курс по бирже, а шестерых – хуже. Автор отмечает, что весь жанр рецептов успеха страдает ошибкой выжившего. Нужно предсказывать будущее, а не смотреть в прошлое.

Иногда очень трудно сравнивать варианты в будущем. Например, если спрашивать пациентов, которым поменяли сустав, то большинство из них говорит, что после стало лучше, чем до. А может быть, это психосоматика? А что было бы, если бы оставили старый сустав? Если делать по уму, то половине пациентов надо давать плацебо, а другую половину – оперировать, а потом сравнивать. Но ведь человек непременно будет знать, что его прооперировали! Однако нашлись доктора, которые придумали решение. Вместо плацебо они делали вид, что поменяли сустав: давали пациенту наркоз, кололи препараты, резали кожу и так далее, и тому подобное. И оказалось, что те, которым сустав не меняли, не чувствовали себя впоследствии хуже других.

Когда делается рандомизированное контрольное испытание (РКИ), все смотрят на получившееся значение вероятности p, которая описывает возможное случайное стечение обстоятельств. Однако часто возникает другой очень интересный вопрос: является ли обнаруженный эффект достаточно сильным, чтобы иметь практическое значение? Например, при исследовании одной из вакцин против гриппа был несомненно обнаружен эффект с p=0,00000002%. Солидно! Но что толку, если эта вакцина снижает среднее количество заболеваний с 2,1 до 1,6?

Известно, что желание получить нужный результат часто сказывается на самом результате. При этом не гнушаются манипуляций. Автор рассказывает историю калифорнийского городка Темекула, где одна компания вознамерилась построить карьер. Эти парни наняли экономиста, который насчитал 172 миллиона ежегодной прибыли с нулевыми убытками для города. Лепота!

Однако выяснилось, что 150 миллионов из этой суммы – это прибыль самой компании, а остальное – зарплата сотни рабочих, и это не новые рабочие места, поскольку постройка карьера в одном месте отменяет необходимость постройки в другом. Так что это не убытки, а прибыль для города оказалась нулевая. Эта компания имела притом наглость утверждать, что при новом карьере в городе подорожает недвижимость. Ну, технически они были правы. Недвижимость имеет свойство дорожать при росте населения. Вот только перед подорожанием она сначала резко упадёт в цене, как только построят карьер. Короче, ничего у них не вышло, предложение было отвергнуто.

Как видим, за хорошую цену найдутся желающие, которые найдут подтверждение любому абсурду и преподадут этот абсурд нам, не моргнувши глазом. Предвзятость подтвержденияthtп во всей своей красе.

Никому нельзя верить на слово. Чем провокационнее заявление – тем больше должен быть наш скептицизм. Часто выясняются примитивные ляпы, которые влетают в огромные деньги. Космическая миссия Mars Climate Orbiter, стоимостью в 300 миллионов долларов, потерпела неудачу в 1998 году по причине того, что инженеры забыли пересчитать фунты в секунду в ньютоны, так что зонд подлетел слишком близко к Марсу и сгорел в его атмосфере.

Или вот ещё случай: американский филиал знаменитого банка JP Morgan просадил от 5 до 10 миллиардов из-за того, что неправильно рассчитал риски вложений. Программист забыл при расчёте среднего разделить на число случаев. Среднее между 6 и 10 у него было 16.

Ляпов хватает и у учёных. Нашумевшее в своё время исследование Рейнхарт и Рогоффа о влиянии степени задолженности страны на экономический рост послужило основанием для введение программ экономии в разных странах. Ведь Соединённых Штаты как раз превысили тот самый порог в 90% ВВП, после которого начинается предполагаемый вред. Но когда одного студента-статистика попросили воспроизвести это исследование, у того ничего не получалось, как он ни пытался. Он обратился к самим Рейнхарт и Рогоффу, и те после долгого отмалчивания снабдили всё-таки его их исходными данными. В которых он и нашёл ошибку: область суммирования в таблице стран не была дотянута до последней строчки, так что из сравнения «хороших» и «плохих» стран-должников оказались исключены многие хорошие. Более того, выяснились и другие несоответствия. 19-летний период высокого долга у Великобритании имел тот же вес, что и однолетний период в Новой Зеландии. Короче, если мы посчитаем всё, как надо, то получится, что в период высокой задолженности экономика стран не падала в среднем на 0,1%, а росла на 2,2%.

Как видно из графика, чёткой связи для значений госдолга выше 90% ВВП не существует. Кто-то справляется, кто-то нет. Более того, кто сказал, что высокий долг влияет на рост, а не наоборот? Корреляция не означает причинной связи. Так что граждан заставляли затягивать пояса безосновательно. Сбор позднейших данных опроверг выводы Рейнхарт и Рогоффа. После кризиса 2008 года степень задолженности многих стран превысила пороговое значение 90%. США достигли 122% в 2024 году. И поди ж ты, продолжают пользоваться плодами экономического роста.

Ещё одним политизированным примером является исследование влияния абортов на преступность. Модный экономист Стивен Левитт, автор явно переоцененной Фрикономики, утверждал, что легализация абортов в США существенно снижает уровень преступности. Он аргументировал, что родившиеся нежелательные дети в неблагополучных семьях не получают достаточно заботы и становятся преступниками. Он упирал на то, что через 18 лет после легализации абортов в стране наблюдался пик числа убийств. Реальная история заключается в том, что в начале девяностых число убийств выросло для всех возрастных групп. После тщательной проверки статьи Левитта в ней нашли массу недочётов, начиная с неправильного датирования, через игнорирование роста населения и заканчивая упущением в учёте годовых изменений в статистике разных штатов. После исправления всех ошибок оказалось, что легализация абортов если и повлияла на преступность, то в сторону усиления.

Про ошибку самоотбора рассказывал в своей книжке Алекс Эдманс, а про ошибку выжившего – Кит Йейтс. Что меня удивило в этих авторских примерах – что подобные ошибки столь распространены, их делает практически каждый. И это огорчает.