Стандартные отклонения (1)⁠⁠

Сегодня надежды очень многих связаны с нежным цветком искусственного интеллекта, растущем на громаде Больших данных. Делаются регулярные прогнозы, что Большие языковые модели скоро превзойдут человека, да что там превзойдут, уже превзошли. Разработку ИИ сравнивают с такими достижениями человека, как огонь, колесо и электричество. Абсурд! Нейросеть тупа, как валенок и не понимает связи данных и реального мира. Сегодня реальная опасность не в том, что компьютер нас перегонит, а в том, что мы, уверенные в его превосходстве, сами предоставим ему свободу действий там, где он не разбирается. Человек – вот кто имеет опыт, мудрость, здравый смысл и критическое мышление. Эти качества нам помогут найти значение в грудах данных. Нужно только захотеть. Чего нам может не хватать – это знания того, как уберечься от ошибок. Это знание обещает дать нам американский профессор-экономист Гари Смит.

Что будет, если достаточно долго пытать данные

Коротко для ЛЛ: Если достаточно долго пытать данные, они признаются. Подобное занятие любят очень многие учёные, стремясь нарыть какую-нибудь закономерность. И, надо сказать, они имеют успех.

Многие из нас помнят о знаменитом осьминоге Пауле, который успешно предсказал предсказал результаты восьми финальных матчей Кубка мира по футболу 2010 года. Всякий раз он брал еду из кормушки, помеченной флагом победившей впоследствии команды. Конечно, головоногим не откажешь в определённом интеллекте, но никому в голову не придёт предположить, что они разбираются в футболе. Что помогло Паулю делать выбор – это его зрение. Не сказать, чтобы оно было очень хорошим. Он и цветов-то не различал. Но зато известно, что осьминогов привлекают горизонтальные формы. И надо сказать, что флаги стран, которые побеждали во всех этих матчах – Германии, Сербии и Испании – состоят из горизонтальных горизонтальных полос. А может быть, ему по каким-то причинам понравился флаг Германии, которая была фаворитом большинства этих матчей.

Хотя кто знает – быть может, в его окружении нашёлся кто-то, кто страдал от избытка свободного времени и решил развлечься. Так тоже уже случалось. Горила Канда из зоопарка Далласа угадал исход девяти матчей NFL из четырнадцати – вполне солидный результат. Или дельфин Минди из Миннесоты: тот тоже успешно предсказывал NFL, выбирая куски плексигласа с лого команды-победителя. Проблема, правда, в том, что в новости попадают те животные, у которых что-то получилось с прогнозами. Всех остальных неудачных предсказателей сразу забывают.

Человек устроен так, что всегда ищет закономерности в картине окружающего мира. Эта способность помогла нашим предкам выжить и размножиться в неблагоприятных условиях. Но в современном мире она стала приносить проблемы. Мы делаем плохо обоснованные выводы, хватаемся за любые подтверждения и отбрасываем неудобные данные. Когнитивные искажения делают нас уязвимыми перед всякого рода статистическими обманами. Всё оттого, что мы постоянно пытаемся понять окружающий мир.

На это накладывается стремление многих авторов во что бы то ни стало сделать карьеру на волне хайпа. Publish or perish – публикуйся или умри. В ход идут сомнительные средства вроде фабрикации данных. Можно вспомнить Эндрю Уэйкфилда, который публиковал в известных журналах научные статьи о связи вакцинации с аутизмом. Мало кого смущало тогда, что его исследование базировалось лишь на 12 случаях. Но стали выясняться несоответствия и явный подлог: пятеро детей из тех двенадцати имели проблемы уже до вакцинации, а потом оказалось, что Уэйкфильд собирался распространять свою собственную вакцину против кори. Его теорию в конце концов опровергли, но опровержение не получило такого распространения, как изначальный хайп. Так что антипрививочники остались, и многие родители по-прежнему боятся прививать своих детей.

Голландский учёный Дидерик Штапель тоже добился известности своими провокационными исследованиями, и тоже потом выяснился мухлёж в его данных. Последовало увольнение, отказ от докторской степени и отзыв полусотни трудов. Или взять директора Института Парапсихологии Уолтера Леви: тот исследовал способность эмбрионов в куриных яйцах включать обогрев в инкубаторе. Коллеги не поверили в этот бред и установили наблюдение. Так и оказалось: Леви манипулировал своим оборудованием для того, чтобы поднять вероятность выше статистических 50%.

Карты Зенера из арсенала Леви

В поиске закономерностей исследователю нужно доказать, что его результат не вызван случаем. Для этого он рассчитывает вероятность случайного совпадения p, и очень желательно, что она окажется достаточно низкой. Хотя бы не выше 5%. Кстати, осьминог Пауль добился этих пяти процентов. В отличие от многих учёных, которым приходится поднимать статистическую значимость сомнительными методами, которые называют p-hacking или подгонкой данных. Нобелевский лауреат Рональд Коуз как-то цинически заметил на этот счёт:

Если вы пытаете данные достаточно долго, то они признаются.

Можно не подгонять, а просто искать какую-нибудь закономерность в том, что есть. Это называется HARKing – постановка гипотезы после того, как результаты уже получены. То есть, мы не проверяем поставленную заранее гипотезу данными, а наоборот – пытаемся нарыть её в статистике.

Излишне будет сказать, что повторить подобный мухлёж часто очень трудно. Сегодня говорят о кризисе воспроизводства исследований, и этот кризис затронул почти все отрасли науки.

В 2010 году появился новый лайфхак: достаточно попрактиковаться в какой-нибудь сильной позе (типа руки в боки), чтобы почувствовать себя более сильным и продуктивным. Да чего почувствовать – стать им! Позитивный настрой, как известно, окрыляет. Эту идею продвигало трое учёных в своей статье. Они провели исследование с 42 добровольцами. Постоял, упершись руками в стол – и пошёл тестостерончик, а кортизол, наоборот, снизился. И да, p получилась 5%, вот так. Вот только воспроизвести их результат не получалось никак. Не то что гормоны – поведение не менялось. В 2016 году ведущему автору Дане Карни пришлось дезавуировать свою идею. Также она призналась, что им пришлось «играться» с числом участников, чтобы получить вероятность в 5%.

Ещё одним примером вольного обращения с данными может послужить работа психолога Джона Готтмана, который предсказывал развод у супругов на основании анализа их разговоров и мимики. Он делал видеозапись, анализировал её, а потом ждал 6 лет. После чего сравнивал тех, кто развелись, с теми, кто не развёлся. Если вы не знали до сего дня, что такое HARKing – вот оно, в чистом виде. Похоже, он не удосужился даже спрогнозировать будущие разводы при помощи своей модели, а смотрел только в прошлое. Неудивительно, что модель не выдержала проверки свежими данными.

Наше стремление обнаружить закономерность не только сослужило нам добрую службу в прошлом, но послужило причиной для множества суеверий, примет и предрассудков. Автор советует нам не принимать шаблон за доказательство. Всегда должно быть логическое объяснение. Более того, это объяснение должно работать и с новыми данными.

Проблема у автора с объяснением феномена осьминога Пауля в том, что в большинстве матчей, результаты которых он предсказывал, флаги обоих участников состояли из горизонтальных полос. Лишь два матча из восьми можно расценить как противостояние полосатого и не полосатого флага.

А о подгонке данных и прочих манипуляциях я уже рассказывал в обзоре книжек Кита Йейтса и Алекса Эдманса. Но ничего, повторенье – мать ученья. В ходе своего повествования автор расскажет ещё о многих случаях недобросовестного обращения с данными. За что его можно уже похвалить – это за отсылку к здравому смыслу. Нам его слишком часто не хватает.