Доброго времени суток, уважаемые!
Мы привыкли доверять авторитету науки. Однако стоит заметить, что ею занимаются обыкновенные люди, с их обыкновенными страстями, проблемами и материальными трудностями. Приводит это дело к тому, что далеко не всякая научная статья может вызывать доверие. Всё приходится проверять. Про то, как обстоит дело на фронте научных исследований, рассказал молодой британский учёный-психолог Стюарт Ричи на страницах своей книжки.
Научные вымыслы. Разоблачая мошенничество, предвзятость, халатность и хайп в науке.
Коротко для ЛЛ: в науке хватает и жулья, и подгонщиков результатов. Потому повторить результат какого-то исследования становится всё труднее. Надо что-то делать. Ведь так никто не станет верить учёным.
Автор уже свыше десятка лет занимается наукой и навидался всякого. Познакомившись с одним вызывающим подозрение "революционным" исследованием, он решил воспроизвести его. На возможности повторения эксперимента и стоит наука. Собрался с коллегами и воспроизвёл. Заявленного эффекта они, однако, не добились. Отправили своё исследование в тот самый журнал - получили отказ в публикации. Они типа повторами не занимаются. "Что-то не так в доме науки", - задумался Стюарт.
И действительно, проблем хватает. Вот ещё пример: профессор Тилбургского университета Дидерик Штапель экономил время и средства на исследованиях, вбивая от балды результаты одного исследования за другим в Эксель. Это продолжалось долгие годы, пока кто-то не заметил, что результаты уж очень красивы. В этом случае, как и в предыдущем, проблема проявляется в невоспроизводимости публикации. Однако повторов исследований почти никто не делает. А зря. На самом деле, этим стоит заниматься, ибо сегодня наука, по словам автора,
...стала прибежищем головокружительного собрания некомпетентности, заблуждений, лжи и самообмана.
Наука - это лучший путь движения к истине. Пусть он не всегда прямой. Учёный, открыв что-то, должен в первую очередь убедить в своём открытии себе подобных. Нужно опубликовать статью, а без экспертной оценки этого не добиться. Таким образом, неизбежно становится ясно, что наука - вещь общественная: непрестанный процесс коллективного пересмотра, сомнений, уточнений и согласия. Учёные - тоже люди, и в процессе этом ведут себя не всегда должным образом. В наше время наличие рецензии на труд - далеко не гарантия точности и надёжности исследования. Система, заточенная на обеспечение качества исследований, всё чаще сбоит. А чего удивляться, если многое базируется буквально на честном слове? Нет такого закона - писать правдивые рецензии. Есть лишь некие нормы, правила хорошего тона, если хотите. Лучше всех их сформулировать получилось социологу Роберту Мёртону.
Мёртон писал, что научное знание не должно зависеть от расы, пола и прочих характеристик учёного, то есть быть универсальным. Далее, учёный должен быть бескорыстным: цель - это получение новых знаний, а не должностей. Знаниями полагается делиться свободно и без предпочтений (коллективизм). И, наконец, непринятие фактов на веру, то есть организованный скептицизм. В конце концов, всем нам свойственно заблуждаться, и быть способным изменить свою точку зрения - это достоинство, а не недостаток.
Из последнего следует: чтобы доверять результатам, необходимо иметь возможность их независимо воспроизвести. А с этим в современной науке - серьёзные проблемы. Коренятся они в "неравнодушности" исследователя, который в угоду чему-либо может испортить любой с самыми лучшими мотивами задуманный эксперимент. Иллюстрирует автор это печально знаменитым Тюремным экспериментом Филипа Зимбардо, из которого следовало, что внешние обстоятельства способны испортить любого. В своё время не один образованный человек схватился за голову, узнав, как подопытные превращались в безжалостных сатрапов, стоит им лишь обрести подобие власти над ближним. Лишь по прошествии десятилетий выяснилось, что так, как организовывал свои эксперименты Зимбардо, делать нельзя.
По мере накопления случаев афер и некомпетентности в своей области учёные-психологи взялись проверить воспроизводимость работ. И обнаружили, что реплицируются всего 39 процентов исследований. Другие проверки тоже не привели к утешительным результатам. Более того, учёные нашли, что большинство исследований, которые подтвердились, преувеличивали эффект, о котором заявляли. Ненамного лучше ситуация в других областях биологии и медицины. И даже в органической химии журналу Organic Syntheses пришлось отвергнуть 7,5% статей из-за проблем с репликацией.
И это только верхушка айсберга, ведь повторять пытаются ничтожный процент исследований. Неудивительно: чаще всего опубликованная статья не содержит достаточно данных, чтобы иметь возможность повторить исследование. Вопрос этот не академический: если взять, к примеру, медицину, то излишнее доверие к исследованию об эффективности какого-нибудь фуфломицина чревато многими смертями. Автор приводит цифру в 45% - именно в таком проценте медицинских статей эффективность лечения оказалась не доказана. Об этом свидетельствуют обзоры Кокран. В конце концов на эти неэффективные исследования оказались угроханы 28 миллиардов долларов.
Причин невоспроизводимости исследований несколько. Первой из которых является мошенничество. Автор иллюстрирует её историей хирурга-афериста Паоло Маккиярини, который успешно пересаживал гортани и трахеи из новаторских материалов. Правда, успех был чаще всего на бумаге, которая стерпела множество смертей пациентов (в том числе из России - доктор оперировал и в Краснодаре). Но не стерпели коллеги-врачи из шведского госпиталя. Они стали жаловаться в Каролинский институт, где работал Маккиярини. И что? А то, что им попытались заткнуть рот и даже вызывали полицию. Но демократия победила. Независимый расследователь вскрыл в конце концов многочисленные случаи мошенничества. В марте 2018 года некогда уважаемого профессора попросили с должности, и он оказался вынужден продолжать свои исследования за рубежом. В России...
Или вот ещё случай. Слыхали про доктора Хван У Сока, первым в мине клонировавшего собаку? А ведь он ещё клонировал и человеческие стволовые клетки, о чём и писал не где-нибудь, а во всемирно известном журнале Science. Он оказался мегапопулярен у себя на родине, став известнейшим учёным страны. Правда, недолго - пока не обнаружилась поддельность большинства его стволовых исследований. Ну этот-то хоть собаку на самом деле клонировал...
Излюбленным средством мухлежа является копирование графической информации. И здесь не обошлось без громких публикаций в ведущих мировых журналах. Японец Обоката фотошопил блоты и микроскопные фото, иллюстрируя якобы развитие плурипотентных стволовых клеток. Когда афера вскрылась, один из его сотрудников покончил жизнь самоубийством. В 2016 году микробиолог Элизабет Бик с коллегами проверила 20621 изображений блотов из журнальных статей: 3,6% публикаций содержали проблемные картинки.
Подделать изображение довольно легко. Подделать цифры - уже труднее. Нужно ведь соблюсти видимость случайности и ошибок измерения и отбора. Слишком красивые данные погубили карьеру социального психолога Лоренса Санны: разбросы у разных групп подопытных оказались практически идентичными. Политические исследователи Брукман и Калла скопировали, ничтоже сумняшися, цифры из чужого исследования. Им не помогло, что они перед публикацией наложили немного шума. Ребят вскрыли. Надо было лучше подготовиться.
Короче, жулья среди учёных хватает, и верить на слово нельзя никому. Известно, что научную статью могут под каким-нибудь предлогом отозвать. Так вот, большинство статей отзывается не из-за ошибок, а из-за всякого рода аморальных причин, включая мошенничество. И даже в опросах порядка двух процентов исследователей признаются, что хотя бы раз в жизни подделывали данные. Учтя то, что люди обычно неохотно признаются в нехороших поступках, реальная цифра должна быть явно выше. Во всяком случае на подделку данных у своих коллег указали 14% опрошенных.
Что двигает учёными-мошенниками? Борьба за гранты, а порой и патологически неверное мнение о науке. Физик Гудстайн отмечал, что почти всегда жулики от науки считают, что "вставляют истину" в свой труд. Результатом слишком часто является не истина, а ущерб. Теряется время, деньги, деморализуются исследователи. Порой даже гибнут люди, которым выбирают неверное лечение. В этой связи можно вспомнить (бывшего) доктора Уэйкфилда, который в своей статье с помощью подложных данных утверждал о вредности вакцины MMR, которая якобы вызывала аутизм. Интересы у него были вполне шкурные: он был связан с адвокатом, собиравшимся судиться с компаниями-производителями вакцины, а также подал патент на свою вакцину. Лишь отменная настойчивость журналиста Брайана Дира позволила вывести проходимца на чистую воду. А вот всемирно известный медицинский журнал The Lancet, где печатался Уэйкфилд, ставил Брайану палки в колёса. История эта оставила тёмный след в виде снижения процента привитых детей: напуганные родители оставались в рядах антипрививочников многие годы спустя после разоблачения жулика. В 2018 году от кори умерло около 140 тысяч человек.
С жуликами всё ясно. Но есть и более-менее легальные способы отъёма денег добиться требуемого результата. Они коренятся в предвзятости исследователя, который разными способами искривляет течение научной работы с целью подгонки результата. Предвзятость эта может проявиться на разных стадиях, будь то чтение работ по теме, разработка исследования, сбор данных, анализ результатов или решение о публикации. Одним из корней проблемы является фокус на результате. Не будет результата - не будет публикации, славы и денег. Исследования с нулевым эффектом печатают неохотно. 91,5% публикаций содержат позитивные выводы. А ведь наука - это не столбовая дорога, а, скорее, пробы и ошибки. Вот и попадает "неудавшееся" исследование не на страницы журнала, а в ящик стола.
Подобная предвзятость публикации иллюстрируется следующей картиной:
Воронка распределения результатов
Представим себе, что имеется несколько статей, исследующих какой-то эффект. Исследования с небольшой выборкой дают больший разброс эффекта (влево и вправо), потому у воронки широкое основание. Если данных много, то разброс коэффициента корреляции уменьшается, потому вершина узкая. И в целом эффект невелик (меньше 0,20 в нашем случае). То есть "по правде" в научной прессе должна отражаться картинка А. Но по факту малозначительные исследования с небольшим или отсутствующим эффектом не попадают на страницы журналов. Печатают ведь результат, а не его отсутствие. Вот и получается, что реальные воронки распределения результатов имеют перекошенный вид В. У неё не закрыт низ левой половины, который соответствует небольшим безрезультатным исследованиям. Как результат, научная пресса содержит в среднем преувеличенные выводы об эффекте.
Нерадивый исследователь может не отобрать все данные, а собрав - заняться подгонкой результата - главным образом вероятности нулевой гипотезы, которая не должна бы превышать 5%. Понятно, что граница более-менее произвольная, но надо же было где-то её провести, и её провели. Получил 6% - значит результат в мусор: исследуемый эффект может проявиться и "сам собой". Но в мусор его бросать не спешат. Берут и собирают больше данных, проводят новые эксперименты с изменёнными условиями. Нашёл какую угодно зависимость - руки в ноги - и в издательство. Хотя это уже похоже на мухлёж: ведь ты просто бросаешь монету ещё и ещё раз в погоне за орлом или решкой.
Собирая и собирая больше данных, исследователи в конце концов находят некую закономерность, более-менее точно им соответствующую. Вот только объяснять эта закономерность может лишь свои данные. Как на правом рисунке:
Эффект переобучения модели.
И предвзятость публикации, и подгонка вероятности нулевой гипотезы - две стороны одной медали: желания избавиться от неподходящих результатов. В качестве причин этого автор называет деньги (нет результата - не будет ни гранта, ни карьеры), стремление осчастливить человечество новым открытием, групповое мышление, политическая мотивация учёного и даже сексизм (есть и такие исследователи, которые брезгуют экспериментировать с самками мышей, например). При этом одна предвзятость не компенсируется другой, с противоположным знаком. Получается ещё хуже. Короче, все мы люди, все мы имеем явные и тайные желания. Очень трудно противостоять первым, и ещё труднее - вторым.
--------------------------------------
Хоть и начал свою книгу с похвалы науке, по мере чтения приходится хмуриться всё больше и больше. Слабость человеческая не щадит ни одной сферы деятельности. Автор предупреждает: система гниёт, и чинить её надо. Ведь на кону доверие к науке. Чему ещё можно доверять, если не ей? Потому необходимо заняться ремонтом величественного здания. Об этом - в следующей части.
Друзья предупреждали Стюарта перед написанием, что его критику возьмут на вооружение клерикалы и прочие антинаучные элементы. И вот пожалуйста: книжку Ричи взахлёб цитируют адвентисты. Однако автор не боится этого: честное признание проблем - это сила, а не слабость. И в этом он прав.
Ссылка на конец.
