Большой скандал в научном мире прямо сейчас. Часть 2⁠⁠

Это перевод второй статьи из серии расследований Data Colada про фальсификацию данных в статьях профессора Гарвардской школы бизнеса Франчески Джино.

Если по ходу чтения у вас возникают вопросы вроде «Почему ученые исследуют такую херню??» – я написала небольшой пост-объяснение. Надеюсь, это поможет.

Первую часть можно прочитать тут. Напоминаю, что этот пост является моим вольным пересказом расследования Data Colada; все картинки тоже оттуда.

Итак.

Часть 2: Мой год обучения – Гарвард

Разбирается статья Gino, Kouchaki и Galinsky (2015) («Моральная добродетель подлинности: как неподлинность вызывает чувство безнравственности и нечистоты» ["The Moral Virtue of Authenticity: How Inauthenticity Produces Feelings of Immorality and Impurity"]), Исследование 4, которое проводилось в Гарвардском университете.

Авторы расследования уточняют, что, по имеющейся у них информации, ни один из соавторов Джино не проводил и не помогал со сбором данных для эксперимента, о котором пойдет речь.

В этом эксперименте студентов Гарварда (491 чел.) просили указать некоторые демографические данные и высказать свое мнение об одной из проблем гарвардского кампуса, а затем – написать про нее эссе с аргументами либо за, либо против их собственной позиции.

После написания эссе участники оценивали, насколько привлекательными они считают пять очищающих косметических продуктов (1 – абсолютно непривлекательно, 7 – абсолютно привлекательно). Авторы предположили, что эссе против своей позиции заставит участников почувствовать себя грязными/нечистыми, что усилит их желание купить очищающее средство.

Результаты

И гипотеза подтвердилась! Участники считали очищающие средства более привлекательными, когда выступали против, а не за свою позицию (t(488) = 3,93, p < 0,0001 – оставляю значения статистики для интересующихся).

Однако

Снова в данных обнаружилась аномалия.

Как упоминалось выше, студентов просили сообщить свои демографические данные (возраст, гендер и год обучения):

И в вопросе №6 про год обучения (год в Школе [имеется в виду Гарвардская школа бизнеса]) найдены довольно странные ответы.

По данным столбца «Год в школе» можно увидеть, что учащиеся подошли к этому вопросу по-разному. Например, студенты первых курсов могли написать «младший», или «2016», или «курс 2016», или «3» (чтобы обозначить, что учится на третьем курсе). Все эти ответы вполне разумны.

Но среди ответов присутствовал также ответ «Гарвард», который едва ли отражает год. Трудно представить, что такую ошибку могло допустить сразу много студентов, однако файл с данными показывает, что таких студентов набралось целых 20. Более того, все ответы этих студентов находятся в пределах 35 строк (с 450 по 484):

Это само по себе ярко-красный флаг, потому что попросту нет причин, чтобы много студентов дали бы такой странный ответ, и, к тому же, оказались так близко друг к другу в базе почти на 500 строк. Это рождает очень серьезное подозрение в фальсификации данных.

Посмотрим, как эти 20 студентов (выделены красным) выглядят на графике.

Вот так неожиданность

В условии аргументации «эссе против своей позиции» каждое «гарвардское» наблюдение имело максимально возможное среднее значение 7,0 по привлекательности очищающих средств. И наоборот, в условии аргументации «за» все «гарвардские» наблюдения, кроме одного, были связаны с низким значением привлекательности.

Разница между двумя условиями только для этих 20 наблюдений очень значительна (p < 0,000001). Более того, эффект для «гарвардских» наблюдений значительно больше, чем для «негарвардских» (p < 0,000001).

Это убедительно свидетельствует о том, что «гарвардские» наблюдения были изменены, чтобы получить желаемый эффект. И если были изменены эти наблюдения, то могли поменять и другие, однако доступ к исходному, неизмененному датасету есть предположительно только у Гарварда (который школа, а не год).

Мой комментарий

Снова видно совершенно очевидный и довольно глупый способ фальсификации данных, что, на самом деле, вызывает опасения, сколько же более хитрых фальсификаций остается незамеченными?

Это, безусловно, повод как минимум требовать, чтобы при подаче статьи исходные базы данных и алгоритмы их обработки выкладывались в открытый доступ – сейчас это часто остается на усмотрение авторов и многие указывают, что могут прислать данные по запросу (и присылают далеко не всегда).

Скоро подготовлю третью часть, не переключайтесь!