Типичная ошибка ученых⁠⁠

Начну издалека, но думаю так будет понятнее о чем я (если нет, то это про поправку на множественную проверку гипотез).

Тиктокер демонстрирует суперспособность: с завязанными глазами бросает мяч и попадает в кольцо. И это не видеомонтаж. Как такое может быть? Опытный пикабушник скажет: баян и жульничество! Он тысячу раз бросал мяч и не попадал, но один раз случайно у него получилось вот это он и показал.

Но этот тиктокер не так прост. У него есть абсолютно надежные доказательства, что все это он делал только один раз и забросить мяч у него получилось с первого раза! Да он даже мячик и кольцо видит первый раз в жизни! Он действительно обладает суперспособностью или тут где-то жульничество? Догадываетесь в чем дело? Тиктокер не повторял бросок тысячу раз, это правда. Вместо этого он сделал тысячу разных трюков, не повторяя их.

Кто-то может решить, что с этим очень просто разобраться – потребуем у тиктокера повторение трюка, вот сразу обман и выяснится! И в следующий раз нам приносят видео, где другой тиктокер подбрасывает монетку два раза и оба раза она падает на ребро. Никакого монтажа, никакого удаления неудачных попыток подбрасывания. Все так и произошло с первого раза.

Догадываетесь как это получилось? Он просто проделал по два раза подряд десять тысяч разных трюков!

Думаете это не имеет отношение к жизни!? Имеет! И подобное регулярно происходит в медико-биологических исследованиях.

Дело в том, что сейчас есть возможность быстро и дешево измерять множество параметров живого организма. Типичное измерение активности генов делается в течение нескольких дней, стоит около $100 и выдает данные об активности десятков тысяч генов.

Теперь вы понимаете, как легко можно провести исследование и “доказать”, что музыка Вивальди, например, влияет на активность генов в раковых клетках. Причем можно даже показать, что это влияние повторяется в нескольких экспериментах. Просто из десятков тысяч результатов отбираем нужное и публикуем!