Про проверку статистических гипотез с примером на котиках⁠⁠

На картинке показан принцип проверки статистических гипотез. Если гипотеза дает малую вероятность наблюдаемых событий (p < 0.05), то она отвергается и противоположная считается доказанной.

Почему это интересно? Потомучто абсолютно все современные научные исследования включают проверку статистических гипотез. Можно сказать, что проверка статистических гипотез - это глобальный фильтр, который защищает нас от лженаучных результатов.

Вообще проверку статистических гипотез можно применять к любым исследованиям. Вот пример на котиках (с расчетом в R).

Котик 7 раз поцарапал вас правой лапой и только 3 раза левой. “Это случайность или кот правша?” - задумались вы.  Решить этот вопрос поможет биномиальный тест.

Предполагаем, что кот - амбидекстр (обе лапы одинаковы) и перекос на правую лапу это случайность. Тогда вероятность получить правой лапой 7 и более раз из 10:

>binom.test(c(7, 3))

p-value = 0.3438

"p-value" получилось очень большое, поэтому с научной точки зрения ничего сказать нельзя. Может правша, а может и нет. 

Значит продолжаем злить кота, доведя количество обдираний до 30 (это количество можно оценить заранее, но это другая история).

Допустим в результате получилось, что 21 раз из 30 кот царапал правой лапой. Считаем p-value:

>binom.test(c(21, 9))

p-value = 0.04277

Вот этот результат научное сообщество уже принимает, как доказательство того, что котик правша.

Примерно так все и устроено в науке.

Но почему именно “0.05”? - Этого никто не знает. Вот так выбрали и все - традиция.

Эта традиция означает также, что 5% всех научных результатов ошибочны. Можно ли уменьшить число ошибочных результатов? - да можно. Например принимать только результаты с p-value < 0.01. При этом ошибочных результатов станет 1%, но увеличится сложность экспериментов и их стоимость. Нашему котику, например, придется вас царапать раз 50 и у него могут устать лапки.