Парадокс Симпсона
Что сегодня я узнал нового? При анализе прогнозных моделей для своей диссертации наткнулся на "парадокс Симпсона".
Парадокс Симпсона — это статистическое явление, при котором тренд, наблюдаемый в объединённой выборке, противоположен тренду, наблюдаемому в каждой из подгрупп (Simpson, 1951). В классическом примере из эпидемиологии лечение может выглядеть эффективным в общей выборке, но оказаться неэффективным (или даже вредным) при разбивке по возрастным группам. Причина — неравное распределение подгрупп по исходам: одна группа доминирует численно, и её характеристики «перевешивают» тренд. В пространственном анализе биоразнообразия парадокс проявляется не в разбивке по подгруппам, а в разбивке по метрике: две интегральные характеристики одного и того же процесса — среднее относительное изменение и суммарное изменение — могут иметь противоположные знаки.
Какова методология преодоления этого явления? Начнут сегрегировать по возрастным группам, найдется внутри каждой еще какой-нибудь параметр, по которому тем эффективно, а тем нет, и так до бесконечности