Вжух-вжух, и ты в ловушке
Привет, на связи data dreamen! После небольшого перерыва пришел к вам с рассказом о том, в какие ловушки можно попасть, если обращаться с аналитикой неаккуратно.
1️⃣ Манипулятивные метрики
Однажды американский банк Wells Fargo принял решение всерьез взяться за развитие перекрестных продаж и установил для сотрудников план продаж дополнительных продуктов к основным потребностям клиента (например открытие кредитной карты при создании депозитного счета). Однако топ-менеджмент не предусмотрел изобретательность своих сотрудников в погоне за премией.
Работники банка стали открывать продукты, которыми никто никогда не пользовался, часто даже без ведома клиентов. Расходы на обслуживание продуктов росли, а доходы с них - нет. Через какое-то время все вскрылось и многих сотрудников уволили за манипуляции. Но всего этого могло и не случиться, если бы целевая метрика шла в паре в контр-метрикой или цель лежала глубже по воронке.
2️⃣ Смешанные причина, следствие и корреляция
В начале текущего года по инфополю пронеслось несколько новостей о колоссальном росте в 2024 году суммы начисленных штрафов и пеней по ним. Вполне ожидаемо, что многие СМИ связали это с ростом числа нарушителей. Ведь логично, что, раз растут штрафы, то во всем виноват рост числа недобросовестных граждан?
Ну… не совсем. За последние два года ключевая ставка выросла почти в три раза, а вместе с ней выросли и проценты по пеням, а также суммы многих штрафов, зависимых от ключевой ставки. Итого - не всегда сонаправленное движение двух показателей говорит о наличии между ними связей.
3️⃣ Парадокс Симпсона
В 70-е он привел к большой шумихе вокруг университета Беркли. При анализе конверсий в поступление выяснилось, что мужчины принимались на обучение значительно чаще женщин (из подавших документы мужчин поступали 44% против 35% подавших документы женщин). На лицо дискриминация по половому признаку?
Снова нет. Детальный разбор по факультетам показал: женщины чаще подавали заявки на гиперконкурентные направления с низким процентом зачисления, тогда как мужчины чаще подавались на более крупные и менее конкурентные направления. Это и создало парадокс Симпсона: агрегированные данные исказили реальную картину. Абсолюты же поступивших были приблизительно сопоставимы, как и конверсии в группах мужчин и женщин по отдельным факультетам.
Мораль сей басни - если вы проводите декомпозицию какой-либо метрики, важно учитывать не только сами метрики компонентов, но и их веса.
Ставьте реакции, если интересно читать о примерах подобных аналитических ловушек в жизни. Всем хорошей рабочей недели! А если интересна аналитика, подписывайтесь на tg data dreamen