Ответ на пост «Секреты вашей профессии, о которых лучше не говорить»
Секреты аналитики и социологии:
- При ручной работе с данными (например, сравнении или объединении данных на глаз, без формул и справочников) результат анализа может содержать около 15% ошибок. И способа найти их все и исправить не существует, т.к. это непредсказуемые ошибки "человеческого фактора". Их можно найти только случайно и по отдельности. В отличие от системных ошибок при автоматизированных расчётах (в формулах, выгрузках и т.д.). Системные ошибки повторяемые и распространяются на весь массив данных: обнаружил, исправил в одном месте, всё остальное поправилось само.
- Если вы нашли ошибку в расчётах и указали на это - всё перепроверят и найдут очевидный косяк (человеческий фактор), но вам ответят "Была обнаружена системная ошибка (формула сломалась, база заглючила и т.д.), всё исправили". Иногда ошибки и правда системные, но если косяк человека - об этом не скажут.
- Хороший аналитик по работе с данными всегда знает, как сделать свою работу быстро и качественно, как в любом месте менять условия расчётов и при этом не закапываться по самые уши, но если вы захотите что-то переделать - всегда укажет на трудоёмкость и продолжительность этой переделки. Потому что мы ненавидим вносить правки в уже готовые расчёты и хотим, чтобы нам с первого раза давали всю необходимую информацию для расчётов.
- В хороших социологических опросах респонденту ВСЕГДА даётся возможность ухода от ответа ("Затрудняюсь ответить", "Не знаю" и т.д.), но плохие исследователи могут субъективно учесть такие ответы в любой другой вариант, чтобы получить желаемый результат.
- В плохих социологических опросах респонденту не даётся возможность ухода от ответа. Вариантов "Затрудняюсь ответить" и т.п. там просто нет. Это вынуждает людей отвечать хоть как-нибудь, что тоже приводит к перекосам в статистике.
- Классическая оценочная пятиступенька "Очень хорошо", "Скорее хорошо, чем плохо", "Скорее плохо, чем хорошо", "Очень плохо" и "Затрудняюсь ответить" при обработке зачастую превращается в "Хорошо", "Плохо" и "З/о". Теряется детализация и результат в конечном итоге выглядит лучше, чем есть на самом деле. Если "Очень хорошо" было всего 10%, а "Скорее хорошо" 35% и ещё 30% "З/о", то по статистике 45% (почти половина) респондентов оценили положительно, и только 25% (всего четверть) негативно. Хотя на самом деле больше всего было пограничных к негативным оценок, и всё только хорошо с натяжкой.
- Результаты социальных/экономических/политических исследований всегда в той или иной мере субъективны. Потому что аналитик и социолог тоже человек и полностью абстрагироваться не способен. Два разных социолога могут сделать разные выводы по результатам анализа одной и той же базы данных.
- Любой профессиональный исследователь может с помощью математической статистики и некоторых приёмов исказить результат в нужную сторону, чтобы получить хорошую или плохую картинку. Сравните отчёты ВЦИОМа и Левады на одни и те же темы. При этом оба центра не показывают реальной картины в своих исследованиях.
- Самыми объективными являются маркетинговые заказные исследования, которые делают маркетологи-аналитики из специализированных агентств. Их не волнует "лицо и репутация" вашего продукта или "хороший отчёт для директора", в отличие от ваших собственных сотрудников.
Пока больше ничего интересного в голову не приходит. Если есть вопросы: спрашивайте, постараюсь ответить.