П - презрение
Ответ на пост «Про KPI»1
"если что-то нельзя проверить экспериментом (или измерением), оно вообще не достойно обсуждения"
Тут надо правильно понимать или, скорее всего, правильно сформулировать перевод.
Есть разница между "невозможно обнаружить/измерить экспериментом" и "мы пока не умеем это измерять".
Т.е. в первом случае фактор не существует нигде, кроме нашего воображения. Например, толпа ангелов на острие иглы. Или чайник Рассела.
Во втором случае фактор реально существует, экспериментально обнаружить его можно. Например, боевой настрой бойца.
Любой полководец знает (и многие пишут - в т.ч. Наполеон и Суворов) о важности боевого духа солдат. Измерить этот "боевой дух" мы толком не умеем.
Тем не менее мы хорошо знаем, что такой фактор существует, и исход боя от него зависит. Это можно проверить экспериментально. (Да вы сами видели, что решительный коротышка может навалять трусливому амбалу.)
Только вот измерять не умеем. Ну, художественно можно описать такие степени: дрожит как осиновый лист - боится - все пофиг - зол - готов всех порвать, но это очень грубо и не объективно.
И поэтому не измеряем.
С точки зрения теории эксперимента и мат. статистики это означает, что мы берем некий фактор и перестаем его учитывать, объявляя связанные с ним колебания случайной величиной.
Т.е. при одном и том же количестве солдат, при одинаковом их вооружении - в одном случае получаем боеспособный взвод, в другом - небоеспособный, в третьем - слабо боеспособный, и такие типа не знаем, отчего это зависит. А то, что первый взвод набрали из мужиков, привыкших каждый день драться за ресурс, еду, женщину и т.д., второй - наловили бомжей по помойкам, а третий - из студентов, отчисленных за двойки - ну, это мы не учли. Патамушта в амириканской гумажке нет такой графы. А графы нет, патамушта измерить не можем.
Снега-то, снега навалило
Доброй всем ночи
Про KPI1
Про KPI. В английском есть такое понятие perverse incentive, «порочный стимул». Это когда пытаешься придушить зло, но методы превращаются для него в идеальное удобрение. На это есть «Когда мера становится целью, она перестает быть хорошей мерой» (Мэрилин Стратерн на основе Закона Гудхарта).
Классика жанра — «Эффект кобры». В колониальной Индии англичане решили сократить популяцию змей и назначили награду за каждую голову. План казался надёжным, как швейцарские часы, пока индийцы не начали разводить кобр на домашних фермах ради «урожая». Когда власти поняли, что их водят за нос, и отменили выплаты, фермеры просто выпустили бесполезных теперь змей на волю. В итоге кобр стало в разы больше, чем до начала программы
Похожим образом французы в Ханое боролись с крысами, выплачивая деньги за отрезанные хвосты. По городу стали бегать толпы бодрых, но бесхвостых крыс: вьетнамцы отрезали «валюту» и отпускали зверьков плодиться дальше, чтобы не лишиться стабильного дохода.
В 19 веке археологи, искавшие кости динозавров и древние окаменелости, платили местным жителям за каждую найденную деталь. В итоге находчивые копатели специально разбивали целые, бесценные скелеты на мелкие кусочки, чтобы сдать их по отдельности и заработать побольше. Наука рыдала, зато KPI по «количеству находок» зашкаливал. Аналогичная трагедия произошла со Свитками Мертвого моря: бедуины разрезали найденные свитки на мелкие части, чтобы продать каждый фрагмент отдельно.
В США эта болезнь ударила по инфраструктуре. Когда строили Трансконтинентальную железную дорогу, правительство платило компании Union Pacific субсидии за каждую проложенную милю. В Небраске вместо прямого маршрута инженеры в едином коррупционном порыве вычертили огромную петлю — Oxbow Route. Лишние 9 миль крюка не имели никакого смысла для логистики, но принесли строителям сотни тысяч долларов «из воздуха».
Но если «петля» в Небраске — это просто воровство, то ошибки министра обороны США Роберта Макнамары — это уже трагедия. Будучи фанатом цифр и математических моделей, он пытался управлять войной во Вьетнаме как конвейером Ford.
Когда генерал Эдвард Лэндсдейл робко заметил, что в формулах Макнамары нет переменной «чувства и воля вьетнамского народа», министр записал это карандашом в блокнот. А потом стёр. Он сказал, что если что-то нельзя измерить, значит, оно неважно. Главной метрикой стал body count (подсчёт убитых). Офицеры на местах, желая выслужиться, начали записывать в «враги» всех подряд, рисуя в Вашингтоне иллюзию скорой победы, пока реальная ситуация катилась в бездну.
В науке есть радикальный принцип, похожий на бритву Оккама — «Пылающий лазерный меч Ньютона» (также известный как «Бритва Алдера»). Его суть: если что-то нельзя проверить экспериментом (или измерением), оно вообще не достойно обсуждения.
Звучит здраво для физики, но в жизни это прямой путь к тому, что социолог Даниэль Янкелович назвал деградацией восприятия. Он описал это как спуск по четырём ступеням:
1. Сначала мы измеряем только то, что легко измерить.
2. Затем игнорируем то, что измерить трудно или что требует качественной оценки.
3. Третий шаг — мы решаем, что то, что нельзя измерить, не так уж и важно.
4. И финальный шаг — мы объявляем, что того, что нельзя измерить, на самом деле не существует.
И в этот момент мы становимся слепыми. Мы смотрим на мир через замочную скважину метрик, пока в комнате за дверью разводят кобр, ломают кости динозавров и проигрывают войны.
Не мое, но очень беспокоит и надеюсь с этим буду сталкиваться как можно меньше.
Из комментариев, мне понравилось:
Про метрики Джеф Безос хорошо сформулировал. Любая метрика содержит некоторые допущения которые держал в голове автор метрики. А поэтому:
- метрика должна быть краткосрочной (пока допущения актуальны, а автор доступен)
- эффективнее сравнивать разницу между двумя положениями, а не оценивать абсолютные значения.
- если метрика противоречит наблюдениям, метрику надо менять. Удачная метрика получается не сразу, а через несколько итераций.
При правильном использовании, хороший инструмент который позволяет делегировать принятие тактических решений вниз, сохранив наверху контроль за общим направлением. И измеримые результаты сразу, а не в конце квартала.






