Про KPI⁠⁠1

Про KPI. В английском есть такое понятие perverse incentive, «порочный стимул». Это когда пытаешься придушить зло, но методы превращаются для него в идеальное удобрение. На это есть «Когда мера становится целью, она перестает быть хорошей мерой» (Мэрилин Стратерн на основе Закона Гудхарта).

Классика жанра — «Эффект кобры». В колониальной Индии англичане решили сократить популяцию змей и назначили награду за каждую голову. План казался надёжным, как швейцарские часы, пока индийцы не начали разводить кобр на домашних фермах ради «урожая». Когда власти поняли, что их водят за нос, и отменили выплаты, фермеры просто выпустили бесполезных теперь змей на волю. В итоге кобр стало в разы больше, чем до начала программы

Похожим образом французы в Ханое боролись с крысами, выплачивая деньги за отрезанные хвосты. По городу стали бегать толпы бодрых, но бесхвостых крыс: вьетнамцы отрезали «валюту» и отпускали зверьков плодиться дальше, чтобы не лишиться стабильного дохода.

В 19 веке археологи, искавшие кости динозавров и древние окаменелости, платили местным жителям за каждую найденную деталь. В итоге находчивые копатели специально разбивали целые, бесценные скелеты на мелкие кусочки, чтобы сдать их по отдельности и заработать побольше. Наука рыдала, зато KPI по «количеству находок» зашкаливал. Аналогичная трагедия произошла со Свитками Мертвого моря: бедуины разрезали найденные свитки на мелкие части, чтобы продать каждый фрагмент отдельно.

В США эта болезнь ударила по инфраструктуре. Когда строили Трансконтинентальную железную дорогу, правительство платило компании Union Pacific субсидии за каждую проложенную милю. В Небраске вместо прямого маршрута инженеры в едином коррупционном порыве вычертили огромную петлю — Oxbow Route. Лишние 9 миль крюка не имели никакого смысла для логистики, но принесли строителям сотни тысяч долларов «из воздуха».

Но если «петля» в Небраске — это просто воровство, то ошибки министра обороны США Роберта Макнамары — это уже трагедия. Будучи фанатом цифр и математических моделей, он пытался управлять войной во Вьетнаме как конвейером Ford.

Когда генерал Эдвард Лэндсдейл робко заметил, что в формулах Макнамары нет переменной «чувства и воля вьетнамского народа», министр записал это карандашом в блокнот. А потом стёр. Он сказал, что если что-то нельзя измерить, значит, оно неважно. Главной метрикой стал body count (подсчёт убитых). Офицеры на местах, желая выслужиться, начали записывать в «враги» всех подряд, рисуя в Вашингтоне иллюзию скорой победы, пока реальная ситуация катилась в бездну.

В науке есть радикальный принцип, похожий на бритву Оккама — «Пылающий лазерный меч Ньютона» (также известный как «Бритва Алдера»). Его суть: если что-то нельзя проверить экспериментом (или измерением), оно вообще не достойно обсуждения.

Звучит здраво для физики, но в жизни это прямой путь к тому, что социолог Даниэль Янкелович назвал деградацией восприятия. Он описал это как спуск по четырём ступеням:

1. Сначала мы измеряем только то, что легко измерить.

2. Затем игнорируем то, что измерить трудно или что требует качественной оценки.

3. Третий шаг — мы решаем, что то, что нельзя измерить, не так уж и важно.

4. И финальный шаг — мы объявляем, что того, что нельзя измерить, на самом деле не существует.

И в этот момент мы становимся слепыми. Мы смотрим на мир через замочную скважину метрик, пока в комнате за дверью разводят кобр, ломают кости динозавров и проигрывают войны.

Не мое, но очень беспокоит и надеюсь с этим буду сталкиваться как можно меньше.

Из комментариев, мне понравилось:

Про метрики Джеф Безос хорошо сформулировал. Любая метрика содержит некоторые допущения которые держал в голове автор метрики. А поэтому:

- метрика должна быть краткосрочной (пока допущения актуальны, а автор доступен)

- эффективнее сравнивать разницу между двумя положениями, а не оценивать абсолютные значения.

- если метрика противоречит наблюдениям, метрику надо менять. Удачная метрика получается не сразу, а через несколько итераций.

При правильном использовании, хороший инструмент который позволяет делегировать принятие тактических решений вниз, сохранив наверху контроль за общим направлением. И измеримые результаты сразу, а не в конце квартала.