— У меня вот такая проблема (рассказывает...)
— Сходи к психотерапевту, раз сам не можешь решить.
— Денег нет на это.
— Тогда иди на Пикабу, в комментах обосрут, но могут и надавать бесплатных советов.
— А качество их?
— Соответствует стоимости.
— В рамках нормального распределения?
— Угу.
Гауссово 😉
Рациональность начинается с критики своих убеждений. Расскажу о том, как я обнаружил, что необоснованно верю в в неточные убеждения. И как это поставило меня в крайне неловкую ситуацию. А ещё по поезде под названием критическое мышление переехавшем часть моей неадекватности.
Видеоверсия:
https://youtu.be/eOG9PMJLhF0?si=CrVKt4rsfUv9S98a
«Главный принцип - не дурачить самого себя. А себя как раз легче всего одурачить» Ричард Фейнман.
В статье про рациональность, я оговорился, что рациональность начинается с критики своих убеждений. Расскажу о том, как я обнаружил, что необоснованно верю в неточные убеждения. И как это поставило меня в крайне неловкую ситуацию.
В студенческие годы я активно участвовал в различных молодежных форумах. На одном из таких мероприятий я поучаствовал в тренинге по типологии личностей. Я не буду называть конкретную типологию, для целей статьи это значение не имеет. Механизмы подобных систем очень похожи, так что можете смело подставить любую знакомую вам (про Штирлица, козерогов или оральный вектор).
Эта типология обещала научить лучше понимать других людей, и при этом бонусом разобраться в себе. Она открыла глаза на то, что люди думают по разному и ценят разные вещи в жизни. Я быстро вник, определил свои тип, и начал раздавать типы всем своим знакомым. Попутно я прочитал книгу автора типологии, после чего стал распространять идею среди всех до кого вообще мог дотянуться. Так как общественная деятельность в студенческие годы кипела, дотянуться я успел много до кого.
В моём круге общения почти не осталось людей, которые не вникли в тему. Это породило особый жаргон, который внешне выглядел как что-то сектантское, но мы то знали, идея базируется на науке (так заверял автор технологии). Что самое забавное, этот таинственный жаргон скорее привлекал людей, чем отталкивал.
Люди задавали вопросы, высказывали скепсис и получали очень убедительно выглядящие ответы. «Спасибо» курсу дебатных технологий (по формату Карла Поппера). На тот момент я обладал весьма неплохими навыками убеждения. Я ведь упоминал, что риторика это обоюдоострое оружие для любой позиции?
Изнутри все выглядело так, как будто технология работает. Сомнений не возникало, все стандартные возражения были отработаны мною лично и пропущены через себя. Данное убеждение стало частью меня и моей жизни. Что могло пойти не так?
Не стану вдаваться в детали (это тема для отдельной статьи), но в какой то момент в мою голову влетел локомотив с большими красными буквами «Критическое мышление». Признаюсь, я далеко не сразу сопоставил содержимое вагонов этого поезда и своей головы. Но на каком-то из вагонов для меня стало очевидно, что с типологиями вообще и с нашей в частности что-то не так. Вагоны далее идут примерно в том же порядке, в котором они проезжались по моей неадекватности конкретно в этой теме. Их описания будут краткими, и к каждому мы обязательно вернёмся в будущих статьях.
Вагон 1. Эффект Форера (он же - Эффект Барнума).
Психолог Бертрам Форер в далёком 1948 году попросил своих студентов заполнить тест, и пообещал составить точный психологический портрет каждого. 34 из 39 студентов высоко оценили точность описания. Вот только описание было одно на всех и взято было из газетного гороскопа. Свойство нашего мозга считать убедительными расплывчатые описания нашей личности назвали Эффектом Форера. Усиливает данный эффект два основных фактора: если описание подготовлено индивидуально для нас (после опроса или тестирования) и если описание составляет «квалифицированный специалист», то есть авторитет.
Вагон 2. Апофения.
Наш мозг заточен на поиск закономерностей. И это круто, ведь позволяет нам устанавливать причинно-следственные связи. Но есть и побочный эффект, мы вычленяем закономерности даже тогда, когда их нет. Что ещё хуже, корреляции встречаются неизбежно, и тем чаще, чем больше параметров мы анализируем (есть даже сайт с забавными корреляциями). А именно корреляции наш мозг принимает за закономерности и превращает их в предрассудки. Здесь могла бы спасти статистика, но наша интуиция отказывается с ней работать. К тому же и в самой статистике есть сложности с обработкой подобных кейсов. Именно из-за этих сложностей рождаются аргументы вроде «эффекта Марса».
Вагон 3. Нормальное распределение
Возьмём экстраверсию и интроверсию. Если оценить 100 случайных людей по шкале от 1 до 10 (где 1 = абсолютный экстраверт, а 10 = абсолютный интроверт), то получим мы... примерно вот такую штуку. Большинство людей будет сосредоточено вокруг средних значений, а «абсолютно» крайние значения будут самыми редкими. Это действительно для подавляющего числа характеристик которые «прогнозируют» типологии личности. Люди по любым случайно выбранным критериям будут скорее около средних значений, чем около крайних.
Вагон 4. Искажение подтверждения
Наш мозг устроен таким образом, что мы «по умолчанию» стремимся увеличить уверенность в уже имеющихся наблюдениях. Такое явление называется рационализацией или мотивированным мышлением (мы к ним ещё неоднократно вернёмся). Яркой демонстрацией этой склонности является эксперимент «задача 2-4-8» Питера Уосона. Попытки опровергнуть то, во что мы верим - деятельность неестественная. Более того, хорошое владение формальной логикой, но ее выборочное применение, зачастую приводит к мотивированному скептицизму. Это как раз моя ситуация. После курса по дебатам, я легко находил ошибки в любых аргументах против моих убеждений. Проблема в том, что я даже не пытался искать такие ошибки в самих убеждениях. Зато я неплохо умел искать источники подтверждающие мои убеждения и «упаковывать» их в убедительно звучащие аргументы. Таким образом я систематически наращивал свою уверенность в убеждениях в отрыве от баланса свидетельств.
Вагон 5. Зависимость от трактовки.
Этот эффект отлично продемонстрирован в художественной книге «Апофения» Александра Панчина. Там астрологов привлекают в качестве экспертов в суде, но кодекс корпоративной этики запрещает им давать прогноз, если другой астролог уже сделал своё предсказание. Так и я, прежде чем определять тип всегда интересовался, а не определил ли человек сам себя, или не определял ли его кто-то из общих знакомых. Ведь решать задачу гораздо легче, когда знаешь к какому ответу тебе нужно подогнать решение. А вот если ответ не давать, то результаты уже будут отражать силу методики. Например, Джон Макгрю и Ричард Макфол решили проверить шестерых лучших астрологов штата Индиана (США). Они предложили астрологам установить соответствие между анкетами и гороскопами 23 человек. Значимыми были бы хотя бы 4 правильных совпадения для одного астролога. Но число правильных ответов ни разу не превысило 3 (а в среднем составило вообще = 1). При этом астрологов попросили оценить уверенность в правильности каждого сопоставления. Средний уровень уверенности составил 75%.
Вагон 6. Плавающие убеждения.
Коротко напомню суть: если модель способна описать любой исход это значит, что она не даёт никакого прогноза. В таком случае польза от неё почти нулевая, а вред вполне себе ощутим. А вы ведь помните как работают типологии, если их прогноз не удаётся?
«Ты целеустремленный человек»
«Что есть, то есть»
«И для тебя очень важная работа, ты готов проводить там все свободное время»
«Ну вообще-то не совсем так»
«А, точно, иногда у представителей твоего типа есть такая особенность. Это делает тебя ещё более крутым»...
Может возникнуть ощущение, что я знал, что данная типология не работает и намерено вводил людей в заблуждение, используя инструменты убеждения. Однако это не так. Изнутри это ощущалось именно как рабочий инструмент с понятным и прозрачным механизмом. После всех этих вагонов мне пришлось отказаться от использования данной методики. А ещё рассказать людям, многих из которых я лично вербовал и склонял к использованию данной методики, о своих наблюдениях. И конечно же, в этот раз многие из них были куда более критичны по отношению к моим аргументам.
Жил-был маленький Гаусс. Ходил он ещё в начальную школу. А учителей уже тогда не хватало, поэтому малышня из начальных классов вполне могла сидеть на одном уроке в одном классе с ребятами из средних. Учитель математики, который был явно не в восторге от таких двойных уроков, самым маленьким дал задание: подсчитать сумму всех чисел от одного до ста. И они на грифельных досках пошли старательно считать. А преподаватель занялся ребятами из среднего класса. К концу урока стал проверять, что же у кого получилось. Результата правильного не было ни у кого. Только у Гаусса не было вычислений и в ответе стояла правильная цифра 5050.
— Кто тебе подсказал, признавайся!
— Никто, это я сам.
Учитель не поверил. Тогда маленький мальчик пояснил ход своих рассуждений. Он сложил 1+100=101. Затем 2+99=101. И так 50 раз. Тогда 101*50=5050. Остальные ученики в жару творческого порыва просто складывали последовательно 1+2+3+4 и так далее. И в их вычисления неизбежно закрадывалась ошибка. Смотреть нетривиально на поставленные задачи и включать голову могут не все. Лишь некоторые. И вот они как раз и двигают прогресс.
А потом маленький Гаусс вырос и придумал распределение Гаусса. Но это уже совсем другая история.
Основа взята с anekdotov.net
Обзор 3х способов: вручную, Пакетом анализа, стандартной диаграммой (с версии 2016).
***
В статистическом анализе часто требуется построить график, отображающий частоту элементов в выборке. Также такой график позволяет узнать, пригодны ли измерения для последующего анализа, и если пригодны, то какой именно анализ позже следует использовать. Наиболее распространен анализ данных при нормальном распределении в выборке. Нормальное распределение (очень упрощенно) — это когда большинство значений в ряду приближены к среднему значению, а остальные значения встречаются тем реже, чем ближе они к минимальному или максимальному значению ряда. Графически это можно представить так:
***Для тех, кто знаком со статистическими исследованиями, сразу прошу прощения за элементарность в объяснении и картинках. Мне бы не хотелось здесь «грузить» читателя, незнакомого со статистикой, расчетами стандартных отклонений, правилами 6-ти сигм и т.д., поэтому стараюсь здесь описывать ситуацию максимально простыми терминами.
То есть, график нормального распределения должен напоминать колокол с вершиной в центре. Перекосы на графике в сторону минимального или максимального значения обычно означают проблему: неверно настроен прибор, выпускающий деталь, неверно работает измерительный прибор и т.д. Либо же (если речь не идет об измерениях) перекосы могут означать ненормальное распределение, что значит, к данным надо применять уже другие исследования.
Это была «матчасть» вкратце :)
Практический пример
Теперь перейдем к задаче в Excel.
Допустим, есть ряд данных с измерениями (всего 56 измерений). Допустим, это измерения длины детали, которую вытачивает станок. Эталонная длина детали — 50 мм. Но в реальности длина деталей отличается от эталона:
Требуется построить график частот для просмотра и анализа отклонений.
Решение. Часть 1. Строим интервалы частот
Для начала следует определить, сколько интервалов частот имеет смысл сделать. На самом деле, их может быть любое количество, желательно, не менее 6, но и не слишком много. Для 56 измерений я возьму 9 интервалов. Размер каждого интервала рассчитаем по формуле
=(МАКС.знач.-МИН.знач)/КОЛИЧЕСТВО интервалов:
Далее строим список интервалов от минимального до максимального значения через этот найденный промежуток. Первая точка — минимальное значение ряда, каждая следующая — через найденный промежуток, последняя точка — максимальная точка ряда+небольшой запас, иначе максимальная точка не будет учтена при расчете частот. Итого получается 10 точек (тут маленькое видео, чтоб было понятно):
По поводу последней точки: ее нужно увеличить небольшим запасом, хотя бы на 0,01, чтобы максимальная точка тоже учитывалась при дальнейшем расчете частот:
После определения интервалов можно поступить 2 способами: самостоятельно рассчитать частоты и построить график, или воспользоваться пакетом анализа и с его помощью построить график. Начну со способа «все сделать самостоятельно».
Часть 2. Способ 1, самостоятельный
Используя функцию ЧАСТОТА, распределим значения по интервалам. Гифка с действиями:
2. Строим гистограмму получившихся частот. Я воспользовалась кнопкой Быстрый анализ:
Если хочется, диаграмму можно настроить для наглядности. Я добавила подписи данных, уменьшила боковой зазор и изменила цвет:
Как видим, наша диаграмма напоминает колокол, значит, исходные данные соответствуют нормальному распределению.
Часть 2. Способ 2, Пакет анализа
Имея список интервалов, построить гистограмму распределения частот можно с помощью Пакета анализа. Пакет анализа — это надстройка, входящая в Excel, но по умолчанию не включенная.
Чтобы активировать надстройку, надо перейти в Параметры Excel, выбрать Надстройки - Перейти и установить флаг Пакет анализа. Команда Анализ данных будет добавлена на вкладку Данные:
Теперь, чтобы построить диаграмму, выполняем:
Анализ данных — Гистограмма — ОК.
Входной интервал — диапазон исходных значений, Интервал карманов — диапазон интервалов, указываем также Выходной интервал — место, куда будет размещен результат анализа, и устанавливаем флаг Вывод графика:
Пакет анализа не только построит гистограмму, но и представит таблицу частот в указанном расположении. Результаты при этом полностью совпадут с теми, что ранее строили самостоятельно.
Часть 3. Способ последний, самый новый
Счастливым обладателям Excel 2016 и выше даже интервалы считать не надо: в этих версиях диаграмма частот появилась как стандартная, достаточно только иметь ряд данных для анализа:
Распределение по интервалам при этом произойдет автоматически, но если необходимо, количество интервалов можно изменить. Подписи горизонтальной оси содержат сразу охват интервала, например, [49,36 49,72], что значит, интервал 49,36-49,72. Для изменения количества интервалов нужно открыть настройки горизонтальной оси и задать там для интервалов либо длину, либо их количество. Я выставила 9, как и в других случаях:
И вот мы снова получили гистограмму частот (полностью совпадает с предыдущими), но уже без таблицы.
