Vladimir98

Это первая статья из цикла по основам статистики. В нём вы узнаете, зачем нужна эта наука и даже будете понимать её страшные термины. Но здесь не будет сухого математического языка, я постараюсь донести всё на простых примерах, которыми волею судьбы стали макарошки

Зачем нужна статистика

В зарубежных курсах первая лекция часто посвящена обсуждению темы: почему полезен этот предмет. У нас такой традиции почему-то не сложилось, откуда и возникают вопросы студентов «Зачем вообще это нужно?» после матанализа, «Как это использовать?» после дифференциальных уравнений и «Это что сейчас было?» после рядов Фурье. Я постараюсь разрушить эту тенденцию и объяснить, как применяется статистика в реальной жизни и кому она нужна

Статистика зародилась как математическая дисциплина. Это выглядит довольно забавно — математика привыкла работать со строгими абстрактными понятиями: например, в геометрии линии не имеют толщины, а матанализ работает с понятиями бесконечно малых и бесконечно больших чисел. Даже физика, описывающая с помощью математики наш мир, сводит всё к абстракциям. И вот такую строгую, оторванную от реального мира науку, просят описать этот самый реальный мир со всеми его погрешностями и отклонениями. Как тебе такое, Фридрих Гаусс?

Но трудами великих, математика с этим справилась и вполне неплохо помогает решать важные задачи. Так врачи могут определить, какое из лекарств работает лучше, маркетологи — понять, что именно нравится людям, а учёные — открыть новую элементарную частицу или ответственный за заболевание ген!

Статистику можно использовать и в повседневной жизни. Одна из моих преподавателей с её помощью подобрала оптимальную цену для сдачи квартиры. Я сам хочу провести подробный анализ постов в своей группе и посмотреть, как люди отреагируют на разные тематики

Самые продвинутые области человеческого знания сегодня обязательно используют статистику. Вы могли слышать про искусственный интеллект или большой адронный коллайдер. Статистика необходима для работы и с тем, и с другим! Более того, в большинстве научных статей используется статистическая обработка данных. Учёные показали, что восприятие оптических иллюзий зависит от возраста? Будьте уверены, в этом замешана статистика

Давайте же разбираться, как работает эта дисциплина!

Генеральная совокупность и выборка

Статистика изучает объекты реального мира, которые мы измеряем опытным путём. И её часто интересуют конкретные числа, описывающие изучаемый объект. Например, маркетолога интересует, как выглядит среднестатистический клиент. Или, каков разброс трат в магазине. Чтобы понять, откуда берутся эти числа, нам сначала нужно поговорить о том, что такое генеральная совокупность и выборка

Генеральная совокупность — это вообще все объекты, обладающие интересным для нас признаком! Например, для маркетолога — это все его клиенты, а для кардиолога — все пациенты с заболеваниями сердца. Изучая генеральную совокупность, мы сможем с огромной точностью описать все её параметры: среднего клиента, самое частое значение или их разброс. Это самый надёжный для статистики метод! Который, правда, почти не используется. И на это есть причины:

• Большой объём. Иногда объектов для изучения слишком много, что делает их изучение дорогим или невозможным. Например, было бы интересно узнать средний рост людей на Земле. Но ещё интереснее было бы найти человека, готового их всех измерить

• Недоступность. Порой все объекты вообще недоступны нам для изучения. Очень бы хотелось узнать побольше про динозавров! Но большинство из них уже давно открыло своими короткими лапками ворота в мир иной и нам приходится делать выводы только по имеющимся останкам

• Бессмысленность. Иногда изучение всех объектов может просто не иметь смысла. Представьте, например, что вы исследуете процент брака таблеток, выпускаемых заводом. Для того, чтобы изучить состав таблетки нужно её разрушить. «Брака не выявлено!» говорите вы директору завода, разрушив всю партию. «Спасибо тебе, друг, большое!» говорит вам ни один директор

Поэтому нам нужно как-то судить о генеральной совокупности по её части. Такая часть называется выборкой. Если выборка хорошая и отлично соответствует картине в целом, она называется репрезентативной

Представьте, что у вас нет микроволновки, но вам нужно разогреть себе на обед макарошки. Приходится делать это по старинке — в сковороде на плите

Можно просто подождать достаточно времени и все макарошки гарантированно будут тёплыми. Но кушать хочется уже сейчас! Нужно определить, подогрелась ли еда, попробовав часть: ведь сказать «Холодновато», съев их все не имеет смысла

Теперь, как бы вас ни пугал этот термин, вы заинтересованы в репрезентативности выборки. Но как выбрать макарошки так, чтобы они хорошо отразили картину в целом?

Например, можно попробовать их из разных частей сковородки. Это будет называться простым случайным отбором. Так мы удостоверимся, что часть макарошек не будет холодной из-за неравномерного прогревания. Ещё больше улучшить точность оценки можно, выделив группы. Например, у нас могут иметься макароны разного размера или куски мяса. Попробовав случайные объекты из разных групп, мы проведём то, что называется стратометрическим отбором. Страты или кластеры — просто способ назвать группы понаучнее

Есть и другие методы, но их мы оставим. Для изучения основ этого хватит, к тому же уже пора приступать к поглощению генеральной совокупности!

А отличный пример нерепрезентативной выборки я приводил здесь

Спасибо за чтение! Это первая образовательная рубрика для меня, поэтому очень важна обратная связь: пишите пожелания, советы и критику в комментариях. А если интересны посты про образование и науку, заглядывайте ко мне в ВК и телеграм

Я уже рассказывал, что математика — очень красива. Но многие не видят этого из-за строгого и сухого языка, на котором она говорит. Сегодня я постараюсь объяснить, почему царица наук такая строгая, в чём смысл такого языка и его преимущества

В математике нет лишних слов

Возьмите любое математическое определение. Да, скорее всего оно будет написано языком суше песков Сахары. Но ни одно слово не попало в это определение зря. Всё, что не было необходимо для передачи мысли, было безжалостно отброшено

Если вы не любите пустых слов, математика — дисциплина для вас

Слова строго определены

Да, порой математические термины звучат очень страшно. Но каждый из них строго определён. Если вам встретилось непонятное слово в определении, всегда можно посмотреть значение этого слова. Если и в нём будут непонятные термины, можно прочитать и их и так пока не уткнёшься во что-то ещё не описанное. Тогда нужно всего лишь изучить свойства этого объекта. У меня так брат Филдсовскую премию получил

Преимущества такой строгости видно на обратном примере. Вы могли слышать про парадокс кучи. Представьте, что перед вами куча песка:

Кто-то очень терпеливый начинает убирать с неё по одной песчинке. Вот песчинок уже не несколько тысяч, а всего одна, теперь сотня… Так с какого же количества песчинок куча перестаёт быть кучей? А если наоборот, на пустое место добавлять по одной крупинке песка, когда образуется куча?

Это не математический, а чисто лингвистический парадокс. Вся его проблема в том, что слово куча строго не определено. Точно скажите, что же это такое и математика позволит описать все её свойства

Математика безгранична

Естественные науки не могут изобретать какие угодно теории: они ограничены реальным миром. Математике же это не очень интересно: если её законы можно приложить к реальному миру, это лишь удача для реального мира. Но зачем математику ограничиваться 3-мерным пространством? Его интересуют более общие случаи. Четырёх-, пяти-, n-мерное пространство! Бесконечности, абстрактные структуры, не существующие в реальном мире, всё это описывается математически!

«Как мило, у него воображаемый друг!» — игра слов с мнимой единицей — корнем из -1

Вся математика — на кончике карандаша

Вам не нужно дорогое оборудование для того, чтобы заниматься этой наукой. Всё, что нужно для того, чтобы открыть что-то новое в математике — это бумага и карандаш. Вы можете открывать новые объекты сами, придумывая их свойства, или взять ряд известных правил и попытаться описать новые свойства объектов в них

Это аксиомы Евклида. Большая часть учебников, которые были у вас в школе, выводится из этих простых правил, вмещающихся на одной странице!

Да, понять математику бывает сложно. Порой сложно определить, насколько сложным является то, что скрывается за терминами

Вот вам тест. Две теоремы ниже являются школьными, а за доказательство третьей была предложена награда в 1 миллион долларов. Сможете ли вы угадать за какую?

Столбцы матрицы , входящие в базисный минор, образуют линейно независимую систему. Любой столбец матрицы линейно выражается через остальные столбцы из базисного минора

Всякое односвязное компактное трёхмерное многообразие без края гомеоморфно трёхмерной сфере

Из всякой ограниченной последовательности точек пространства можно выделить сходящуюся подпоследовательность

Пишите свои предположения в комментариях :) А если интересны посты о науке и учёбе, заглядывайте в мою группу ВК

Случайные числа используются повсюду — создание уникальных миров в компьютерных играх, наука и даже банальные розыгрыши в контакте. Но откуда они берутся?

Конечно, их генерирует компьютер. Но как он это делает? Ведь по сути компьютер умеет выполнять только простые действия — арифметические и логические операции. Нельзя просто сказать машине, что ты от неё хочешь: нужно очень строго это описать

А теперь задумайтесь, как можно используя только строгие указания: какие действия и над какими числами выполнить, получить случайное число? Как получить из порядка хаос?

Но люди предпринимали попытки построить алгоритм, который выдавал бы случайные числа. Например, так выглядит генератор Кнута:

К1. [Выбрать число итераций.] Присвоить Y наибольшую значащую цифру Х. (Мы выполним шаги К2-К13 точно Y+1 раз, т. е. применим рандомизированные преобразования случайное число раз.)
К2. [Выбрать случайный шаг] Присвоить следующую наибольшую значащую цифру X. Переходим к шагу К(3 + Z), т. е. к случайно выбранному шагу в программе.
КЗ. [Обеспечить > 5 х 109] Если X < 5000000000, присвоить X значение X + 5000000000.
К4. [Средина квадрата.] Заменить X серединой квадрата X.
К5. [Умножить.] Заменить X числом (1001001001 X) mod 1010.
К6. [Псевдодополнение.] Если X < 100000000, то присвоить X значение X + 9814055677; иначе присвоить X значение 1010- X.
К7. [Переставить половины.] Поменять местами пять младших по порядку знаков со старшими.
К8. [Умножить.] Выполнить шаг К5.
К9. [Уменьшить цифры.] Уменьшить каждую не равную нулю цифру десятичного представления числа X на единицу.
К10. [Модифицировать на 99999.] Если А' < 105, присвоить X значение — X 2 +99999; иначе присвоить X значение X — 99999.
К11. [Нормировать.] (На этом шаге А' не может быть равным нулю.) Если X <109, то умножить X на 10.
К12. [Модификация метода средин квадратов.] Заменить Х на средние 10 цифр числа Х(Х — 1).
К13. [Повторить?] Если Y > 0, уменьшить У на 1 и возвратиться к шагу К2. Если Y = 0, алгоритм завершен. Значение числа X, полученное на предыдущем шаге, и будет желаемым «случайным» значением.

Он кажется очень сложным и, казалось бы, должен обеспечить случайность. Но на деле эти шаги приводят к получению числа 6065038420, которое зацикливает алгоритм на себя же

Но получать случайные числа оказалось так важно, что люди придумали ещё один метод, назвав его пострашнее, чтобы отпугнуть рекурсию и прочих хакеров. А именно линейный конгруэнтный метод

Давайте возьмём некоторое начальное число. Обзовём его икс нулевое (X0) и дадим ему значение, например, 4. Домножим его на другое число, например, 3, которое назовём множителем и обозначим a. Получится 12

Прибавим ещё одно случайное число, пусть будет 5. Его нужно назвать пострашнее, так как сложение — это слишком простое действие. Допустим, приращением. А обозначим его буквой с

X0*a + c = 4*3 + 5 = 17

Теперь осуществим действие посложнее. Поделим результат на ещё одно число, например, 7. Но возьмём не результат деления, а остаток от него. Это число обозначим буквой m, а операцию деления и взятия остатка символом процента %

17 / 7 = 2 и ещё 3 остаётся в остатке. Это число нам и нужно! Запишем всё вышеизложенное в виде итоговой формулы, а результат назовём икс-первым: X1

X1 = (X0*a + c) % m = (4*3 + 5) % 7 = 17 % 7 = 3

Поздравляю, мы только что изобрели не самый простой способ получения числа 3! Но кроме того, подставляя результат на место X0 в исходную формулу мы можем получить последовательность чисел, которая похожа на случайную! Для таких исходных данных мы получим последовательность:

3, 0, 5, 6, 2, 4, 3, 0, 5, 6, 2, 4, 3, 0…

Выглядит достаточно случайно! Но с определённого момента начинает повторяться. Дело в том, что мы ограничены константой m. Так как мы берём остаток от деления, невозможно получить таким образом больше чисел, чем число, на которое мы делим. Представьте остатки от деления чисел на 3:

1 % 3 = 1
2 % 3 = 2
3 % 3 = 0
4 % 3 = 1

Видно, что последовательность начинает повторяться и, если немного подумать, довольно очевидно, почему

Поэтому на практике используют гораздо большие константы. Например, в языке программирования java это следующие числа:

a = 25214903917
m = 281474976710655
c = 11

Остаётся только задать число X0. Для этого часто используется текущее время: сколько секунд прошло с 1 января 1970 года (программисты порой бывают странными), а также самые разнообразные генераторы энтропии. Это какие-то источники случайных процессов в окружающем мире. Например, испускание электронов радиоактивным элементом, шум собственного компьютера или даже космоса!

Вот такая математика скрывается за каждым розыгрышем вконтакте. По этому поводу шутил математик Роберт Кавью:

Генерация случайных чисел слишком важна, чтобы оставлять её на волю случая

Больше постов о науке и учёбе можно найти в моей группе ВК и канале телеграм

Однажды была мысль научиться фотографии и я посвятил лето тому, чтобы фотографировать самый красивый для меня объект — природу

Я бегал за ним 3 часа :D

Я тогда в первый раз что-либо фотографировал, поэтому извиняюсь за косяки

Особенно приятно смотреть на эти тёплые фотографии холодным осенним вечером. Но, думаю, если бы он тоже был тёплым, я радовался бы не меньше :D

Все фотографии сделаны на iPhone 5S

О природе, науке и учёбе я также пишу в своей группе ВК