Мониторинг: avarage time vs percentile
Всем привет! Для всех, кто сталкивался с мониторингом или любым подсчетом большого количества данных, сталкивался с таким понятием как "среднее значение".
Но истинно ли оно?
Давайте разберем, что есть avg и percentile.
Avg - среднее арифметическое нескольких чисел, сумма этих чисел, которую разделили на количество слагаемых.
Процентиль(он же квантиль) - это определённая часть выборки данных. Чаще всего используют 50, 75, 90, 99 процентили.
Если со средним значением все понятно, то процентиль проще пояснить на примере. Допустим, у нас есть 10 баз данных, на которые стабильно поступают SQL запросы. Мы знаем, что в среднем наша норма ответа на один тяжеловесный запрос около 1000ms в одной БД. Но одна из БД сегодня под повышенной нагрузкой, и не справляется с нагрузкой.
Возьмем значение для последней БД 19000ms. Если считать среднее значение, то выйдет такая картина:
(9000 + 19000) \ 10 = 2 800 ms время выполнения запроса для каждой БД. Что это значит? Имея такую картину, мы первым делом осознаем, что остальные 9 серверов должны были превысить допустимый лимит в условных 1500ms. Но если проверить вручную, то выяснится, что остальные 9 БД обрабатывают тяжеловесный запрос все так же 1000ms.
Возьмем для подсчета 50-й и 99-й процентиль.
Для его подсчета нам потребуется набор входящих данных.
1121; 983; 1200; 891; 1068; 1042; 1000; 1010; 999; 19000;
Считается он по этой формуле:
Где P-й процентиль списка из N упорядоченных по величине чисел (от меньших к большим) является наименьшее в списке число, которое больше, чем N процентов всех чисел исследуемого ряда. Например, для приведенного выше примера с временем выполнения запроса, 99-й процентиль означает время выполнения, которое больше, чем время выполнения 99% других БД.
50-й процентиль будет равен 1 026, это будет являться истинным средним значением для большинства серверов. Но откидывать из мониторинга последний сервер так же нельзя. Для этого мы считаем 99-й процентиль. Он будет равен 17 398.
Конечно вручную вам считать не придется, так как это умеют делать и системы мониторинга и прочие инструменты.
Когда мы посчитали процентили, мы можем их визуализировать на графиках, на которых сразу будет понятно, в каком случае проблемы имеют масштабный характер или же единичный.
Для визуализации своих метрик я использую grafana. Выглядеть это будет вот так:
(график просто для примера, он не является визуализацией моих подсчетов)
Краткая мораль avg - зло(в большинстве случаев), процентиль - добро. Всем спасибо за внимание.
P.S. для подсчета процентилей использовался онлайн калькулятор.
Динамика цен на б/у автомобили
После очень неудачного угона автомобиля за 10 дней до начала спецоперации (для меня, конечно, неудачного, для угонщиков - вполне) решила помониторить цены на б/у авто. Реклама все время выдавала один и тот же машин, делала себе скрины.
Разница между ценой авто от 1 марта и вчерашним днем плюс 352000, при этом курс доллара ниже на 17 рублей.
Мониторинг продолжается, запас поп-корна еще есть)
Не знаю что там на биржах
Купил на Али телефон в январе за 14к
Решил с 22 марта отслеживать его текущую стоимость. Что-то не вяжется с восторгами об укреплении рубля. А последние два дня вообще подскочила цена.
Военный мониторинг
Я не очень понимаю модные тренды украшать борта армейских грузовиков логотипами Zabbix.
СКОЛЬКО БОРЩЕВИКА У ВАС В РАЙОНЕ?
Теперь цифры можно посмотреть на сайте Антиборщевик на страничке
✅ https://antiborschevik.info/region
Кликаем на название, дальше проматываем вниз и смотрим табличку. В ней можно ещё покликать по районам — они от этого раскрываются и становятся видны данные по поселениям (пара скринов см. внизу статьи).
Подсчёт площадей производился по нарисованным вами участкам, поэтому большое спасибо всем неравнодушным, кто ранее откликался на просьбу отметить известные вам заросли! 😊
Где нет данных или мало — значит, там пока никто не заморочился насчёт картирования. Отсюда, конечно, не следует, что борщевика там нет.
Карта живая, её можно и нужно продолжать дополнять.
Кроме самостоятельной работы с картой, полезно также просить других людей (в городских группах, например) — и постепенно вместе мы соберём данные, которые станут отличным аргументом в пользу того, что пора уже бороться на государственном уровне.
Карта также является и инструментом для этой борьбы, для расчёта ресурсов: чего конкретно просить у региональной администрации. Или у федеральной. Или какие ресурсы нужно изыскать нам самим, если не допросились...
Инструкция здесь: https://antiborschevik.info/instruction_for_map , хотя, скорее всего, она вам не понадобится, интерфейс интуитивно понятный. 😊
Как спят?...
Был такой мем про Беларусь, сейчас у нас новый страшный инфоповод
Баянометр ничего не показал, выпилите, если было
Мониторинг и лог траффика
Существует ли бесплатная программа для получения информации об IP адресах отсортированных по размеру отправленных данных по сети?
ОС не важен.
Вот я нашел идеальную для этого программу http://www.skyward-soft.com/ip-traffic-monitor/ но она платная. Вроде бы реализовать не так сложно должно же быть. Неужели нет бесплатных аналогов?
Гугл не помог. Единственное что нашел PRTG но он с ограничениями и я не уверен что он это может - пока не понял как настроить чтоб по IP адресам группировал. Пока только по протоколам смог найти настройку.