Mackedonsky

Mackedonsky

Linux System Administrator | DevOps Engineer
Пикабушник
78К рейтинг 504 подписчика 32 подписки 143 поста 58 в горячем
Награды:
За неравнодушие к судьбе Пикабувыполнение всех достижений5 лет на Пикабу
28

Мониторинг: avarage time vs percentile

Всем привет! Для всех, кто сталкивался с мониторингом или любым подсчетом большого количества данных, сталкивался с таким понятием как "среднее значение".

Но истинно ли оно?

Давайте разберем, что есть avg и percentile.

Avg - среднее арифметическое нескольких чисел, сумма этих чисел, которую разделили на количество слагаемых.

Процентиль(он же квантиль) - это определённая часть выборки данных. Чаще всего используют 50, 75, 90, 99 процентили.

Если со средним значением все понятно, то процентиль проще пояснить на примере. Допустим, у нас есть 10 баз данных, на которые стабильно поступают SQL запросы. Мы знаем, что в среднем наша норма ответа на один тяжеловесный запрос около 1000ms в одной БД. Но одна из БД сегодня под повышенной нагрузкой, и не справляется с нагрузкой.

Возьмем значение для последней БД 19000ms. Если считать среднее значение, то выйдет такая картина:

(9000 + 19000) \ 10 = 2 800 ms время выполнения запроса для каждой БД. Что это значит? Имея такую картину, мы первым делом осознаем, что остальные 9 серверов должны были превысить допустимый лимит в условных 1500ms. Но если проверить вручную, то выяснится, что остальные 9 БД обрабатывают тяжеловесный запрос все так же 1000ms.

Возьмем для подсчета 50-й и 99-й процентиль.

Для его подсчета нам потребуется набор входящих данных.

1121; 983; 1200; 891; 1068; 1042; 1000; 1010; 999; 19000;

Считается он по этой формуле:

Где P-й процентиль списка из N упорядоченных по величине чисел (от меньших к большим) является наименьшее в списке число, которое больше, чем N процентов всех чисел исследуемого ряда. Например, для приведенного выше примера с временем выполнения запроса, 99-й процентиль означает время выполнения, которое больше, чем время выполнения 99% других БД.

50-й процентиль будет равен 1 026, это будет являться истинным средним значением для большинства серверов. Но откидывать из мониторинга последний сервер так же нельзя. Для этого мы считаем 99-й процентиль. Он будет равен 17 398.


Конечно вручную вам считать не придется, так как это умеют делать и системы мониторинга и прочие инструменты.

Когда мы посчитали процентили, мы можем их визуализировать на графиках, на которых сразу будет понятно, в каком случае проблемы имеют масштабный характер или же единичный.

Для визуализации своих метрик я использую grafana. Выглядеть это будет вот так:

(график просто для примера, он не является визуализацией моих подсчетов)

Краткая мораль avg - зло(в большинстве случаев), процентиль - добро. Всем спасибо за внимание.

P.S. для подсчета процентилей использовался онлайн калькулятор.

Показать полностью 3
352

О документации

Разработчики: Документация должна быть понятной, по делу и в официальном стиле
Так же разработчики:

О документации

Официальная документация по ядру linux.

P.S. перевод:

Внимание

Наименование «tasklet» вводит в заблуждение: оно не имеет ничего общего с «tasks»,  скорее всего оно связано с плохой водкой, которую в то время выпил Алексей Кузнецов(один из мэйнтейнеров ядра linux).

Показать полностью
8

Оповещение о добавление поста в премодерацию

Вы создаете оповещение о том, что пост снял пост с премодерации, но не создаете оповещения о том, что он его ДОБАВИЛ в мое сообщество и попал в премодерацию.

Получается пост создали в 08:33, он провисел на премодерации полтора часа и я узнал про это лишь тогда, когда ТС-у надоело ждать, пока я зайду на сайт и увижу это.

Господа разработчики, я вот может чего то в этом мире не понимаю, или я просто тупой, но где, блять, в этом логика?

@dev, @SupportTech, это уже просто накипело. У меня только за 3 дня 4 таких поста ушло с премодерации. Я же не могу мониторить 24\7 пикабу в ожидании нового поста на премодерацию

Показать полностью 2
180

Один из легких способов узнать реальный IP адрес сервера

Прошлой грустной ночью я гулял по интернетам и наткнулся на весьма простой и, в большинстве случаев, действенный сервис.

Наверняка, кто интересовался, как узнать IP адрес сервера, знают про методы проверки DNS записей, поддоменов, хедеры почты и всякие сервисы подобные shodan.io.

Я для себя открыл сайт viewdns.info, а если более точно, то сервис, который шерстит архивы ресурсных записей домена. Возьмем в пример сайт бесплатного курса по программированию на python - pythontutor.ru

Проверяем записи: А, NS


pythontutor.ru. 300 IN A 104.21.12.207
pythontutor.ru. 300 IN A 172.67.132.103
pythontutor.ru. 3494 IN NS amanda.ns.cloudflare.com.
pythontutor.ru. 3494 IN NS seth.ns.cloudflare.com.

Понимаем, что сайт находится за CF-ом. Идем на viewdns и смотрим историю записей:

Один из легких способов узнать реальный IP адрес сервера

Видим 4 IP CF-а и 2 IP хостинг провайдера digitalocean, переходим по ip адресам 178.62.144.114 и 188.166.141.106 нас редиректит на сайт pythontutor.ru. Да, это могут быть прокси сервера или балансеры, но проект маленький и вряд ли там будет какая то highload инфраструктура.

По крайней мере я сделал для себя такой вывод банально по простому фактору - попробовал постучаться по ssh

ssh 188.166.141.106
The authenticity of host '188.166.141.106 (188.166.141.106)' can't be established.
Are you sure you want to continue connecting (yes/no/[fingerprint])? yes
X@188.166.141.106's password:

ssh 178.62.144.114
The authenticity of host '178.62.144.114 (178.62.144.114)' can't be established.
Are you sure you want to continue connecting (yes/no/[fingerprint])? yes
X@178.62.144.114's password:

Как вы могли бы заметить, там нет ни вайтлиста по IP адресу, да и доступ по паролю не отключен.

Я тестировал на разных доменных именах, но не у всех была история изменений, точной причины их отсутствия я, увы, не знаю.

Если кто то несведущий дочитал до конца и ему непонятно, чем может грозить скомпрометированный IP адрес сервера, находящийся под CF-ом, я поясню, - самый простой пример, это DDoS атака. Если атака будет проводиться по домену, то сначала весь трафик будет фильтровать Cloudflare, а затем поступать на сервер. Атака же на сам сервер по IP адресу минует CF и сервер, по факту, не защищен. Хотя может быть еще сетевой экран на уровне хостера, но все же.

Спасибо за внимание.

Показать полностью 1
445

Ответ на пост «И ты, Брут»2

Я вообще не понял, где, кто и когда объявил DuckDuckGo поисковиком, который позиционировал себя абсолютно независимым относительно политических ситуаций в мире.

Давайте раскроем эту тему детально.

Ответ на пост «И ты, Брут»


Чем DuckDuckGo отличается от Google и Яндекс

Основная задача DuckDuckGo заключается не в фиктивном, а в реальном обезличивании пользовательской информации. Поисковые системы отслеживают личную информацию пользователей и передают её затем рекламным компаниям (как минимум), хотя, как утверждают представители Google и Яндекс, они делают это в «обезличенном» виде, то есть без привязки к конкретному аккаунту и человеку. Тем не менее, вряд ли кто-то может помешать поисковикам персонифицировать такую информацию по запросу, и в результате не только рекламные сервисы, но и правоохранительные органы будут знать о вас всё: какие сайты вы посещаете, где регистрируетесь, с кем и как общаетесь. А уж о том, как эта информация порой используется в России, знают не только продвинутые юзеры, но и многие из тех, кто не слишком посвящён в детали работы поисковиков.

Как DuckDuckGo помогает сохранять конфиденциальность в сети

DuckDuckGo широко поддерживает ПО для обеспечения конфиденциальности. Например, поисковик полностью совместим с браузером Tor и даже встроен в него в качестве поисковой системы по умолчанию (Firefox и Chrome с некоторых пор также позволяют сделать DuckDuckGo основным поисковиком у себя). А в прошлом году DuckDuckGo выделил 600 тысяч долларов на борьбу за права пользователей всемирной паутины, и значительная часть этих денег досталась как раз разработчикам браузера «Tor».

Плевать DuckDuckGo и на национальные ограничения: поисковик не блокирует ссылки на сомнительные с точки зрения законодательства той или иной страны ресурсы, поэтому вы можете быть уверены в том, что найдёте нужную информацию. Удобно? Безусловно. Тем более что заблокированные сайты нередко страдают совершенно незаслуженно (вспомним хотя бы несколько лет боровшийся за правду и официальное признание RuTracker).

Утром 5 марта 2020 года DuckDuckGo огорошил интернет-аудиторию публикацией сразу тысячи веб-трекеров, следящими за пользователями без их согласия. Явным лидером по шпионским трекерам в интернете оказался Google: щупальца этого поискового гиганта были замечены на 85% проанализированных сайтов. Со значительным отставанием второе место в этом сомнительном рейтинге занимает детище Марка Цукерберга, Facebook, трекеры которого были замечены на 36% сайтов. Цукерберг же на прошедшей в феврале 2020 года в Мюнхене конференции по безопасности, заявил, что нужно создать меры, «которые позволяли бы вмешиваться, чтобы убирать контент, который является опасным», то есть, по его словам, получается, что трекеры и вовсе заботятся о пользователе, подсовывая ему исключительно безопасный контент. Замыкает же шпионскую тройку Adobe, один из крупнейших разработчиков ПО, с 22%.

Что же делают эти трекеры? Они знают о вас всё: пол, возраст, место проживания, тип вашего компьютера или мобильного устройства. И даже ваше имя для ряда из них не загадка. Взамен вы получаете конфетку в виде «персонализированных результатов поиска» для вашего виртуального аккаунта. Однако зачем нужны аккаунты и персонализированные результаты поиска, если поисковая система способна справляться с вашими запросами и без этого? Правильно: они нужны для того, чтобы вас было легче отследить, а польза от них сомнительная, не говоря уже о том, что многих просто раздражает ворох дополнительной (чаще всего рекламной) информации, предлагаемой трекерами по вашим запросам.

Итак, хотите ли вы предоставлять подробные сведения о себе интернет-компаниям, которые затем продадут их любому заинтересованному лицу? Мы тоже не хотим, поэтому уже давно выбрали DuckDuckGo. И мы не одиноки: на «утиной стороне » и многие известные пионеры интернета. Так, в своей любви к DuckDuckGo недавно признался создатель Twitter Джек Дорси.

DuckDuckGo помогает защититься от шпионских трекеров с помощью установки бесплатных приложений и расширений для браузеров. Эти расширения блокируют действие вредоносных скриптов, перекрывая кислород Google, Facebook и другим безнравственным интернет-воротилам и делая пребывание на сайтах действительно безопасным.

Что говорят в wiki?

DuckDuckGo (сокр. DDG) — поисковая система, придающая особое значение обеспечиванию конфиденциальности пользователей и отказу от «пузыря фильтров» персонализированных результатов поиска[4]. DuckDuckGo также уделяет особое внимание выдаче наилучших результатов, а не наибольшего их количества, и генерирует результаты, используя более 400 источников, включая ключевые краудсорсинговые сайты, такие как Википедия, а также другие поисковые системы, среди которых Bing, Yahoo!, Яндекс и Yummly.
И тут ни слова про "независимость".

И если вам мало, то еще есть политика конфиденциальности и то, как себя позиционирует DuckDuckGo словами в страничке "О нас"

Так что подведем итоги: Уточка - молодец. Журналюг, которые решили похайпить на инфоповоде - на костер.

Уточка говорит, что она хорошая и не собирает о нас данные. Но она ни слова не говорила о том, что будет аполитичной или будет игнорировать какие то мировые факторы, она может это сделать, если захочет. Кинули камень в чужой огород даже не разобравшись в ситуации.

Материалы для поста взяты из статьи на хабре
Показать полностью 1
159

Минцифры предпримет меры для поддержки IT-отрасли

По данным из источников в Госдуме, «Российской газеты» и другим СМИ, Минцифры РФ подготовило перечень первоочередных мер для стабилизации и развития IT-отрасли в условиях санкций.

По информации «Коммерсанта», в правительстве готовят срочные меры, чтобы остановить
бегство разработчиков и квалифицированных кадров. Минцифры предлагает меры по поддержке и предотвращению массового исхода IT-cпециалистов, включая такие:


- Распространить действующие налоговые льготы также на IT-компании, получающие доходы от размещения рекламы или оказания допуслуг в своих приложениях и онлайн-сервисах, а также от реализации, установки, тестирования и сопровождения партнерских отечественных IT-продуктов;

- Освободить на следующие 3 года всех сотрудников ИТ-компаний от уплаты НДФЛ, а сами компании от уплаты налога на прибыль, а также освободить эти компании от проверок;

- Предоставить всем сотрудникам IT-компаний льготную ипотеку со ставкой 5% на время работы;

- Предоставить отсрочку от призыва на военную службу для сотрудников IT-компаний на время их работы в этих компаниях;

- Ввести процедуры упрощенного получения разрешения на работу и вида на жительство для иностранных граждан, привлекаемых для работы в российских компаниях;

- Предоставить компаниям гранты на разработку и развитие IT- продуктов;

- Обеспечить ускоренное импортозамещение ПО на объектах критической информационной инфраструктуры;

- Также обеспечить целевое финансирование на создание в России «зеркала» репозитория открытого ПО на платформе GitHub.

В начале февраля СМИ сообщили, что Минцифры в мае этого году начнет эксперимент по созданию российского аналога Github. Там будут представлены программные продукты под открытой лицензией, созданные на бюджетные средства, например, исходные коды и программы, которые были созданы для Минцифры, МВД, Росреестра, Пенсионного фонда и других госорганов. Российские разработчики и компании смогут на добровольной основе публиковать там свои программы.


Пост взят с habr
Показать полностью
Отличная работа, все прочитано!

Темы

Политика

Теги

Популярные авторы

Сообщества

18+

Теги

Популярные авторы

Сообщества

Игры

Теги

Популярные авторы

Сообщества

Юмор

Теги

Популярные авторы

Сообщества

Отношения

Теги

Популярные авторы

Сообщества

Здоровье

Теги

Популярные авторы

Сообщества

Путешествия

Теги

Популярные авторы

Сообщества

Спорт

Теги

Популярные авторы

Сообщества

Хобби

Теги

Популярные авторы

Сообщества

Сервис

Теги

Популярные авторы

Сообщества

Природа

Теги

Популярные авторы

Сообщества

Бизнес

Теги

Популярные авторы

Сообщества

Транспорт

Теги

Популярные авторы

Сообщества

Общение

Теги

Популярные авторы

Сообщества

Юриспруденция

Теги

Популярные авторы

Сообщества

Наука

Теги

Популярные авторы

Сообщества

IT

Теги

Популярные авторы

Сообщества

Животные

Теги

Популярные авторы

Сообщества

Кино и сериалы

Теги

Популярные авторы

Сообщества

Экономика

Теги

Популярные авторы

Сообщества

Кулинария

Теги

Популярные авторы

Сообщества

История

Теги

Популярные авторы

Сообщества