Горячее
Лучшее
Свежее
Подписки
Сообщества
Блоги
Эксперты
0 просмотренных постов скрыто

Корреляционный анализ для определения причин деградации производительности СУБД PostgreSQL⁠⁠

математическая статистика в целом не подходит для общего анализа и сравнения производительности СУБД.

Эпиграф

Чем же может оказаться полезной математическая статистика или комментарий к комментарию.

Тренды на график метрики производительности СУБД

Тренды на график метрики производительности СУБД

Активные соединения и утилизация CPU

Активные соединения и утилизация CPU

Для сглаживания данных используется медианное сглаживание:

  • Долгая скользящая: 1 час(красная линия).

  • Короткая скользящая: 10 минут(синяя линия).

  • Активные соединения и утилизация CPU: стандартные метрики Zabbix.

Как видно из графика - имеет место деградация производительности СУБД:

  1. Количество активных сессий растет, но производительность падает

  2. Утилизация CPU растет , но производительность падает

Ситуация, принципиально отличается от описанной в казалось бы похожих кейсах:

  1. CPU Utilization = 100%. Это проблема СУБД?

  2. CPU Utilization = 100%. Это проблема СУБД?

Поэтому и решаться данный инцидент будет по другому.

Использование статистического анализа

1.Выделение трендов на графике производительности

Выполняется тривиально, дополнительных инструментов не требуется.

  • 13:00 - 13:28 : Горизонтальный тренд - высокая производительность

  • 13:28 - 13:47 : Деградация производительности

  • 13:57 - 14:05 : Горизонтальный тренд - низкая производительность. Нагрузка на СУБД уменьшилась.

13:00 - 13:28 : Горизонтальный тренд - высокая производительность

Статистические показатели производительности СУБД

Рис.1. Статистические показатели горизонтального тренда 13:00-13:28

Рис.1. Статистические показатели горизонтального тренда 13:00-13:28

Прямая корреляция между количество активных сессий и производительностью СУБД . Или другими словами - чем выше нагрузка на СУБД , тем выше производительность.

Статистические показатели ожиданий СУБД - корреляция ожиданий и производительности СУБД

Рис.2. Корреляционный анализ ожиданий и производительности 13:00-13:28

Рис.2. Корреляционный анализ ожиданий и производительности 13:00-13:28

Количество пользовательских запросов по которым имеются события ожидания СУБД - минимально.

13:28 - 13:47 : Деградация производительности

Статистические показатели производительности СУБД

Рис.3. Статистические показатели нисходящего тренда 13:28 - 13:47

Рис.3. Статистические показатели нисходящего тренда 13:28 - 13:47

Сильная обратная корреляция - чем выше нагрузка на СУБД тем ниже производительность. Явный признак инцидента производительности СУБД

Статистические показатели ожиданий СУБД - корреляция ожиданий и производительности СУБД

Рис.4. Корреляционный анализ ожиданий и производительности СУБД нисходящего тренда 13:28 - 13:47

Рис.4. Корреляционный анализ ожиданий и производительности СУБД нисходящего тренда 13:28 - 13:47

Как видно из таблицы - количество ожиданий кардинально увеличилось. Явный признак - имеются серьезные проблемы с производительностью СУБД.

2.Определение наиболее значимой причины деградации производительности СУБД

Из Рис.4 видно, что наибольшая обратная корреляция между событиями ожидания и снижением производительности СУБД имеется для события LWLock / BufferMapping

Рис.5. Ожидание LWLock / BufferMapping

Рис.5. Ожидание LWLock / BufferMapping

Как видно - количество ожиданий менее чем за 20 минут - весьма существенно.

Итак, первый результат

Первой( но конечно не единственной) причиной деградации производительности СУБД в период 13:28 - 13:47 является - большое количество ожиданий LWLock / BufferMapping при выполнении пользовательских запросов.

Чуть подробнее об ожидании BufferMapping

Ожидание при связывании блока данных с буфером в пуле буферов.

Postgres Pro Enterprise : Документация: 16: 27.2. Система накопительной статистики : Компания Postgres Professional

LWLock - buffer_mapping

This event occurs when a session is waiting to associate a data block with a buffer in the shared buffer pool.

Context

The shared buffer pool is an PostgreSQL memory area that holds all pages that are or were being used by processes. When a process needs a page, it reads the page into the shared buffer pool. The shared_buffers parameter sets the shared buffer size and reserves a memory area to store the table and index pages. If you change this parameter, make sure to restart the database. For more information, see Shared Buffer Area.

The buffer_mapping wait event occurs in the following scenarios:

  • A process searches the buffer table for a page and acquires a shared buffer mapping lock.

  • A process loads a page into the buffer pool and acquires an exclusive buffer mapping lock.

  • A process removes a page from the pool and acquires an exclusive buffer mapping lock.

LWLock - buffer_mapping | Redrock Postgres Documentation (rockdata.net)

3. Определение запросов с максимальным количество ожиданий

Рис.6. Запросы с ожиданием LWLock / BufferMapping c количество более 100.

Рис.6. Запросы с ожиданием LWLock / BufferMapping c количество более 100.

Далее, дело техники, используя утилиту pgpro_pwr по queryid, находим проблемный запрос за период 13:30 - 13:50(снимки pgpro_pwr формируются каждые 10 минут).

Запрос передается разработчикам , для анализа .

Дальнейшие события ожидания анализируются схожим образом. Если отсортировать таблицу Рис.4. по количеству пользовательских запросов(более 100) , то можно и нужно сформировать список проблемных запросов для передачи группе разработки на оптимизацию и доработку.

Рис.7. Список ожиданий отсортированный по количеству пользовательских запросов.

Рис.7. Список ожиданий отсортированный по количеству пользовательских запросов.

Итог

Статистический анализ производительности СУБД позволяет подтвердить наличие деградации производительности не дожидаясь деградации на уровне приложения.

Корреляционный анализ ожиданий и производительности СУБД позволяет быстрее определить корневую причину снижения производительности СУБД и определить список проблемных пользовательских запросов.

P.S.

В настоящее время ведутся работы по разработке и тестированию новой версии инструментария по мониторингу и анализу производительности СУБД PostgreSQL - "Орешник".

Методология статистического анализа производительности СУБД PostgreSQL будет довольно существенно дополнена и доработана.

Показать полностью 9
[моё] Математика Тестирование Postgresql Субд Мониторинг Статистика Корреляция Длиннопост Ответ
13
32

Занимательные корреляции⁠⁠

https://tylervigen.com/spurious-correlations
(требуется знание английского языка)

Наглядный пример того, как можно что угодно "притянуть за уши".

Очень понравилось, как ИИ подводит теоретическую базу под графики.

Количество фильмов с Дрю Бэрримор коррелирует с количеством голосов, отданных за кандидата в сенаторы от Либертарианской партии в Алабаме.

Чем больше люди смотрели фильмов с Дрю Бэрримор, тем сильнее они осознавали важность личной свободы и невмешательства в их жизнь. Все эти романтические комедии и трогательные драмы, вероятно, разожгли желание индивидуальной свободы, что привело к всплеску поддержки кандидатов-либертарианцев в Алабаме. Как будто её экранное обаяние и харизма насылали чары политического пробуждения по всему штату.

Использование ГМО в соевых бобах в штате Айова коррелирует с выработкой геотермальной энергии в России.

По мере того, как ГМО-соя в Айове процветала, она неосознанно образовала обширную подземную сеть, случайно соединившись с обширными корневыми системами российских одуванчиков. Эта беспрецедентная трансконтинентальная коммуникация растений создала синергию, которая увеличила производство геотермальной энергии в России. По сути, это был пример технологии производства одуванчиков на основе сои, доказывающий раз и навсегда, что когда жизнь дает вам ГМО-соевые бобы, вы также получаете совершенно новый способ получения энергии, предоставленный вам совместными усилиями международной флоры.

Показать полностью 2
Исследования Научпоп Корреляция График Совпадение Искусственный интеллект Псевдонаука
2
2

Наблюдаем за индексами⁠⁠

Индекс гособлигаций RGBI

Индекс гособлигаций RGBI

Вчерашний день уже внушает некоторый оптимизм. Основной положительный момент в том, что оба мамонта (Сбер и Лукойл) показали внушительный рост по 1.5%-2%. Объемов, правда, по-прежнему нет. Но я на другое предлагаю обратить внимание: посмотрите, что вчера показал индекс гособлигаций RGBI - рост более процента и бычье поглощение сразу двух предшествующих дней снижения. Я не говорю, что дно достигнуто. Предлагаю лишь обратить внимание на сонаправленность движения двух индексов. Вполне может быть, что мы входим в период их сильной корреляции.

Прошу обратить внимание, что я выкладываю свои посты на разных площадках, потому рекомендую подписаться на мой тг канал, где они все есть в одном потоке. Так вы гарантированно ничего не пропустите.

Показать полностью
[моё] Трейдинг Биржа Фондовый рынок Сбербанк Лукойл Корреляция Индекс Облигации
0

Оценка риска портфеля акций. Коэффициент корреляции активов⁠⁠

Матрица корреляций акций

Матрица корреляций акций

Мы часто слышим и говорим про диверсификацию. Но что это такое точно? Чаще всего под диверсификацией понимают огромное количество акций в портфеле. Но далеко не всегда большой набор акций сделает портфель действительно диверсифицированным.

Диверсификация портфеля это подбор активов таким образом, чтобы изменение доходности одной акции как можно меньше влияли на доходность другой акции.. Т.е. доходности акций должны как можно меньше связаны между собой.

Коэффициент корреляции позволяет понять степень зависимости между акциями. Значение коэффициента меняется в пределах от + 1 до -1.

Если коэффициент равен +1, это значит между акциями прочная положительная взаимосвязь. При росте первой акции на 5%, вторая также растет на 5%.

Если коэффициент равен -1, это значит между акциями прочная отрицательная взаимосвязь. При росте первой акции на 5%, вторая падает на 5%.

Если коэффициент равен 0, это значит между акциями никакой взаимосвязи нет. К этому значению и нужно стремиться.

Коэффициент корреляции между активами должен быть не выше 0,5. Увеличение свыше 0,5 увеличивает волатильность портфеля, а значит увеличивает риски.

Ниже привожу матрицу коэффициентов корреляции 20-ти акций РФ, из которых состоит мой портфель. Коэффициенты вычислены по месячным доходностям акций за последние 8 лет.

Как видно из матрицы зависимость доходностей акций наблюдается не только в активах одной отрасли, но и совершенно разных отраслей. Например, акции Cбербанка коррелируют с 7 акциями из 19 (коэффициент выше 0.5). Другими словами, акция Сбербанка в портфеле лишняя.

Акции металлургов: Северсталь, ММК, НЛМК, ожидаемо, зависимы. Коэффициент от 0,63 до 0,78. Лукойл и Газпромнефть также копируют своё поведение.

Акции электросетевых компаний Ленэнерго и Россетей имеют минимальную зависимость от остальных активов портфеля.

Из удивительного это то, что строительная компания Самолет и компания по производству удобрений (Куйбышев Азот) взаимосвязаны. Является поставщиком строительных материалов?

Коэффициент корреляции является мерой оценки риска портфеля. Помогает выбрать выбрать действительно диверсифицированные активы. Но для полной оценки портфеля необходимо учитывать и долю активов в портфеле. Об этом говорим позже.

Показать полностью
[моё] Диверсификация Риск Корреляция Инвестиции Акции
0
0

Корреляция гаплогрупп Y-ДНК и языковых групп⁠⁠

R — индоевропейцы (R1a — балто-славяне, индоиранцы, германцы, романцы; R1b — кельты, романцы, германцы; R2 — цыгане)

Q — индейцы и енисейцы

C — алтайцы

I — кроманьонцы (в т. ч. баски)

O — китайцы

N — финно-угры

D — тибетцы

J — семиты

E — хамиты

G — кавказцы

L — дравиды

A — койсаны

T — тиграйцы

B — пигмеи

S — папуасы

H — доиндоевропейские индийцы

Показать полностью
[моё] Гаплогруппа ДНК Корреляция Текст
8
10

Не всё, что связано - реально связано⁠⁠

Многие из нас легко могут сделать вывод только из того, что две вещи взаимосвязаны.

Подборка прекрасных корреляций:

Потребление сыра на душу населения - Количество людей умерших от того, что запутались в простыне

Потребление сыра на душу населения - Количество людей умерших от того, что запутались в простыне

Возраст Мисс Америка - Количество убийств паром и горячими объектами

Возраст Мисс Америка - Количество убийств паром и горячими объектами

Доход от игровых автоматов - Количество докторских в США по информатике

Доход от игровых автоматов - Количество докторских в США по информатике

Количество людей утонувших в бассейне - Количество энергии выработанное атомными электростанциями в США

Количество людей утонувших в бассейне - Количество энергии выработанное атомными электростанциями в США

Японских машин продано в США - Количество самоубийств через ДТП

Японских машин продано в США - Количество самоубийств через ДТП

Показать полностью 4
[моё] Совпадение Когнитивные искажения Юмор Длиннопост Корреляция График
2
5

Парадоксальные сопоставления данных летописей и затмений по Н.А. Морозову⁠⁠

Данная статья относится к Категории 📜 Список задач в явном виде

Парадоксальные сопоставления данных летописей и затмений по Н.А. Морозову

1. Николай Александрович Морозов — русский революционер-народник и учёный. Его работы часто состоят лишь из гипотез, так как 23 года он работал в заключении в Шлиссельбургской крепости


В 1934 году, сопоставляя данные русских летописей с графиком затмений, Н.А. Морозов убедился в их несоответствии…


«И тут пришёл мне в голову ряд и других странных сопоставлений:


1. Почему русское слово церковь происходит от латинского циркус (круг верующих), а не от греческого эклесия (откуда французское eglise). Греческое название перескочило в латинскую Францию, а латинское классическое перенеслось из Рима в Россию! Не странно ли это?


2. Почему русское слово крест, как и польское кржыж, происходит от латинского крукс, а не от греческого его названия ставрос?


3. Как попала в славянскую и в русскую Библию 3-я книга Ездры, которой нет ни на греческом, ни на еврейском языке, а только на латинском у католиков?


4. Почему в истории Киевского княжества времён крестовых походов, а также и других княжеств того времени, нет ни одного князя с именем знаменитых греческих святых: Ивана, Василия и т.д., если они крестились по обряду Византийской церкви (как практиковалось потом в Московской России), а только почти одни славянские имена: Владимир, Святослав, Ярослав, Всеволод и т, д., как было в униатских славянских государствах? Ведь этих славянских имен даже и нет в греческих святцах.


5. Почему русские священники в летописях всегда называются попами, как по-английски и до сих пор называется римский папа (pope), да и само русское название «поп», очевидно, лишь искажение слова папа? Ведь, если б священники пришли к нам из Византии, то они и назывались бы как и там только иереями?


6. Почему русское слово пост того же корня, как немецкое Fasten, английское fas, латинское fasti – судебные дни, тогда как по-гречески пост называется нестейя и асития?


7. Почему русское слово алтарь происходит от латинского altarium (по-немецки Altar, по-французски altar), а не от греческого тюсиаетерион или бомос?


8. Почему в старо-церковном языке вместо слова «уксус» употребляется слово оцет от латинского acetum, тогда как по-гречески уксус прямо и называется оксос, как по-русски.


9. Почему язычник в старо-церковном языке называется поганин (откуда слово поганый (от латинского paganus, английское pagan), тогда как по-гречески язычник называется этникос.


10. Почему в старо-церковном языке вместо «причащать» употреблялось «комокати» (ком кати) от латинского commimicare (французское communier), тогда как по-гречески причащение называлось койнония?


11. Почему вещество для церковного каждения называется ладан, от латинского слова ladanum (от корня laudo – восхваляю), тогда как по-гречески оно называется либанос?


12. Почему само слово «вера» происходит у нас от латинского слова vera, т. е. истинная, откуда и французское verite, а не от греческого докса или пистис, откуда и французское слово piete – благочестие?


13. Почему полоса материи, надеваемая диаконом при служении, называется орарь от латинского orarium – полотенце?


14. Почему слово вино, употребляемое при причащении, происходит от латинского слова vinum, а не от греческого ойнос?


Я не привожу уже других церковно-славянских слов, вроде «Сосуда скудельного» – от латинского scandula – щепки, дранки, и тому подобных многих. Ведь все приведённые мною слова – это основные слова нашего клерикализма.


Остальные же христианские слова и имена, хотя и греческого корня, также могли попасть к нам не от греков, а от латинян, так как они те же самые и в латинской Библии, например: angelus, apostolus, daemon, diabolus и т.д.».


Морозов Н.А., Новый взгляд на историю Русского государства, СПб, Изд-во СПбГУ, 2007 г., с. 25-26.


Источник — портал VIKENT.RU


Дополнительные материалы

Научная критика гипотезы А.Т. Фоменко о новой хронологии по А.А. Зализняку


+ Плейлист из 8-ми видео: ТРИЗ: РАЗРЕШЕНИЕ ПРОТИВОРЕЧИЙ

+ Ваши дополнительные возможности:

Идёт приём Ваших новых вопросов по более чем 400-м направлениям творческой деятельности – на онлайн-консультацию 21 августа 2022 года в 19:59 мск (воскресенье). Это принципиально бесплатный формат.


Задать вопросы Вы свободно можете здесь: https://vikent.ru/w0/


Изображения в статье

Николай Александрович Морозов — русский революционер-народник и учёный. Его работы часто состоят лишь из гипотез, так как 23 года он работал в заключении в Шлиссельбургской крепости / Public Domain & Изображение Melk Hagelslag с сайта Pixabay

Показать полностью 1 1
Наука Гипотеза Исследования История Вопрос Корреляция Совпадение История России Критика Видео YouTube Длиннопост
3
Посты не найдены