Серия «СУБД PostgreSQL»

Задача

Провести аудит подсистемы IO по результатам нагрузочного тестирования СУБД , используя корреляционный анализ результатов iostat.

PG_HAZEL : Чек-лист подсистемы IO c использованием корреляционного анализа результатов IOSTAT(виртуальная машина-06)

Минимальные и максимальные значение: Файловая система /data

1. wa (I/O wait): Важный показатель! Процент времени, в течение которого процессор простаивал в ожидании завершения операций I/O.

2. %util: Процент времени, когда устройство было занято обработкой I/O-запросов

3. buff: Объем памяти, используемой буферами (буферизация данных для записи на диск).

4. cache: Объем памяти, используемой кэшем (кэширование данных, прочитанных с диска). Свободная память = free + buff + cache (ядло освободит буферы и кэш при необходимости).

5. r/s: Количество операций чтения (запросов) в секунду

6. rMB/s: Объем данных, прочитанных с устройства в мегабайтах в секунду

7. w/s: Количество операций записи (запросов) в секунду

8. wMB/s: Объем данных, записанных на устройство в мегабайтах в секунду

9. r_await: Среднее время чтения (в миллисекундах).

10. w_await: Среднее время записи (в миллисекундах).

11. aqu-sz: Средняя длина очереди запросов к устройству. Значение больше 0 может указывать на накопление запросов.

Корреляционный анализ: Файловая система /data

PG_HAZEL : Чек-лист подсистемы IO c использованием корреляционного анализа результатов IOSTAT(виртуальная машина-12)

Минимальные и максимальные значение: Файловая система /data

1. wa (I/O wait): Важный показатель! Процент времени, в течение которого процессор простаивал в ожидании завершения операций I/O.

2. %util: Процент времени, когда устройство было занято обработкой I/O-запросов

3. buff: Объем памяти, используемой буферами (буферизация данных для записи на диск).

4. cache: Объем памяти, используемой кэшем (кэширование данных, прочитанных с диска). Свободная память = free + buff + cache (ядло освободит буферы и кэш при необходимости).

5. r/s: Количество операций чтения (запросов) в секунду

6. rMB/s: Объем данных, прочитанных с устройства в мегабайтах в секунду

7. w/s: Количество операций записи (запросов) в секунду

8. wMB/s: Объем данных, записанных на устройство в мегабайтах в секунду

9. r_await: Среднее время чтения (в миллисекундах).

10. w_await: Среднее время записи (в миллисекундах).

11. aqu-sz: Средняя длина очереди запросов к устройству. Значение больше 0 может указывать на накопление запросов.

Корреляционный анализ: Файловая система /data

Задача

Практическое применение методики анализа состояния инфраструктуры при решении инцидентов производительности СУБД.

PG_HAZEL : Чек-лист инфраструктуры СУБД при инциденте производительности. Случай №1 - CPU + RAM.

Инцидент

IO - OK

CPU - есть проблемы

1. Переключения контекста могут быть вызваны прерываниями.

2. Возможно проблема в пользовательском приложении(resource contention).

RAM - есть проблемы

• Свободная RAM менее 5%

PG_HAZEL : Чек-лист инфраструктуры СУБД при инциденте производительности. Случай №2 - CPU + RAM.

Инцидент

IO - OK

CPU - есть проблемы

1. Переключения контекста могут быть вызваны прерываниями.

2. Возможно проблема в пользовательском приложении(resource contention).

3. Ядро тратит много времени на переключение контекста и планирование, вместо полезной работы.

RAM - есть проблемы

• Свободная RAM менее 5%

PG_HAZEL : Чек-лист инфраструктуры СУБД при инциденте производительности. Случай №3 - CPU + Lock.

Инцидент

IO - OK

CPU - есть проблемы

1. Переключения контекста могут быть вызваны прерываниями.

2. Возможно проблема в пользовательском приложении(resource contention)

RAM - OK

Задача

Провести комплексный анализ инцидента производительности СУБД:

1. Чек-лист инфраструктуры

2. Корреляционный анализ ожиданий СУБД

3. SQL- запросы - кандидаты для оптимизации

Инцидент производительности СУБД

Операционная скорость в течении 1 часа до начала инцидента

Ожидания СУБД в течении 1 часа до начала инцидента

Детали и подробности

PG_HAZEL : Комплексный анализ инцидента производительности СУБД PostgreSQL

Задача

Провести статистический анализ результатов нагрузочного тестирования для оценки состояния RAM.

Предыдущие работы по теме

VMSTAT : признаки конкуренции за ресурсы RAM

PG_HAZEL : Чек-лист проверки инфраструктуры по результатам нагрузочного тестирования СУБД - VMSTAT

Нагрузочное тестирования виртуальной машины - 06

PG_HAZEL : Анализ результатов нагрузочного тестирования для малой ВМ

Операционная скорость

Чек-лист RAM - OK

Нагрузочное тестирования виртуальной машины - 12

PG_HAZEL : Анализ результатов нагрузочного тестирования для большой ВМ

Операционная скорость

Чек-лист RAM - ALARM

Задача

Использовать метод z-score для более корректной интерпретации данных по истории операционной скорости и ожиданиям СУБД.

Используемая методика

Стандартизация данных с помощью z-score в PostgreSQL

Нагрузочное тестирование СУБД

PG_HAZEL : Анализ результатов нагрузочного тестирования для малой ВМ

PG_HAZEL : Анализ результатов нагрузочного тестирования для большой ВМ

Построение линии регрессии операционной скорости и ожиданий без использования z-score для виртуальной машины-06

Операционная скорость и линия регрессии

Ожидания СУБД и линия регрессии

Построение линии регрессии операционной скорости и ожиданий с использованием стандартизации с помощью z-score для виртуальной машины-06

Операционная скорость и линия регрессии

Ожидания СУБД и линия регрессии

Построение линии регрессии операционной скорости и ожиданий без использования z-score для виртуальной машины-12

Операционная скорость и линия регрессии

Ожидания СУБД и линия регрессии

Построение линии регрессии операционной скорости и ожиданий с использованием стандартизации с помощью z-score для виртуальной машины-12

Операционная скорость и линия регрессии

Ожидания СУБД и линия регрессии

Задача

Провести статистический анализ результатов нагрузочного тестирования для оценки состояния IO.

Предыдущие работы по теме

VMSTAT : Связь b с другими значениями для анализа IO

PG_HAZEL : Чек-лист проверки инфраструктуры по результатам нагрузочного тестирования СУБД - VMSTAT

Нагрузочное тестирования виртуальной машины - 06

PG_HAZEL : Анализ результатов нагрузочного тестирования для малой ВМ

Операционная скорость

Чек-лист IO - OK

Нагрузочное тестирования виртуальной машины - 12

PG_HAZEL : Анализ результатов нагрузочного тестирования для большой ВМ

Операционная скорость

Чек-лист IO - ALARM