Горячее
Лучшее
Свежее
Подписки
Сообщества
Блоги
Эксперты
Войти
Забыли пароль?
или продолжите с
Создать аккаунт
Я хочу получать рассылки с лучшими постами за неделю
или
Восстановление пароля
Восстановление пароля
Получить код в Telegram
Войти с Яндекс ID Войти через VK ID
Создавая аккаунт, я соглашаюсь с правилами Пикабу и даю согласие на обработку персональных данных.
ПромокодыРаботаКурсыРекламаИгрыПополнение Steam
Пикабу Игры +1000 бесплатных онлайн игр Играйте в Длинные и Короткие нарды онлайн! Наслаждайтесь классической настольной игрой с простыми правилами и захватывающей стратегией. Бросайте кубики, перемещайте шашки и обыгрывайте своего соперника. Играйте прямо сейчас бесплатно!

Нарды Длинные и Короткие онлайн

Настольные, Для двоих, Пошаговая

Играть

Топ прошлой недели

  • AlexKud AlexKud 38 постов
  • Animalrescueed Animalrescueed 36 постов
  • Oskanov Oskanov 7 постов
Посмотреть весь топ

Лучшие посты недели

Рассылка Пикабу: отправляем самые рейтинговые материалы за 7 дней 🔥

Нажимая кнопку «Подписаться на рассылку», я соглашаюсь с Правилами Пикабу и даю согласие на обработку персональных данных.

Спасибо, что подписались!
Пожалуйста, проверьте почту 😊

Помощь Кодекс Пикабу Команда Пикабу Моб. приложение
Правила соцсети О рекомендациях О компании
Промокоды Биг Гик Промокоды Lamoda Промокоды МВидео Промокоды Яндекс Директ Промокоды Отелло Промокоды Aroma Butik Промокоды Яндекс Путешествия Постила Футбол сегодня
0 просмотренных постов скрыто
kznalp
kznalp
5 месяцев назад
Postgres DBA
Серия СУБД PostgreSQL

Тезисы будущего доклада - "Корреляционный анализ ожиданий СУБД PostgreSQL"⁠⁠

Взято с основного технического канала Postgres DBA

Тезисы будущего доклада - "Корреляционный анализ ожиданий СУБД PostgreSQL" ИМХО, Субд, Postgresql, Доклад, Конференция, Длиннопост

Нормальная работа инженера - проанализировать и найти причину возможной проблемы.

Альтернативные варианты названия

1. Статистический анализ производительности СУБД PostgreSQL.

2. Применение методов математический статистики для анализа производительности СУБД PostgreSQL

3. Корреляционный анализ для решения инцидентов производительности СУБД PostgreSQL

Описание контекста

Основная задача администратора баз данных - обеспечить наиболее эффективную работу вверенной ему в сопровождение СУБД.

Для выполнения задачи, одно из основных требований - умение определить текущее состояние и работоспособность СУБД или насколько эффективность СУБД справляется с получаемой нагрузкой обрабатывает информацию и выдает требуемый результат.

Для этого необходимо уметь рассчитывать/сравнивать/анализировать производительность СУБД.

Основная идея

Однако проблема в том, что как выясняется, строгого определения для термина "производительность СУБД" до недавнего времени не существовало. Каждый администратор понимал под производительностью, то, что лично ему нравится:

· количество запросов в секунду

· количество зафиксированных транзакций

· среднее время отклика СУБД

· и даже процент утилизации CPU+RAM

· или некая магия, получаемая если посмотреть на экран на котором десяток другой графиков мониторинга

Так руководствуясь некими рецептами алхимиков, DBA каким-то мистическим образом определить хорошо работает СУБД или плохо.

Ситуацию нужно менять. И на помощь, придет то, что всегда помогает инженерам – математика.

Структура доклада

Зачем нужно считать производительность СУБД

Вопросы, для ответа на которые, требуется рассчитать производительность СУБД в виде метрики:

· Что такое "хорошо" и что такое "плохо" когда вопрос касается производительности СУБД?

· На сколько "лучше" или "хуже" стало СУБД после того как изменили что-то?

· "Мы уперлись в СУБД " – а точно со стороны инфраструктуры и приложения нет проблем и узкое место информационной системы — это СУБД?

Как рассчитать производительность СУБД и какие проблемы возникают

· Известные аномалии расчета метрики производительности.

Итог:

Рассчитать производительность СУБД в физическом смысле нельзя. Но можно оценить по косвенным показателям, используя метрики оценки производительности СУБД.

Инструменты мат. статистики, используемые при расчетах

· Медиана

· Коэффициент корреляции

Метрики и индикаторы производительности СУБД

· Операционная скорость

· Количество ожиданий СУБД

· Количество ожиданий СУБД по типам ожидания

· Относительная доля ожидания

· Корреляция активных сессий и операционной скорости

· Корреляция операционной скорости и ожиданий

Корреляционный анализ ожиданий СУБД

· Основная гипотеза корреляционного анализа ожиданий СУБД

· Последовательность действий(алгоритм)

Сценарии и анализ результатов нагрузочного тестирования СУБД.

Одного сценария нагрузочного тестирования – недостаточно.

Проблема среднего арифметического при расчёте среднего времени выполнения запроса.

Сценарии нагрузочного тестирования:

· Сценарий №1 – SELECT ONLY

· Сценарий №2 – SELECT + UPDATE (TCP-B)

· Cценарий №3 – INSERT ONY

· Cценарий №3 – HEAVYWEIGHT LOAD CPU

Практические примеры решения инцидентов производительности СУБД с использованием корреляционного анализа

О чем можно будет узнать из доклада

Новые способы и примеры использования математических методов для и оптимизации и анализа производительности СУБД PostgreSQL.

О чем не будет сказано в докладе

“Best practices” при использовании корреляционного анализа ожиданий СУБД

Очень разные варианты инфраструктуры и профили нагрузки на СУБД.

Внутренняя структура сервисной БД и подробный алгоритм расчетов.

Постоянные изменения по ходу практического использования.

Наличие “Know-How”.

Показать полностью
[моё] ИМХО Субд Postgresql Доклад Конференция Длиннопост
0
kznalp
kznalp
6 месяцев назад
Серия IMHO

Да уж - Ганди умер , поговорить не с кем ...⁠⁠

В продолжении темы - DBA не любят математику

Сегодня первые практические результаты долгой работы . Просто стало интересно, а что есть по теме в гугле в Рунете?
И выяснилось , что если погуглить "корреляционный анализ производительности СУБД PostgreSQL" , то в выдаче, кроме моих статей ничего и нет .

Да уж - Ганди умер , поговорить не с кем ... Субд, Postgresql, Анализ данных, Корреляция, ИМХО, Длиннопост
Да уж - Ганди умер , поговорить не с кем ... Субд, Postgresql, Анализ данных, Корреляция, ИМХО, Длиннопост

Получается - тема никому, кроме меня не интересна 😯. А ведь, тема интересная .
Жаль, конечно , с одной стороны - и поговорить, обсудить не с кем🫤.
Но, с другой стороны - получается приоритет в исследовании , чтоли 🤔.

Ладно, как говорится - делай, что должен и будь, что будет.

Товарищ , нервы сожми в узду!
Взялся за дело - не охай.
Есть результат - посылай всех в п*зду!
Нет результата - пох*й!

Да уж - Ганди умер , поговорить не с кем ... Субд, Postgresql, Анализ данных, Корреляция, ИМХО, Длиннопост
Показать полностью 3
[моё] Субд Postgresql Анализ данных Корреляция ИМХО Длиннопост
4
kznalp
kznalp
6 месяцев назад
Мнения
Серия IMHO

Мысли вслух - о раскрытии информации⁠⁠

Когда еще в прошлом году начал заниматься темой статистического анализа производительности СУБД , очень удивлялся - почему в интернете нет никакой информации . Куча статей , докладов о оптимизации производительности , но при этом простой вопрос "а что вы понимаете под производительностью и как считаете метрику?" - ставит докладчика в тупик(проверено практически).
Чуть поглубже погрузившись в тему , поначалу даже опасался - ах, конкуренты прочитают, реализуют, перехватят идею , реализуют и выдадут продукт на рынок .
Но, по прошествии времени , понял , что ситуация чуть другая.
1) PostgreSQL это все таки открытая система , знаниями надо делиться. Сегодня ты помог, завтра тебе помогут.
2) Тема статистического анализа производительности СУБД и вообще понятие "производительность СУБД" по большому счету никому и не интересна. На Хабре именно за эти статьи сливали карму , в комментах там в основном ламеры и тролли, за все время на Хабре было 1-2 собеседника , и полезное обсуждение. На дзене комментариев к статьям 0(ноль).
И самое главное , со стороны бизнеса тема "performance engineering" в общем , то не сильно востребована, они просто ресурсами заливают. Для коллег DBA - вся эта статистика, корреляция, дисперсия и разные медианы - тарабарщина какая то - 'а зачем это все надо ", лучше смотреть кучу графиков и лапшу клиенту вешать.

Так, что можно , не переживать - в ближайшее время конкурентов не предвидится. Хотя , с другой стороны скучно - "Ганди умер - поговорить не с кем".

Но, все таки , может по привычке , а может лень описывать долго и строго математически - не привожу детали и последовательность действий , только результаты . Т.е. в интернете описано "что" получилось в результате экспериментов , "как" этот получено , информации общем то нет. Поэтому спрашивать у языковых моделей вопросы по статистическому анализу производительности СУБД не имеет смысла - они начинают воду лить и пургу нести. Хотя прикольно , такие бюджеты и ресурсы , а на выходе пук. Кто хочет, пусть называет это "интеллектом".
Вот такие мысли , с утра , в субботу.

Мысли вслух - о раскрытии информации ИМХО, Субд, Postgresql, Производительность
Показать полностью 1
[моё] ИМХО Субд Postgresql Производительность
22
kznalp
kznalp
7 месяцев назад
Искусственный интеллект
Серия ITшное

Продолжение игр(и не совсем игр) с нейросетью Яндекс⁠⁠

Продолжение игр с нейросетями: Нейросеть к интеллекту не имеет никакого отношения

На этот раз нейросети был задан вопрос - "использование математической статистики для анализа производительности СУБД PostgreSQL".
Результат получился , скажем так - прикольным.

Продолжение игр(и не совсем игр) с нейросетью Яндекс Postgresql, Субд, Нейронные сети, Статистика, Искусственный интеллект, Длиннопост, ИМХО

Прикол в том, что 3 ссылки это ссылки на мои статьи и 2 ссылки это не совсем о мат. статистике и производительности СУБД PostgreSQL.

Очень интересный и многозначительный вывод/вопрос из ответа нейросети - кроме меня никто по теме мат.статистики для анализа производительности не публикуется/не занимается ?

Продолжение игр(и не совсем игр) с нейросетью Яндекс Postgresql, Субд, Нейронные сети, Статистика, Искусственный интеллект, Длиннопост, ИМХО

Ну и следствие , описанное ранее, предложенная информация уже устарела . Методика анализа уже другая , но нейросеть об этом ничего пока не знает. Просто не успела обработать статьи на Дзене и Пикабу.

Как было указано ранее - называть интеллектом математические алгоритмы это просто хайп и кликбейт. Интеллект не способный создать новое это не интеллект . Это всего лишь математический алгоритм и не более того.
Но реальный интеллект , не описывается математически .

Показать полностью 1
[моё] Postgresql Субд Нейронные сети Статистика Искусственный интеллект Длиннопост ИМХО
17
1
kznalp
kznalp
7 месяцев назад
Мнения
Серия ITшное

Из старых записей - энтропия в замкнутой системе всегда возрастает⁠⁠

Нашел в воспоминаниях ВКонтакте . Запись на память, из прошлого года. Просто вспомнить и еще раз убедиться - второе начало термодинамики оно объективно и действует во всей Вселенной.
—————
Мысли вслух.
С грустью и сожалением приходится признать - вид разработчиков баз данных вытеснен в ходе естественного отбора backend-разработчиками. Существующее отношение к СУБД - коробочка с данными . Вся оптимизация - наращивание ресурсов . Все параметры СУБД в технических решениях - по умолчанию. Понимание логики работы СУБД- нет вообще.
По крайней мере все, абсолютно все прошедшие через меня проекты информационных систем именно такие.
Наверняка где то в мире есть нормальные , но я их не встречал. Но я верю, они есть. И как только встречу я изменю свое мнение . А пока молодая поросль разрабов даже не понимает к чему может привести выражение SELECT FOR UPDATE.
А завтра я буду слушать , как подрядчики подписались под 30000 одновременных запросов и 30 секунд на аналитический отчёт при 16 ядрах 32 гига памяти и дисках HDD, опять таки при настройках СУБД по умолчанию.
Ибо сказано -перефразируя - количество ума есть величина постоянная , а количество программистов растет.
Ну и классическое конечно :"Программист больше не звучит гордо".


[моё] Программирование ИМХО Субд Postgresql Разработчики
0
Посты не найдены
О нас
О Пикабу Контакты Реклама Сообщить об ошибке Сообщить о нарушении законодательства Отзывы и предложения Новости Пикабу Мобильное приложение RSS
Информация
Помощь Кодекс Пикабу Команда Пикабу Конфиденциальность Правила соцсети О рекомендациях О компании
Наши проекты
Блоги Работа Промокоды Игры Курсы
Партнёры
Промокоды Биг Гик Промокоды Lamoda Промокоды Мвидео Промокоды Яндекс Директ Промокоды Отелло Промокоды Aroma Butik Промокоды Яндекс Путешествия Постила Футбол сегодня
На информационном ресурсе Pikabu.ru применяются рекомендательные технологии