Горячее
Лучшее
Свежее
Подписки
Сообщества
Блоги
Эксперты
Войти
Забыли пароль?
или продолжите с
Создать аккаунт
Я хочу получать рассылки с лучшими постами за неделю
или
Восстановление пароля
Восстановление пароля
Получить код в Telegram
Войти с Яндекс ID Войти через VK ID
Создавая аккаунт, я соглашаюсь с правилами Пикабу и даю согласие на обработку персональных данных.
ПромокодыРаботаКурсыРекламаИгрыПополнение Steam
Пикабу Игры +1000 бесплатных онлайн игр Битва Героев: RPG - увлекательная игра в жанре РПГ.

Битва Героев: RPG

Приключения, Фэнтези

Играть

Топ прошлой недели

  • AlexKud AlexKud 38 постов
  • Animalrescueed Animalrescueed 36 постов
  • Oskanov Oskanov 7 постов
Посмотреть весь топ

Лучшие посты недели

Рассылка Пикабу: отправляем самые рейтинговые материалы за 7 дней 🔥

Нажимая кнопку «Подписаться на рассылку», я соглашаюсь с Правилами Пикабу и даю согласие на обработку персональных данных.

Спасибо, что подписались!
Пожалуйста, проверьте почту 😊

Помощь Кодекс Пикабу Команда Пикабу Моб. приложение
Правила соцсети О рекомендациях О компании
Промокоды Биг Гик Промокоды Lamoda Промокоды МВидео Промокоды Яндекс Директ Промокоды Отелло Промокоды Aroma Butik Промокоды Яндекс Путешествия Постила Футбол сегодня
0 просмотренных постов скрыто
kznalp
kznalp
1 месяц назад
Серия ITшное

Интересно - будет ли ответ на прямой вопрос на Хабре?⁠⁠

Как работает fillfactor и как его настраивать вручную в PostgreSQL

Вопрос :

Есть сравнительные испытания количесивенногл влияния на производительность изменения fillfactor ?

Ну например - насколько процентов СУБД станет быстрее при массовых update при уменьшении fillfactor на 50%?

прошел день, пока - тишина.

Предположу - ответа не будет. На хабре с обратной связью и плодотворными обсуждениями , дааавно уже не кузяво.

Конечно, было бы очень интересно сравнить с собственными результатами экспериментов. Но в DBA эксперименты вообще не в чести. Как правило камлания, тыкание пальцами в небо и скрижалии от акынов и аксакалов .

Есть ответ на комментарий.

Продолжение тут Влияние fillfactor на производительность СУБД

[моё] Habr Postgresql ИМХО Текст
7
kznalp
kznalp
3 месяца назад
Серия ITшное

Heisenbug или PgConf⁠⁠

Итак, гонка началась - заявки на осенние конференции в Питере зарегистрированы .

Первый этап - "кто первый позвонит по докладу ?"

[моё] Конференция Postgresql ИМХО Планы на будущее Текст
0
kznalp
kznalp
4 месяца назад
Серия ITшное

Мнение YandexGPT по распределению значений бенчмарка⁠⁠

Продолжение по теме
Распределение значений бенчмарка

Вопрос : При условии постоянной нагрузки и неизменного тестового запроса , какое распределение значений бенчмарка производительности СУБД для СУБД PostgreSQL будет встречаться чаще ?

Ответ YandexGPT:

При постоянной нагрузке и неизменном тестовом запросе для PostgreSQL наиболее вероятными будут следующие типы распределений значений бенчмарка производительности:

Нормальное распределение (Гауссово) - наиболее часто встречается при стабильной работе системы. Характеризуется симметричным колоколом с преобладанием средних значений и постепенным убыванием частоты крайних значений.

Логнормальное распределение - часто встречается при измерении времени отклика, когда большинство значений группируется вокруг небольшого среднего, а хвост распределения тянется вправо.

Распределение Пуассона - может наблюдаться при подсчете количества операций за фиксированный период времени при редких событиях.
Факторы, влияющие на форму распределения:

Нагрузка на CPU и RAM
Состояние кэша
Конфигурация PostgreSQL
Тип и сложность запроса
Параллельность выполнения
При анализе производительности важно отслеживать не только среднее значение, но и дисперсию, медиану и квартили, так как даже при нормальном распределении могут возникать значимые отклонения из-за внешних факторов или особенностей работы СУБД.

Для получения более точных результатов рекомендуется проводить бенчмарки в течение длительного периода времени и учитывать различные процентили (например, 95-й и 99-й), а не только среднее значение.


IMHO мне кажется теперь становится ясно, почему авторы стали исследовать разные распределения, а не анализировать причины отклонения от нормального .
Хотя , конечно же, я могу ошибаться .
В любом случае - тема интересная и перспективная. Жаль , авторы молчат и не публикуются для обсуждения .

Показать полностью
[моё] Яндекс Искусственный интеллект Нейронные сети Postgresql ИМХО
0
kznalp
kznalp
4 месяца назад
Искусственный интеллект
Серия ITшное

Нейросеть или поисковик - у кого спрашивать ? Кто реально поможет , а не отмажется пустым базаром ?⁠⁠

Вопрос : Какие события ожидания являются характерными признаками отсутствия индекса в таблице при выполнении массовых операций select и update в СУБД PostgreSQL ?


Ответ YandexGPT

Характерные признаки отсутствия индекса в таблице при выполнении массовых операций SELECT и UPDATE в СУБД PostgreSQL включают следующие события ожидания:

1. Ожидания Lock (ожидание завершения транзакции, ожидание блокировки кортежа).
2. Ожидания LWLock (ожидание информации о тяжёлых блокировках, ожидание доступа к общим структурам данных).
3. Ожидания IO (ожидание синхронизации файлов отображения отношений, ожидание заполнения нулями файла поддержки динамической общей памяти).
4. Ожидания IPC (ожидание завершения буферного ввода-вывода, ожидание завершения вычислений параллельными рабочими процессами, ожидание завершения фонового рабочего процесса).


В общем то , в принципе всё верно , но , что с этой информацией делать? Как ответ искусственного интеллекта поможет в реальном анализе ситуации , например ? Ну как обычно самый главный вопрос вопросов - а какая реальная помощь от искусственного интеллекта ?


А , что если воспользоваться старым проверенным способом - спросить поисковик ?

Нейросеть или поисковик - у кого спрашивать ? Кто реально поможет , а не отмажется пустым базаром ? ИМХО, Postgresql, Нейронные сети, Искусственный интеллект, Яндекс, Длиннопост
Нейросеть или поисковик - у кого спрашивать ? Кто реально поможет , а не отмажется пустым базаром ? ИМХО, Postgresql, Нейронные сети, Искусственный интеллект, Яндекс, Длиннопост
Нейросеть или поисковик - у кого спрашивать ? Кто реально поможет , а не отмажется пустым базаром ? ИМХО, Postgresql, Нейронные сети, Искусственный интеллект, Яндекс, Длиннопост

Во-первых : в ответе поисковика указывается не тип ожидания, а событие ожидания . А это принципиально сокращает объем информации для анализа причин.

Но самое главное - имеется ссылка на конкретный материал по теме с дополнительными деталями. А это уже реальная помощь .самое главное - имеется ссылка на конкретный материал по теме с дополнительными деталями. А это уже реальная помощь . Да это не так модно, нужно самому дкиать, анализировать , сверять информацию . Но в результате - получается результат, а не набор слов .

Итог - для эффективной работы , когда нужен результат , а не бла бла бла и поток воды по шаблону "вот рыба, у рыбы чешуя, не было бы чешуи была бы шерсть , а в шерсти блохи" - использование поисковика надежнее, эффективнее и дает шанс на реальную помощь в решении реальной проблемы.

Проблема всех нейросетей - они как бы учатся на сырой , грязной и непроверенной информации из интернета , но не умеют анализировать данные и ставить эксперименты . Что то где то прочитал и стал это транслировать дальше . Как попугай повторяет слова , абсолютно не понимая смысл.

А вообще конечно , самое эффективное это общаться с живыми собеседниками, а не с чат ботами.
Но , к сожалению парадокс - чем шире развиваются информационные технологии, тем уже круг общения специалистов между собой.

Показать полностью 3
ИМХО Postgresql Нейронные сети Искусственный интеллект Яндекс Длиннопост
4
kznalp
kznalp
4 месяца назад
Искусственный интеллект
Серия ITшное

Стандартный пример того, как опасно использовать ответы нейронных сетей⁠⁠

Продолжение игр с большими языковыми моделями .

Вопрос : Расскажи мне про использование индикатора CPI при анализе производительности СУБД PostgreSQL

Ответ DeepSeek , не приводится , китаец как обычно , по данной теме, полную пургу несет.
Ответ YandexGPT:

**CPI** (Cycles Per Instruction) в контексте PostgreSQL представляет собой метрику производительности, которая рассчитывается как модуль вектора из трех показателей:

* **QPS** - количество запросов в секунду
* **TPS** - количество транзакций в секунду
* **RPS** - количество строк, полученных клиентом в секунду

Для измерения времени выполнения операций используются данные из системных представлений:
* **active_time** из pg_stat_database
* **total_exec_time** из pg_stat_statements

Дополнительно введены расширенные метрики:
* **CPI_VOLUME** - объем обработанных блоков распределенной памяти при выполнении SQL-операторов
* **CPI_RATIO** - отношение основной метрики производительности к объему обработанных блоков

**CPI_RATIO** особенно важен для оценки эффективности работы СУБД, так как показывает, насколько эффективно система обрабатывает данные - для достижения одинакового результата требуется обработать меньший объем информации.

При проведении анализа производительности рекомендуется следующий подход:
* Выполнить серию тестовых операций (SELECT, INSERT, UPDATE, DELETE)
* Создать необходимые индексы
* Повторить тестовые операции
* Проанализировать полученные результаты

Экспериментально подтверждено, что цифровые показатели CPI полностью коррелируют с наблюдаемым эффектом от создания индексов, что делает эту метрику надежным инструментом для анализа производительности PostgreSQL.

Сразу бросается в глаза полное несоответствие описания и расчёта .

Но самое неприятное не в этом , а в том, что если вдруг кто то из поклонников "искусственного интеллекта" решит сэкономить время (ну это же заявлено как основная выгода ) он потеряет массу времени и соберет по пути все грабли и аномалии , потому что методика расчета, которую привел YandexGPT - неверная , устаревшая и давно неиспользуемая .
Т.е. в данном случае "искусственный интеллект" не помогает, а вредит.

Что делать ? Не доверять чат ботам, включать голову , искать и работать с первоисточниками и материалами самостоятельно .
Лучше с авторами.

Показать полностью
[моё] Искусственный интеллект Нейронные сети Яндекс ИМХО Текст Postgresql
4
2
kznalp
kznalp
4 месяца назад
Серия ITшное

Performance engineering нужен ли ? Вообще то, основной массе юзеров - нет⁠⁠

Надысь , в процессе сёрфинга наткнулся на интересную реплику из зала под лозунгом "вся это ваша оптимизация производительности это шарлатанство "

Performance engineering нужен ли ? Вообще то, основной массе юзеров - нет ИМХО, Ламер, Пользователи, Длиннопост, Субд, Postgresql, Производительность

Дабы не запутаться в потоке чужого мнения , выделил своё IMHO курсивом .

Начало цитаты
Ну как бы "производительность БД" "по факту" не интересна никому...
Это интересное замечание , потому как использует стандартное обобщение "непонятно и неинтересно мне , а значить никому".
Всех "по факту" интересует "производительность прикладного приложения".
При этом никто(и это факт по крайней мере в окружающей реальности ) не знает и не умеет считать "производительность приложения".
Да есть связи между ними, но они "совсем не простые"... :-)
Астрология , магия и алхимия в начале 21го века . "Связи есть, но они не простые" Меркурий в третьем доме , блин , связан с Венерой в зодиаке 🤪
К примеру БД нагружается (выразимся так) "различными прикладными задачами".
Это очень интересный термин "нагружается". Ну , а что взяли тачку нагрузили чернозёмом . С БД также - "нагружается".
И у прикладных "задач" есть различные "требования" по времени ответа (от БД в том числе).
Требования есть только в волшебном лесу эльфов. В реальном мире нагрузочное тестирование проводят, чтобы подписать этап договора. Нет никаких требований, правило простое - закрыть этап, получить бабки , как то работает и ладно.
Если в БД нет "встроенных" средств "приотеризации" - это уже "не есть хорошо".
А зачем ?
Вот и получаем ситуацию когда один (для приложения не приоритетный) запрос в БД (который БД обрабатывает как бы быстро и оптимально) "убивает" производительность других приоритетных для приложения запросов.
И тут Остапа понесло. Понять это невозможно . Остаётся - простить.
Для PG это достаточно актуально.
Да уж.
Конец цитаты.

С одной стороны смешно и прикольно .

С другой стороны , вспоминается талантливый фильм "Такси-блюз":
- "Вань, да тебе радио хватит - во! (выше лба)".

Какой вам performance engineering и корреляционный анализ, мат.статистика и линия регрессии , вам Zabbixа воооо, с запасом, с головой, надолго хватит.
На дворе 21й век, а основная масса DBA как были ремесленниками так и остались

Performance engineering нужен ли ? Вообще то, основной массе юзеров - нет ИМХО, Ламер, Пользователи, Длиннопост, Субд, Postgresql, Производительность

Вспомнилось из недавнего, на эту же тему

Мысли вслух - DBA ремесло или наука ?

Показать полностью 2
[моё] ИМХО Ламер Пользователи Длиннопост Субд Postgresql Производительность
2
1
kznalp
kznalp
4 месяца назад
Серия ITшное

PGConf.Russia 2025. Мысли вслух или эффект наблюдателя⁠⁠

Самый странный вопрос , постоянно задаваемый из зала:

А как сбор метрик влияет на производительность СУБД ?

Коллеги, вам надо беспокоится и думать - как использовать полученные данные? А не переживать о неком влиянии сбора метрик на производительность.
Влияет ли сбор метрик производительности и состояния СУБД на работу СУБД?
Конечно влияет - Отключите мониторинг и живите спокойно и не переживайте 😎
Меньше знаешь - крепче спишь.

Эффект наблюдателя в DBA

[моё] ИМХО Субд Postgresql Мониторинг Текст
0
kznalp
kznalp
5 месяцев назад
Серия ITшное

PGConf.Russia 2025. 31 марта. Мысли вслух⁠⁠

Итак , главный итог первого дня -
Postgres Professional начал работы по статистическому анализу производительности СУБД.

У меня приоритет и фора - год.
У них молодые кадры с математической подготовкой . Да, они пока не обладают широтой взглядов и нестандартным мышлением. Но это дело наживное.
Тема очень перспективная. Так, что можно сказать - гонка началась. Вернее , к марафону присоединился еще один участник.
Я не смогу конечно один подготовить продукт, это было ясно с самого начала . К большому сожалению , руководство не обладает стратегическим видением и чутьем на новое перспективное . А я , ушел в отставку. Если бы не ушел бы , ничего нового бы не придумал . Это факт.

Поэтому остается классически - делай , что должен и будь, что будет.

Вполне возможно, моя идея будет оформлена как новый продукт или интегрирована в уже существующий. Поживём увидим.

Одно, однозначно хорошо - теперь хоть , наверное, будет с кем поговорить на общую тему. Может, что и подскажут взглядом со стороны. А я много чего могу рассказать. Если спросят конечно.

А на конференциях в октябре обязательно надо выступить. Материал уже есть. Это будет бомба. Наверное .
Тем самым, мой приоритет в исследованиях темы будет окончательно оформлен . Мелочь, а будет , что вспомнить на пенсии.

Показать полностью
[моё] Postgresql ИМХО Исследования Текст
0
Посты не найдены
О нас
О Пикабу Контакты Реклама Сообщить об ошибке Сообщить о нарушении законодательства Отзывы и предложения Новости Пикабу Мобильное приложение RSS
Информация
Помощь Кодекс Пикабу Команда Пикабу Конфиденциальность Правила соцсети О рекомендациях О компании
Наши проекты
Блоги Работа Промокоды Игры Курсы
Партнёры
Промокоды Биг Гик Промокоды Lamoda Промокоды Мвидео Промокоды Яндекс Директ Промокоды Отелло Промокоды Aroma Butik Промокоды Яндекс Путешествия Постила Футбол сегодня
На информационном ресурсе Pikabu.ru применяются рекомендательные технологии