Начало

https://dzen.ru/a/Z_ZU4LQXlnxVJEBt

Постановка задачи

Корреляционный анализ ожиданий при проведении тестового нагрузочного тестирование по сценарию "HeavyWeight" - повышенная утилизация CPU.

Уточнить характерные признаки возникающие при нехватке вычислительной мощности CPU , при минимальном использовании IO.

Реализация теста

Виртуальная машина

cat /proc/cpuinfoprocessor  : 0model name  : Intel Xeon Processor (Skylake, IBRS, no TSX)cpu MHz  : 2693.670processor  : 1model name  : Intel Xeon Processor (Skylake, IBRS, no TSX)cpu MHz  : 2693.670

Тестовый запрос

FOR counter IN 1..10000LOOPSELECTgcd( ((random()*100.0) * (random()*100.0))::numeric , ((random()*100.0) * (random()*100.0))::numeric ) *lcm( ((random()*100.0) * (random()*100.0))::numeric , ((random()*100.0) * (random()*100.0))::numeric )*power(gcd( ((random()*100.0) * (random()*100.0))::numeric , ((random()*100.0) * (random()*100.0))::numeric ) ,lcm( ((random()*100.0) * (random()*100.0))::numeric , ((random()*100.0) * (random()*100.0))::numeric ))END LOOP;

План выполнения тестового запроса

explain ( analyze , buffers , summary ) select custom_test4();QUERY PLAN----------------------------------------------------------------------------------------Result  (cost=0.00..0.26 rows=1 width=4) (actual time=459.522..459.522 rows=1 loops=1)Buffers: shared hit=160Planning Time: 0.066 msExecution Time: 461.071 ms(4 rows)

Нагрузка на чтение с диска - отсутствует.

Операционная скорость и ожидания СУБД в ходе выполнения теста

Ожидания СУБД

Коэффициенты корреляции

Сильная корреляция между ожиданиями и ожиданиями типа LWLock свидетельствует о том, что все ожидания вызваны типом LWLock.

Ожидания типа LWLock

События ожиданий (wait_event) по тестовому запросу

Столбцы таблицы:

• timestamp : точка времени сбора статистических данных уровня SQL.

• datname : База данных, в которой выполнялся SQL запрос.

• rolname : Роль, под которой выполнялся SQL запрос.

• CALLS : Количество выполнений запроса .

• WAITINGS : Количество ожиданий типа IO , LWLock .

• WAITINGS TO CALLS : количество ожиданий на одно выполнение.

• WAIT_EVENTS : события ожидания wait_event , возникающие при выполнении SQL запроса .

• SQL : текст SQL запроса (не приведен).

События ожидания возникающие при выполнении SQL запроса:

• ProcArray : Ожидание при обращении к общим структурам данных в рамках процесса (например, при получении снимка или чтении идентификатора транзакции в сеансе).

• LockManager : Ожидание при чтении или изменении информации о «тяжёлых» блокировках.

Итог

Характерным признаком недостатка вычислительных ресурсов CPU является корреляция между снижением операционной скорости и ростом ожиданий ProcArray .

Взято с основного технического канала Postgres DBA ( возможны правки и дополнения в исходной статье ).

Постановка задачи

Корреляционный анализ ожиданий при проведении тестового нагрузочного тестирование по сценарию "HeavyWeight" - повышенная утилизация CPU.

Уточнить характерные признаки недостаточного размера shared_buffer при повышенной утилизации CPU и большом объеме чтений данных .

Реализация теста

Виртуальная машина

cat /proc/cpuinfo

processor  : 0

model name  : Intel Xeon Processor (Skylake, IBRS, no TSX)

cpu MHz  : 2693.670

processor  : 1

model name  : Intel Xeon Processor (Skylake, IBRS, no TSX)

cpu MHz  : 2693.670

Тестовый запрос

SELECTSUM(gcd( abalance::numeric , ((random()*100.0) * (random()*100.0))::numeric ) *lcm( abalance::numeric , ((random()*100.0) * (random()*100.0))::numeric )*power(gcd( abalance::numeric , ((random()*100.0) * (random()*100.0))::numeric ) ,lcm( abalance::numeric , ((random()*100.0) * (random()*100.0))::numeric )))INTO current_resultFROM pgbench_accounts  ;

План выполнения тестового запроса

QUERY PLAN---------------------------------------------------------------------------------------------Aggregate  (cost=232786.90..232786.91 rows=1 width=32) (actual time=14435.176..14435.177 rows=1 loops=1)

Buffers: shared hit=16235 read=16552

I/O Timings: shared read=973.889

->  Seq Scan on pgbench_accounts  (cost=0.00..52786.99 rows=1999999 width=4) (actual time=0.039..3764.889 rows=2000000 loops=1)

Buffers: shared hit=16235 read=16552

I/O Timings: shared read=973.889

Planning:Buffers: shared hit=63

Planning Time: 15.128 ms

Execution Time: 14435.289 ms

Нагрузка в ходе выполнения теста

Длительность итерации = 10 минут.

Рост нагрузки - экспоненциально.

Операционная скорость и время выполнения тестового запроса

Тест был принудительно завершен после потери работоспособности СУБД после выполнении итерации №16.

Операционная скорость и ожидания СУБД в ходе выполнения теста

Время выполнения с итерации №6 до итерации №16.

Периодичность сбора данных = 1 минута.

Операционная скорость

Ожидания СУБД

Линия регрессии операционной скорости и ожиданий СУБД

Коэффициенты корреляции

Ожидания типа IO, IPC , LWLock

События ожиданий (wait_event) по тестовому запросу

Столбцы таблицы:

• timestamp : точка времени сбора статистических данных уровня SQL.

• datname : База данных, в которой выполнялся SQL запрос.

• rolname : Роль, под которой выполнялся SQL запрос.

• CALLS : Количество выполнений запроса .

• WAITINGS : Количество ожиданий типа IO , LWLock .

• WAITINGS TO CALLS : количество ожиданий на одно выполнение.

• WAIT_EVENTS : события ожидания wait_event , возникающие при выполнении SQL запроса .

• SQL : текст SQL запроса (не приведен).

События ожидания возникающие при выполнении SQL запроса:

• DataFileRead : Ожидание чтения из файла данных отношения.

• BufferIO : Ожидание завершения буферного ввода/вывода.

• BufferMapping : Ожидание при связывании блока данных с буфером в пуле буферов.

Итог

Характерным признаком недостаточного размера общей области памяти shared_buffers является корреляция между снижением операционной скорости и ростом ожиданий BufferMapping/BufferIO.

Upd. Вы все такие умные, лично мне адресуете про презервативы, понятно что это самое надежное что есть, с 95% защиты, но эти 95 в стерильных условиях - если не жмет, не паль, не перетянут, воздух не попал, меняется каждые полчаса и тп и вообще это интимная тема и дело каждого, но точно помню, что несколько лет назад один дейтинг опросил пользовательниц и у чуть более 50, вроде 54% женщин дан ответ, что спали без защиты в первую ночь знакомства хотя бы 1 раз, так что если думаете, что все люди ответственные и не животные, то это далеко не так) Так что ваши нападки не работают

Еще заметил такую конструкцию в одном ответе - либо покупай гандоны, либо будь готов платить алименты, папаша. Более 100 лет победы феминизма и у меня вопрос к таким комментаторам - а вы как считаете, в каком веке мы живем? Как, с целью снятия ответственности, дееспособную женщину можно делать жертвой, когда она может сказать НЕТ и все? Даже если её выбор за тем, чтобы оставить ребенка: выплаты беременным (в некоторых регионах ввели и школьницам доплаты 100-150к) + 3 года оплачиваемого декрета - вообще не приговор, во время него можно продавать дубайский шоколад, работать оператором из дома и не только + маткапитал + единовременные разовые + 50% всего имущества (в том числе доли в бизнесе, недвижимость, ценные бумаги) нажитого в браке при разводе, даже если муж больше заработал или женщина не работала вообще (суд всегда ровно поделит, даже если есть брачный договор) + 15 миллионов за двухсотого мужа + дети после развода с 95% вероятностью остаются именно у мамы. РАЗВЕ это плохая поддержка для матери? А действительно ли вместе с этим необходимо создать реестр днк за хуиллярд налогов, чтобы найти личность того спермоб... у которого лопнул гандон 2 года назад, чтобы автоматом повесить алименты до совершеннолетия ребенка, о котором он не знал и даже не видел. Да уж, человечность и равноправие полов - пустой звук для вас, а вот ежемесячно 10-20 тысяч от левого забытого хуйла какого-то one stand'ного - вот это уже супер, классный проект. Только вот на среднюю рождаемость это не повлияет, как не повлиет и выплата разовая в сотку. Лучше дать хорошую реформу образования, введите хоть вместо маршировок и разговоров о важном секспросвет, что важно, учитывая ситуацию с вич, возможно и квирпросвет в старших классах, с объяснением таких тем как интерсексуальность и почему это биология, бисексуальность и почему это не обязательно временная стадия и тд. А вместо этого реестра - обновите реально информатику школьную, дети учатся переписывать текст с листочка в вордик, а в следующей четверти уже программируют (информатика 2 раза в неделю), но и тут как повезёт: кто-то в тетрадке, кто-то на древнем паскале (ничего не имею против), у кого-то хоть питон или даже си. Потом они предположим идут после 9 "на программиста" - чаще всего не связанные между собой пары, где либо конспект вордика с 120 страниц 2003 года написания (требования к источникам в дипломных это не более 3-5 лет) с описанием спецификации и созданием программы, либо несколько лет создания примерно одной и той же бд и запросов в Access, который хоть и нагляден, но не используется в реальных проектах.

Окей, даже если школа с маршировками и поднятием флага - святая скрепа, а колледж - сами знали куда шли, то что насчет вузов? А давайте возьму вуз. Итак, один из лучших вузов моего города, специальность "Экономика" - 100 платных мест, казалось бы, неплохо, но вот плюсом должны быть бюджетные группы. А бюджетных мест 7(семь) на 2025 год (город миллионник..), понятно кому они достанутся - льготикам, в первую очередь детям сво, а также 100бальникам. Ну это позор, семь мест выделено. Конечно есть сомнения, дают ли эти программы актуальные знания и компетенции, но есть хоть кредит под 3% на образование, что уже достойно.

И так можно с абсолютно разных моментов оценить действия для улучшения почвы под рождение детей, не хочется даже говорить про квартиры, их темпах роста за 5 лет и размере ипотечного платежа, потому что из любого утюга это.

Тот, кто застал эпоху «до Microsoft Windows», прекрасно помнит эти «синенькие панельки». Файловый менеджер Norton Commander (как позже и его клон — Volkov Commander) безраздельно царствовал на персоналках конца восьмидесятых и начала девяностых. Любопытно, но факт: эту легендарную программу написал не Питер Нортон, как многие считают, а совершенно другой разработчик — Джон Соча. К слову, Norton Commander никогда не был флагманским продуктом компании Peter Norton Computing.

Питер Нортон появился на свет 14 ноября 1943 года в городе Абердин, штат Вашингтон, но вскоре после его рождения семья перебралась в Сиэтл. Окончив школу, Нортон поступил в колледж Рид в городе Портленд, штат Орегон. Успешно закончив учебу в 1965 году, молодой программист поступил в компанию Boeing, где работал с мейнфреймами, позже он устроился в лабораторию реактивного движения НАСА. Когда в 1981 году корпорация IBM выпустила на рынок свою персоналку IBM PC, Питер Нортон стал одним из ее первых пользователей.

В начале восьмидесятых правительство США решило оптимизировать расходы на развитие аэрокосмической промышленности, и Питер Нортон попал под сокращение. Чтобы хоть как-то свести концы с концами, он стал писать программы под MS-DOS на заказ. Однажды Питер случайно удалил разрабатываемую им программу, но вместо того чтобы написать код заново, он придумал специальную утилиту, с помощью которой сумел восстановить файл. Приложение получило название Norton Unerase. Этот инструмент очень понравился его друзьям и коллегам — в MS-DOS не было «корзины», а случайное удаление нужных файлов считалось обычным делом. Дополнив свое детище еще несколькими полезными программами, Питер Нортон получил набор утилит, который так и назвал — Norton Utilities. А для продажи этого продукта в 1982 году он основал компанию «Peter Norton Computing».

Ядром Norton Utilities стал тот самый инструмент для восстановления удаленных файлов в файловой системе FAT, если кластеры, которые файл занимал до удаления, еще не были перезаписаны. Фактически, Питер Нортон изобрел новый класс программного обеспечения для PC: средства для восстановления данных. Вскоре в этой коммерческой нише у него появились конкуренты, в частности, пакет программ PC Tools, но, тем не менее, Нортон являлся здесь первопроходцем.

Peter Norton Computing стала одной из первых фирм, продававших коммерческий софт для MS-DOS, хотя существовала версия Norton Utilities и для IBM PC DOS. Компания обладала стартовым капиталом в 30 000 долларов — это были все накопления Питера Нортона — и одним-единственным компьютером IBM PC. Собственно, поначалу и сотрудник в ней числился всего один: он же директор, он же учредитель. Питер Нортон продавал диски с утилитами, посещая в качестве коммивояжера офисные центры и распространяя рекламные буклеты на различных компьютерных выставках и мероприятиях.

Однако первыми на него обратили внимание не потенциальные покупатели утилит, а корпорация Microsoft, вернее, ее издательское подразделение: в 1983 году Microsoft Press предложило Питеру Нортону написать книгу по программированию. Эта книга, вышедшая в 1985-м под названием «Руководство программиста Питера Нортона по IBM PC», быстро стала бестселлером. Первое время писательство приносило автору не меньший доход, чем софтверная компания, при этом книга стала отличным рекламным инструментом, повысившим узнаваемость бренда.

В 1984 году, когда Питер Нортон трудился над собственной книгой, аспирант факультета прикладной физики Корнельского университета Джон Соча работал над файловым менеджером для MS-DOS, который он назвал Visual DOS, или, сокращенно, VDOS. «Видос» был написан на Си с применением Ассемблера, его интерфейс включал две настраиваемых панели со списками файлов, а операции над ними можно было выполнять с помощью набора горячих клавиш. При нажатии CTRL и ALT можно было использовать дополнительные функции клавиш, панели позволяли переключаться между разными дисками, а при желании на них можно было вывести древовидную структуру папок или развернутую информацию о выбранном файловом объекте. В общем, получился удобный, компактный, быстрый и полезный инструмент для работы с файлами и папками без помощи мыши, которого в MS-DOS очень не хватало.

Джон Соча – человек, который придумал термин «заставка». И, может быть даже создал первую заставку. На самом деле в зачаточном состоянии заставка (ночное небо со звездами) была второй отличительной чертой Norton Commander 3.0 вместе с двумя панелями синего фона. Эту экранную заставку называли классической DOS заставкой и ассоциировали не с Нортон, а с DOS. В 2001 году Джо Форстер написал Звездную ночь, которая точно воспроизводит классическую заставку Norton Commander. Помимо создания программ у Сочи был и другой источник дохода: он подписал контракт на несколько книг с Microsoft Press. Именно в этом издательстве Соча и познакомился с Питером Нортоном. Быстро оценив рыночные перспективы нового файлового менеджера (у которого на тот момент существовал только один конкурент, программа XTree), Нортон предложил молодому разработчику сотрудничество. Джон Соча стал директором по исследованиям и разработкам Peter Norton Computing, а VDOS был выпущен на рынок под названием Norton Commander 1.0.

Вскоре этот файловый менеджер завоевал огромную популярность среди пользователей, и самую большую — в странах Восточной Европы и СССР. Многие пользователи даже не подозревали, что это не «родной» интерфейс DOS, ассоциируя операционную систему с самим Norton Commander. К слову, Джон Соча является автором еще одного изобретения — «экранной заставки». То самое знаменитое «звездное небо» впервые дебютировало именно в Norton Commander, и также воспринимается многими, как необъемлемая часть MS-DOS, хотя никакого отношения непосредственно к операционной системе она на самом деле не имеет.

Вскоре этот файловый менеджер завоевал огромную популярность среди пользователей, и самую большую — в странах Восточной Европы и СССР. Многие пользователи даже не подозревали, что это не «родной» интерфейс DOS, ассоциируя операционную систему с самим Norton Commander. К слову, Джон Соча является автором еще одного изобретения — «экранной заставки». То самое знаменитое «звездное небо» впервые дебютировало именно в Norton Commander, и также воспринимается многими, как необъемлемая часть MS-DOS, хотя никакого отношения непосредственно к операционной системе она на самом деле не имеет.

Важной частью маркетинговой политики Peter Norton Computing стало использование фотографии самого Питера Нортона на всех упаковках продуктов этой компании (традиция сохранилась даже после покупки фирмы холдингом Symantec). Тогда, в восьмидесятых, в сфере IT еще не существовало понятия «личный бренд», и Питер Нортон был одним из первых бизнесменов, решивших активно развивать его — позже по этой проторенной тропинке пройдут Джон Макафи, Евгений Касперский и другие предприниматели. В 1986 году доход Peter Norton Computing достиг 5 миллионов долларов — довольно неплохой показатель для небольшой компании с численностью персонала до сотни сотрудников.

Еще одним продуктом Peter Norton Computing, практически незнакомым русскоязычной аудитории, стал формат Norton Guides — электронные руководства и справочники в гипертекстовом формате для DOS, появившемся еще до рождения HTML. В этом формате публиковались все мануалы к продуктам Питера Нортона, а также несколько электронных книг — по Ассемблеру, Си, Бейсику и языку Forth. «Гайды» распространялись на дискетах, а многие разработчики софта использовали этот формат для создания собственных руководств пользователя. В марте 1990 года Peter Norton Computing выпустила программу для резервного копирования Norton Backup — одну из первых программ с подобным функционалом, а в июле вышла версия Norton Utilities для Apple Macintosh. Но эти программы стали фактически последними самостоятельными разработками фирмы Питера Нортона.

Коллеги вспоминали, что Питер Нортон исповедовал простой принцип: «мы будем заниматься бизнесом, пока это весело». Веселье закончилось в 1990 году, когда Питер продал Peter Norton Computing компании Symantec за 70 миллионов долларов, а сам получил одну треть акций Symantec на сумму около 60 миллионов и место в совете директоров Symantec. Следующий флагманский продукт — Norton AntiVirus — был выпущен в декабре 1990 года, когда компания Питера Нортона уже находилась под управлением Symantec.

Сейчас Питер Нортон наслаждается жизнью на пенсии в калифорнийском городке Санта-Моника. Он входит в советы директоров Калифорнийского технологического института, Калифорнийского института искусств, школы Crossroads в Санта-Монике, Музея современного искусства в Нью-Йорке, а еще является почетным попечителем колледжа Рид, где когда-то учился. Автор Norton Commander Джон Соча покинул компанию, организовал несколько успешных стартапов и вполне успешен в бизнесе. А программные продукты под торговой маркой «Norton» продолжают развиваться по сей день.