DmitriitheFals

Удивительно, но не смогли не соврать даже в мелочах. Еще в 2022 году Планар заявлял:
Что касается диаметра пластин, сейчас большая часть оборудования предприятия позволяет обрабатывать пластины диаметром 150 и 200 мм. Визит в демонстрационно-маркетинговый центр ОАО «Планар»

Если бы к рекламе «уря уря» не привлекали кого попало, причем за тот же самый мелкий прайс, то имело бы смысл обсуждать, почему не смогли пойти в стандартный размер масок, цитата:

The industry standard EUV field and mask sizes are 26 by 33 millimeters and 6 by 6 inches, respectively. To make high-NA work, ASML and Zeiss opted to double the magnification in one direction, resulting in a half-sized field of 26 by 16.5 millimeters. ASML throws weight behind bigger EUV masks
ASML PAS5500/300 (DUV) - 22x27mm Stepper Mask-Making Guidelines (Generic)

Разговаривать же с пастой совершенно не интересно, тем более, что только что приняли закон:
основанием для попадания в перечень лиц, находящихся под иностранным влиянием, стало вовлечение сограждан в сбор и распространение военно-технической информации, которая может быть использована против России. В России расширили основания для признания иноагентом

НО, к самолетам.
Судя по новостям, каждый год импортозамещение все более лучше замещается
26.01.2023 Первый полет новых «суперджетов» перенесли на 2024 год
29.08.2023 Импортозамещенный самолёт SJ-100 впервые поднялся в воздух и сел на облако
17.03.2025 Опытный образец самолета «Суперджет» совершил первый полет с отечественными двигателями ПД-8.
31.03.2025 Третий опытный самолет Ил-114-300 присоединился к программе летных испытаний.
09.04.2025 Опытный образец самолета «Суперджет» с двигателями ПД-8, создающийся в широкой кооперации предприятий Ростеха, продолжает серию испытательных полетов. (Ростех)
29.04.2025 Лайнер МС-21 с новыми российскими системами совершил первый полет
04.07.2025 За два года отечественный самолет МС-21 подорожал на 65%

Как легко заметить, последние несколько лет каждый раз Суперджет «почти импортозамещенный», как и МС-21, и Ил-114.

Немного истории.
В 2002 Garuda Indonesia Flight 421 сел на реку, в результате остановки сразу двух CFM International CFM56, выпускаемых с 1974 года. Потребовалась пара доработок, пара лет, и пара сотен миллионов, чтобы CFM56 перестали глохнуть в дождь.  
В 2023 году начались очередные проблемы с семейством Pratt & Whitney GTF - Pratt & Whitney PW1000G (PW1100G, PW1500G, PW1900G).
Про боинг и говорить не стоит.

У всех бывают проблемы. Ожидать, что у первых полу-опытных импортозамещенных машин, сразу все будет хорошо, и хорошо «везде» можно, но нужно ли?

Проблемы SSJ-100 и MC-21 не в технике.

Проблемы  SSJ-100 были давно известны и до санкций, и эти проблемы – обеспечение запчастями. Мало сделать самолет, 1 штуку. Нужно обеспечить его ремонтопригодность, и эксплуатацию.
Ремонтопригодность, это в первую очередь, обученные специалисты, запчасти, и инструменты. Или возможность максимально быстро доставить все вышеперечисленное.
Эксплуатация, это в первую очередь тренажеры, учебные материалы, и учебные программы.
Для показательных полетов, как всю свою недолгую историю в 50 (пятьдесят) полетов летал Ту-144, можно брать хоть летчиков-испытателей. Для реальной эксплуатации пилотов придется учить с ноля. При том, что суточный \ месячный налет в первые пару лет эксплуатации будет страдать.
Это было известно давно, еще в 2024 вышла статья падение суперджета.

Немного статистики за 2 квартал 2025.

«СуперджетНью» (Superjet 100, он же SSJ-NEW)
SaM146 борт заводской 97001 регистрационный 97021 – на испытаниях с весны 2024.
SSJ-NEW с ПД-8 борт 95157 – на испытаниях с весны 2024.
Всего на испытаниях три борта: 95157/97012, 97001/97021, 95003/97003
БЕ-200 – второй для Алжира. Доставлен с задержкой в пару лет - 16.12.2024.
Algeria received the second Be-200ES amphibious aircraft
ТУ-204 (214). Поставок нет, планы сдвинуты «на потом».
Казанский авиационный завод имени Горбунова (КАЗ) сорвет обновленный план по выпуску самолетов Ту-214 и не сможет до конца года построить и передать авиакомпаниям четыре новых борта. Об этом со ссылкой на источники, знакомые с производственными планами предприятия, пишут «Ведомости»
Ил-112В и Ил-114. На испытаниях, планы сдвинуты «на потом».
МС-21. На испытаниях, планы сдвинуты «на потом». При этом [в протоколе совещания Минтранса России с представителями авиакомпаний, «Ростеха», ОАК и Росавиации по вопросам летно-технических характеристик воздушных судов МС-21, Ил-114, SJ-100, «Байкал» (ЛМС-901) и их обслуживания] подчеркивается, что летно-технические характеристики МС-21 не соответствуют плановым.

Ничего нового с 01.03.2024, статья Российские самолеты тяжелы на подъем:
Минпромторг и госкорпорация «Ростех» официально объявили о переносе сроков поставок всех российских пассажирских самолетов, разрабатываемых для замещения западного флота,— SJ-100, МС-21, Ту-214 и Ил-114–300. Поставки должны были начаться в 2024 году, но теперь сдвинуты на 2025–2026 годы. Кроме того, по данным “Ъ”, сертификация самолета «Байкал» Уральского завода гражданской авиации перенесена на 2024 год, начало поставок — на 2025 год.

То, что сроки будут сорваны, теперь выдается за «запланированный срыв», цитата:

— С чем связан сдвиг вправо срока производства самолетов?

— Для начала, если говорить о сдвижке вправо — это изначально было про наши внутренние сроки: по самолетам SSJ100 и МС21 были не 2023-й и 2024-й, а 2025-й и 2026-й. Но для более, извините за моветон, жесткой мотивации самой промышленности — это и мной принималось решение для того, чтобы на внешний периметр и на принимаемые обязательства со стороны министерства были более жесткие сроки.
Первый вице-премьер Денис Мантуров в интервью телеканалу РБК, 17.06.2025

И перенос стоит уже на 2027-2028:

«Если мы говорим сегодня про двухчленный экипаж на тот же самый Ту-214, который мы планируем производить если не десятками, то хотя бы двумя десятками к 2027–2028 годам. <...> Мы рассчитываем на грузовые версии 214-го», — сказал он в эфире РБК-ТВ.

Финал.

Те, кто характеризуется как либеральные круги, чиновники либеральных взглядов, они тут же [после отмены санкций] постараются обязательно свернуть все те достижения по импортозамещению, по суверенизации нашей экономики, ее производства, по обеспечиванию безопасности в тех сферах, от которых действительно зависит развитие в государстве — и военная безопасность, продовольственная безопасность, технологическая», — сказал Лавров. 14.04.2025,  Коммерсант, Сергей Лавров: нужна проверка чистоплотности наших украинских соседей

Ранее стало известно, что Минпромторг намерен исключить из схемы параллельного импорта ноутбуки и серверы японской компании Fujitsu и американской Hewlett Packard (HP), что должно сократить поставки их продукции в Россию и сделать ее дороже. Такую меру также давно лоббируют отечественные производители, которые не могут увеличить свои продажи из-за невостребованности их техники.
Российские производители электроники попросили частично запретить конкурентов

Вместо постскриптума.
Случайно увидел ролик про советскую гражданскую авиацию.
Ту-154 расходовал 6 тонн керосина в час. 164 пассажира. Баки – 40 тонн (39,75), дальность – 5 часов.
Первый регулярный рейс с пассажирами на борту по маршруту Москва — Минеральные Воды Ту-154 рег. СССР-85016 совершил 9 февраля 1972 года (командир экипажа Е. И. Багмут).
Максимальная взлётная масса – 98 .. 104 тонны
Дальность полёта с максимальной заправкой- 3900 км (с НК-8-2 ) и 6600 км (с Д-30КУ-154-II)
Потому что три движка НК-8-2(У) или Д-30КУ-154-II
Boeing – 757. Расход – 3600 килограмм в час. 180 пассажиров . Баки - 42,680 - 43,490 литров. 43490 литров обычного керосина - 34.792 тонн, на 8 часов.
Eastern Air Lines placed the initial 757-200 variant in commercial service on January 1, 1983.
Максимальная взлётная масса – 115,660 .. 123,830 тонн
Дальность от 5,435 до 7,250 километров, в зависимости от модели.

Почему? Требования по прочности конструкции одинаковы, но стабильность качества материалов, то есть толщина балок, и их масса, и тип сплавов, определяют сухую массу самолета.
Все очень просто, для тех кто в школе учился. Если нужна балка 10 мм толщиной, и завод ее производит с точностью +-1% по прочности и +- 0.1 мм по толщине, то это куда лучше, чем балка 11 мм, прочностью +- 5% и +-0.2 мм по толщине.
Если самолету надо два двигателя возить, а не три, и двигатель НК-8 весит 2350 кг в сборе с соплом, то это плюс 2 тонны полезной нагрузки, плюс топливо.
С ростом надежности двигателей, мощности двигателей, и получения разрешения на перелеты для 2-двигательных самолетов (ETOPS-90 и потом ETOPS-120) 4 и 3 двигательные самолеты постепенно уходили в историю.

На новых серверах, скорее всего это будут Supermicro Hyper SuperServer SYS-221H-TN24R, заявлено 24 front hot-swap 2.5" NVMe*/SAS*/SATA* drive bays.  Надо будет еще раз посмотреть и посчитать, стоит ли оно того.

Ирония ситуации в том, что, может быть, нам больше 150-200k IOPS блоком 4k и не надо, а с этим справится и младшая Huawei Dorado 5000 v6, даже не v7. Которых (v7) то даже нам пока не поставляют. Пока писалась статья, может уже и стали поставлять, давно не спрашивал.

2. Огромное число вариантов тестов, комбинаторный взрыв.

Настройки BIOS, варианты прошивок, настройки OS, настройки тестов. Все вместе, порой, вызывает больше вопросов, чем дает ответов.

3. RAID и новый вариант проблемы Read–modify–write

Когда-то давно все диски были с разметкой 512 (иногда 520), и проблемы с тем, что блок меньшего размера пишется в страйп большего размера, были не так значимы. Была проблема с выравнивание разделов, но ее решили (starting offset  - Disk performance may be slower than expected when you use multiple disks)

Зато теперь есть проблема с Write amplification.
Теперь же оптимизация 512-4096-512 плюс файловая система может дать, в кривых руках (например, моих), Raid write penalty не 4, как положено по написанному в середене нулевых калькулятору, а x4x4, то есть x16.

4. Прочие не заданные вопросы.
Почему не Linstor? Потому что Linstor, прежде всего, нужно долго тестировать в разных сценариях поверх дисков. Это на всяких SMM помойках в зоне ру пишут «мы запустили русский HGUI к Linstor, аналоговнет» - но нам работать надо, причем в сценариях, когда отказать может не один диск, и даже не один сервер, а стойка целиком. На метрокластер фирма пока не заработала, хотя уже приценивается. Отсюда обязательные требования по MPIO, причем не с переключением за 2 минуты, и отработка сценариев отказов. Что там у Linstor с MPIO?
FC в топку, Cisco Nesux, особенно с Fabric Extenders  (FEX) – на помойку, глючное под нагрузкой. Juniper у меня и не было.
Arista топ.
Но, посмотрим. Соседний отдел уже полгода мотает от «хотим Linstor» до «SupremeRAID купите позязя». Потом они пойдут смотреть на weka, vastdata (Cosmos), vast.ai.

Выбор ОС.

Разные ОС по разному работают с дисками. Поскольку Broadcom ESXi стал не просто дорого, а очень дорого, то выбор остался между Microsoft Hyper-V (но нужно сразу считать стоимость DC лицензии, плюс лицензии SCOM, SCVMM) и Proxmox. Итогом, понятно, будет гибридная инфраструктура – часть в облаке, часть на Proxmox, часть на Windows. У нас тут без предрассудков.
Почему не чистый, ванильный KVM? Не знаю, как-то не рассматривали этот вариант.

Закончим с теорией, перейдем к практике.

Диски еще раз.

Использовались: Micron 7450 SSD Gen4 pro по 3840 Gb. Спецификация: Micron 7450 SSD Series Technical Product Specification

Заявлено:
- Random 4KB READ: Up to 1,000,000 IOPS
- Random 4KB WRITE: Up to 400,000 IOPS

Точнее данные описаны в таблице 1: Table 1: Drive Performance – PRO

И начинаются фокусы.
Во первых, для разных емкостей и моделей заявлена разная производительность.
Во вторых, для разных тестов использована разная глубина очереди:
• Sequential workloads measured using FIO with a queue depth of 32
• Random READ workloads measured using FIO with a queue depth of 256
• Random WRITE workloads measured using FIO with a queue depth of 128

или:
Latency values measured under the following configuration:
• Random workloads using FIO with 4KB transfers and a queue depth of 1

Особо надо обратить внимание на питание и охлаждение.
3. Power limiting is configured through Set/Get Features Power Management.
4. Power consumption measurements are for reference only; actual workload power consumption will vary

Указано, что в среднем диски выдают до 15 ватт тепла, но в пике указано потребление до 2 ампер по линии 12 вольт, то есть 24 ватта на диск. На 6 дисков это плюс 150 ватт. Проблема не в блоках питания, а в том, что диски стоят спереди, и процессоры «за ними» обдуваются весьма горячим воздухом. В теории у нас на входе +20, а на процессоры приходит воздух уже +30, а то и +35, и на выходе получаем и +70..+80 на самих процессорах, и обдув памяти с ее нагревом. Поэтому не забывайте сразу настроить мониторинг CPU \ RAM temp, через IPMI – iBMC – iDRAC – iLO, или что там у вас.
И, само собой, не забывайте считать пределы отведения по теплу, иначе получите, рано или поздно, что ваше охлаждение из N+1 превратилось в N+0.

Еще немного теории, теперь про DiskSPD.

У DiskSPD есть несколько критичных параметров. Это:
Измененная методика работы в последней версии, цитата:
Previously Diskspd would issue the requested number of I/Os (T0), then receive and record one I/O at a time (T1)

С рекомендацией:
Since these changes can be so dramatic, you should re-baseline your storage performance using the latest version of Diskspd.
To keep pace with the advances in disk speeds and the improvements in Windows Server 2025, we’ve made investments in our storage performance benchmark tool to get you an accurate measure of latency.

Кстати, я там плакал, что нет экспорта в XML? Он есть:
-R[text|xml] Display test results in either text or XML format (default: text).

Никогда не ходил в эту секцию библиотеки, а, видимо, придется: Event Tracing for Windows (ETW) parameters

Всплыли некоторые неочевидные (если не читать) подробности, например, конфликтующие параметры:
-F<count> Total number of threads. Conflicts with -t, the option to set the number of threads per file.
-t<count> Number of threads per target. Conflicts with -F, which specifies the total number of threads.
Поэтому, если вы используете несколько целевых файлов, и ключ –t – как в примере:
diskspd [options] target1 [ target2 [ target3 ...]

То у вас число потоков (тредов, нитей) будет расти с ростом числа файлов. Что надо было бы мне учесть перед тестами, но я, конечно, не учел.

Еще немного теории, уже почти все.

В школе всех учили и учат, что есть один путь решения и одно правильное решение. Поезда встречаются на определенном полустанке, машина из А в Б приедет за 5 часов 55 минут, итд.
В техническом институте учат, что все ваши измерения – фигня полная. Не бывает ровно 28 сантиметров, ровно 22 секунды. Бывает 28 сантиметров плюс минус погрешность инструмента, плюс минус погрешность методики, плюс минус систематическая и так далее, поэтому «примерно 24-29 см» приемлемый результат. Хотите большей точности  – работайте с ошибками и инструментами.
Курса со второго (иногда с первого) учат, что ошибка – это нормально. Лучше, конечно, не делать грубых ошибок, но умеренно ошибаться при опытах и постановке опыта «тоже сойдет». Грубых ошибок делать не надо, ТБ нарушать не надо. Там же учат иногда подгонять ответ под требуемый результат, и оценивать результат с точностью до порядка.
Так что полученные ниже результаты – повод для обсуждения, где именно можно улучшить методику, какие параметры покрутить. Или же все переписать и переделать.

Тесты и результаты.

Windows Server 2019 и 2022: сопоставимые результаты.
Хотя, еще как посмотреть, насколько сопоставимые, и в каких сценариях. Например ResiliencySettingName: Parity в Server 2019 работало с багами, до какого-то очередного фикса.
Тесты существенно округлены в основном в меньшую сторону, то есть 142к > округлено вверх до 150к, 139к округлено куда получится.
Number of threads per target: 10
Number of outstanding I/O requests per-target per-thread: 16
target:1
Кеширование: выключено
Тип пула (New-StoragePool): LogicalSectorSizeDefault: по умолчанию.
Типы дисков: New-Volume ProvisioningType: Thin, Fixed. Результаты сопоставимы для обоих типов дисков (что очень странно для поклонников старой школы), поэтому приводятся без разбивки.
Форматирование: NTFS 4k
ResiliencySettingName: Mirror
Чтение блоком 4к: 600к IOPS
Запись блоком 4к: 250к IOPS

Чтение блоком 64к: 450к IOPS
Запись блоком 64к: 100к IOPS

Number of threads per target: 15
Number of outstanding I/O requests per-target per-thread: 16
Targets:4
ResiliencySettingName: Mirror

Чтение блоком 4к: 2500к IOPS
Запись блоком 4к: 900к IOPS

Чтение блоком 64к: 650к IOPS
Запись блоком 64к: 150к IOPS

Следующий вариант тестов:
Number of threads per target: 15
Number of outstanding I/O requests per-target per-thread: 16
Targets:4
ResiliencySettingName: Parity. Важно: я с этой настройкой не экспериментировал, хотя в 1 и 2 частях написано про важность грамотной настройки именно в этой части. Поэтому производительность в Parity на запись, при настройках по умолчанию, будет отвратительной.

Чтение блоком 4к: 2800к IOPS (внезапно для меня, чтение для Parity работает отлично)
Запись блоком 4к: 45к IOPS. Да, просадка с 900k до 45k. Не в 4 раза, и даже не в 10. Выглядит, как результат все той же проблемы – read-modify-write, когда из страйпа читается один блок, изменяется и перезаписывается.

Чтение блоком 64к: 650к IOPS
Запись блоком 64к: 20к IOPS
Огромная просадка по записи. Просто чудовищная.

При этом, я смотрю на среднее отклонение, и вижу в нем какие-то всплески на 10-20% . Что это было? Меня на повторное проведение лабораторных работ в институте отправляли и за меньшие отклонения и нарушения.
Видимо, придется все переделывать.

Windows Server 2025.
В 2025 сервере обещали улучшить, углубить, итд. Посмотрим
Number of threads per target: 15
Number of outstanding I/O requests per-target per-thread: 16
Targets:4
ResiliencySettingName: Mirror

Чтение блоком 4к: было 2500к IOPS, стало: почти 3000к IOPS
Запись блоком 4к: было 900к IOPS, стало почти 1000 к IOPS. Опять наблюдается разброс в скорости между тонкими и фиксированными дисками, что говорит о том, что надо проводить не 2 теста по 5 минут, а 6 тестов по 10 минут и смотреть среднее, да и на задержки поглядывать.

Чтение блоком 64к: 650к IOPS. Без существенных изменений.
Запись блоком 64к: 150к IOPS. Без существенных изменений.

Следующий вариант тестов:Number of threads per target: 15
Number of outstanding I/O requests per-target per-thread: 16
Targets:4
ResiliencySettingName: Parity. Важно: я с этой настройкой не экспериментировал, хотя в 1 и 2 частях написано про важность грамотной настройки именно в этой части. Поэтому производительность в Parity на запись, при настройках по умолчанию, будет отвратительной.

Чтение блоком 4к: было 2800к IOPS, стало почти 3000к IOPS.
Запись блоком 4к: было 45к IOPS, стало 80к IOPS.

Чтение блоком 64к: было 650к IOPS. Без существенных изменений.
Запись блоком 64к: было 20к IOPS. Стало 30 к IOPS.

Заключение

Тестирование только DiskSPD или FIO показывает некие повторяемые цифры, которые напрямую не конвертируются в ответ «будет ли работать SQL быстрее, и, если да, то насколько».
Подойти ближе к ответу позволяют:
SQLIOSim
SQL Query Stress Tool
HammerDB

И прочие инструменты.
Stay tuned

Список литературы

Windows Server 2025 Storage Performance with Diskspd
Use DISKSPD to test workload storage performance
Getting Started with Diskspd
microsoft/ diskspd Command line and parameters
microsoft/ diskspd Sample command lines
RAID Write Penalty and IOPS Calculation

Understanding RAID Write Penalties: RAID 0, 1, 5, and 6 Explained

SQL Query Stress Tool
ErikEJ/ SqlQueryStress
Microsoft SQL Server Performance monitoring and tuning tools
Microsoft SQL Server Troubleshoot high-CPU-usage issues in SQL Server
Microsoft SQL Server Performance and Activity Monitoring
Microsoft SQL Server Troubleshoot slow-running queries in SQL Server 
Open Activity Monitor in SQL Server Management Studio (SSMS)
Use the SQLIOSim utility to simulate SQL Server activity on a disk subsystem
HammerDB is the most trusted Free and open source database benchmarking application to the global database industry

PS.
Особенно меня радует отсутствие экспертов (ТМ) в комментариях.
Уровень комментаторов и так упал ниже уровня Хабра, хотя, казалось бы, что может быть более днищевым, чем редакция Хабра и активно ими создаваемые аккаунты с активной гражданской позицией из одного комментария.
Комментарии про «СХД OceanStore 2288» умиляют глубиной безграмотности.
Ирония в том, что технике, лишенной духа машины, не скажешь «ну, надо».
3rd: Sentience is the ability to learn the Value of Knowledge.
4th: Intellect is the Understanding of Knowledge.

Тестовые нагрузки при параллельном исполнении – будут исполняться где угодно. Это или баг, или фича планировщика, но планировщик CPU иногда балансирует нагрузку по тестовым потокам крайне странно.

Подходим снизу еще раз

Начну опять снизу. Когда мы создаем дисковый пул, через New-StoragePool, то у нас есть параметры:
LogicalSectorSizeDefault - 512 и 4096
MediaTypeDefault - HDD, SSD, SCM
WriteCacheSizeDefault
AutoWriteCacheSize

Причем последний параметр работает как-то не очевидно.

Следующий не очевидный момент – это работа storage bus cache из статьи Tutorial: Enable storage bus cache with Storage Spaces on standalone servers. Во первых, для storage bus cache нужен ReFS, во вторых: This feature requires your server to have the Failover Clustering feature installed, but your server can't be a part of a Failover Cluster.

Следом мы создаем новый том New-Volume, и уже там определяем
ResiliencySettingName
FileSystem
WriteCacheSize
ReadCacheSize
NumberOfColumns – этот параметр самый интересный, показывает:

Specifies the number of columns to use when creating the volume on a Windows Storage subsystem. Columns represent the number of underlying physical disks across which one stripe of data for a volume is written.

Кажется, что параметров даже слишком много, особенно в части кеширования.
Но не расстраивайтесь, в GUI ничего этого нет.

В остатке после всей пирамиды:
Дисковый пул и сами диски (SAS SSD и SAS NVME), разметка дисков и оперативная память.
Создаваемый поверх пула диск и его кеширование и разметка.
Создаваемый поверх диска том, и его кеширование и разметка.

И это только то, с чем будет работать даже не ОС гипервизора.

Особенности Hyper-V.

Hyper-V – это гипервизор типа 1.5. То есть, существует сам гипервизор, который грузится до загрузки операционной системы, со всеми своими minroot, VMQ, Dynamic VMMQ (d.VMMQ).
И, только после загрузки гипервизора, в первый раздел, грузится Windows Server. Иногда это приводит к комичным ситуациям – управляющая операционная система мертва, а все остальные виртуальные машины работают до перезагрузки. Сам не видел, а коллеги в российском филиале на бета-тесте русской версии ловили. Какой-то статистики набрать не удалось, но помогало удаление всех антивирусов, и переустановка на английскую редакцию. После декабрьских патчей не встречалось.

Отдельные особенности при создании дисков для виртуальных машин.

Командлет New-VHD предлагает параметры:
LogicalSectorSizeBytes
PhysicalSectorSizeBytes

С вариантами 512 и 4096 байт для обоих параметров.
При создании из GUI – диск создается с параметрами по умолчанию, и это не всегда хорошо, потому что создается он с PhysicalSectorSizeBytes = 512 и LogicalSectorSizeBytes = 4096, то есть с разметкой 512е

К чему это приводит? К тому, что гостевая ОС видит этот диск как .. как-то.

И поверх этой разметки делает NTFS, ReFS, EXT3, zFS или ZFS, Btrfs и так далее, со своим размером кластера. Для NTFS - 4KB и далее, в зависимости от размера диска, для Ext3 – 1,2,4 (иногда 8), Ext34 по умолчанию - 4 KiB. И так далее.

Что происходит в цепочке: Блок прилетает на файловую систему гостевой ОС. Гостевая ОС его транслирует в блоки по 512 байт и передает по цепочке ниже. Ниже живут блоки по 4096 байт, и каждый блок надо считать целиком, поменять в нем 512 байт, и записать обратно. Read-Modify-Write в ее лучшем виде.

Но что, если ниже у вас решили создать тома не по 16 терабайт, максимальный размер для NTFS с кластером 4096, а создали сразу на все деньги, все 20 терабайт? Получите блоки по 8 Кб, и не болейте.

Поэтому что надо делать? Смотреть надо, что делаете.

Дальше ситуация будет еще интереснее, потому что Microsoft рекомендует для MS SQL размер кластера в 64к, и такими блоками и будет писать на тот том, где лежит база данных. 64 килобайта, побитые на блоки по 4, побитые на блоки по 512, побитые ..

А, да. Там еще свое кеширование имеется.

Подводя итог

Получаем цепочку:
Уровень приложения внутри VM и размер страниц, которыми оперирует приложение.
Файловая система внутри VM
Логическая разметка виртуального тома
Физическая разметка виртуального тома
Файловая система на гипервизоре
Логическая разметка тома на гипервизоре
Физическая разметка тома на гипервизоре
и, если у вас все это еще и по сети – размеры блоков FC, и файловая система на томах, отданных с системы хранения данных. Сдается мне, не от хорошей жизни и ИИ на одном вендоре систем хранения только недавно ушли от лозунга «640 16 Тб должно хватить всем», а на другом вендоре нужно при создании тома выбирать, под что сделана оптимизация тома – раздел Planning Storage Resources, параграф Application Type, с текстом:
Each preset application type has a default application request size, 32 KB for Oracle_OLAP and SQL_Server_OLAP, and 8 KB for the remaining types.
The application type of a LUN cannot be changed after being set.
Inconsistency between LUN application types and actual I/O models may decrease LUN performance.

В следующих сериях:

Наконец-то цифры. Но это не точно

С чем приходится иметь дело.
Это легаси поверх легаси. Сделано когда-то давно, в 2016-2017 годах, в режиме «надо вчера, берем сначал укропу, потом кошачью жопу». Поэтому, "надо было быстро", был взят MS Hyper-V, а не Broadcom ESXi. И не Nutanix Acropolis, который тоже KVM. Можно было взять Huawei FusionSphere, но не взяли.
Тут кто-то спросит, почему не KVM, не Xen. Хорошо, если не спросит про bhyve. Очевидно, спрашивающий не имеет ни малейшего представления о том, как тупил, и как отставал в развитии ванильный KVM в те годы, особенно под нагрузкой. Да и сейчас не лучше, взять что планировщик, что сбор событий для мониторинга.

Это легаси, и люди, которые это делали, уже уволились. Поэтому всплывает и совершенно очевидное «просто забыли», и не очень очевидное.

Железо и инструменты

На первом месте по оценке дисковой подсистемы, конечно, идут Microsoft DiskSPD и ATTO Disk Benchmark for Windows.
Оба очень неудобны, потому что:

Microsoft DiskSPD хорошо настраивается, воспроизводится, можно немного покодить и сделать хоть пакетное задание, хоть чего, но результаты выгружаются в никак не структурированный текстовый файл. Можно (GPT мне сделал за 5 минут, я бы провозился час) парсер эти логов в csv \ excel, но с xml иметь дело было бы проще.

ATTO Disk Benchmark поддерживает пакетные задания, дает воспроизводимые и вполне совпадающие с DiskSPD результаты, но максимальный размер тестируемого файла – 32 Гб.
На серверах по 1.5 Тб памяти, столько можно закешировать. 1.5 по современным меркам мало, сервера старые. На новых будут брать по 3 Тб, или что-то около того, не помню спецификацию. Я просил 6 Тб, почему-то решили скроить и на этом тоже, или не нашли в продаже модули по 512 Гб не помню. На новых материнских платах по 24 слота памяти. Если ставить модули 256 Гб, те же HPE P07654-B21, можно поставить 6144 Гб.
Очень жаль, что по размерности в сервера не лезут платы расширения типа BC61MRTC Huawei 12 slot memory riser board for huawei fusion server rh5885h v3. PN 03022SPP. Были у коллег такие, очень полезное решение.

Разумеется, есть FIO, и под линуксы я его люблю, не умею, но практикую.

Дальше возникают Nutanix XRay и VDbench \ HCIBench. Первое – оболочка для Fio, второе – имитатор рабочей нагрузки, а мне надо другое, такое как SQLIOSim и, особенно, HammerDB

Проблема со статьями и описаниями.

Проблема в том, что все вокруг забито CEO калом. Может попасться, цитата с одной помойки, причем из копроблога:

В тестирование лучше не лезть, если:

вы хотите с помощью синтетики имитировать поведение сложного приложения (например, базы данных);

Бред написан, хотя откуда там алмазы. Как раз имитация «сложного поведения как получится», это одна из задач нагрузочного тестирования. Вместе с выявлением узких мест по стеку под нагрузкой, как и умение найти, и наблюдать эти места, с нужной частотой и нужной реакцией - To strive, to seek, to find, как говорили древние.

Такого бреда в копроблогах полно. Впрочем, кому-то и GUI над DiskSPD в виде Crystalmark сойдет, а кто-то тестирует скорость путем копирования файла. Это (тестирование копированием) еще не самый плохой вариант, если вы хотите прикинуть скорость копировать.

Прочие проблемные места: Железо на уровне BIOS.
В BIOS современных серверов есть два десятка настроек, отвечающих за скорости, из которых важнейшими для нас являются кино и цирк* «зеленый» режим работы, все эти performance mode, авторазгон, NUMA и C2-C6 state. И, иногда, MWAIT, если вы работаете с виртуализацией. Не стоит забывать и о режиме работы PCIe, особенно если вы используете нормальные современные SSD, включенные через NVME. Как же я скучаю по оптанам, как они работали.
Особенно, если у вас PCIe линий мало, или стоят райзеры во фронт панелях, это придется учитывать.

Прочие проблемные места и выбор нужного железа: power-loss protection.
Просто процитирую: some enterprise drives that should work, is not recognized as devices with power-loss protection, and that means Storage Spaces will only send synchronous writes to the devices, and not use the internal buffer in the device, and that will degrade performance a lot on most drives.

Выбор нужного железа: прошивка.

У Micron выложена «последняя нужная версия прошивки для вашего SSD NVME», и две утилиты – для GUI (убогая) и CLI (топ за свои деньги).

У Kioxa ничего такого не нашел. Утилита есть, узнать про существование случайно взятой KIOXIA CD8P-R Series (2.5-inch) можно, спецификация есть, на странице KIOXIA Ecosystem Member: Vmware (не MS) есть какие-то списки, но чтобы найти, что для Model:KPM6XVUG1T60 есть прошивка 0102, и для KPM6XRUG960G серии PM6 есть прошивка 0102, надо очень постараться.

Список совместимости на Windows Server Catalog сделан плохо, но он хотя бы есть, и в нем:
KIOXIA Corporation, DapuStor Corporation, Huawei Technologies Co., Ltd. (внезапно), Infrasky Solutions – кто это? По маркировке это Intel), primeLine Solutions GmbH, Intel Corporation (с оптанами), Samsung Electronics CO., LTD. (с дисками HPE MZXL515THALA-00H3 MPK76H5Q и похожими), Sandisk Technologies, Inc. , SK Hynix, Western Digital Technologies, Inc.

Размер кластера файловой системы, и выбор между ReFS и NTFS.
ReFS прекрасная система, только работает не то чтобы уж очень экстравагантно, но весьма специфично, тем более для случая с SQL. И есть нюанс, про который ниже.

Режим работы parity для Storage space и storage space direct, плюс кеширование и работа с числом колонок (NumberOfColumns) делают очень, очень больно. Особенно если у вас Allocation Unit Size (FS cluster size) – 4 кб, по умолчанию. А все почему? Потому что я не читал статью Storage Spaces and Slow Parity Performance.

Отступление.

Как же у автора статьи Storage Spaces and Slow Parity Performance все просто. Берем три диска, делаем -Interleave 32KB, делаем 3 колонки, делаем 64Кб NTFS, и готово. Stripe size 96 Кб, data size 64 Кб, 64 Кб записи кладется на два блока данных как 1:1, охапка дров и плов готов.
Вот бы мне перед тестами прочитать про AutoWriteCacheSize и Interleave для New-VirtualDisk.
попробую посчитать:

$ntfs_aus = ($number_of_columns - 1) * $interleave
Но ntfs_aus можно выбрать только из ряда 4,8,16,32,64 – и при этом, поскольку дальше мы идем в виртуализацию с ее vhdx с выбором его выбором LogicalSectorSizeBytes и PhysicalSectorSizeBytes между 512 и 4096, в любом сочетании, и учитывая как с этим Даталайн похлебал двумя руками с Read-Modify-Write.

Для 4 колонок – то есть, 4 дисков, и блока 4к, это будет решением уравнения
4к = (4-1) *х – но 4096 на 3 не очень делится.
Для 6 колонок, соответственно:
4к = (6-1) *х, но 4096 и на 5 не очень делится.
Остается что-то типа
64к = (5-1) *х, и тогда получаем 64/4 – interleave по 16к, NTFS 64k.
Но, оперируя на гипервизоре с NTFS 64k с дисками LogicalSectorSizeBytes \ PhysicalSectorSizeBytes 4096, получим блоки по 4к на диски с разметкой 64к, и привет Read-Modify-Write. Это что, получается надо ставить 5 колонок, и interleave в 1к ? Выглядит дико, как будет работать, если будет работать – не понятно. Про бекапы в таком случае лучше не забывать.

В сегодня лет до меня в очередной раз дошел термин full stripe, что еще раз говорит не только о пользе чтения,  но и пользе записи написания текста.

Почему эти блоки важны?

Потому что MS SQL пишет страницы данных – и это 64 Кб. Windows пишет блоками по, кажется, 4 кб. Linux – 8 кб, Postgre вроде тоже 8, но MySQL - 16 KB.
ESXi – 32 Кб (если вы зачем-то отдали диски через iSCSI или NFS).
Внизу все равно физические диски – или очень старые с их 512 \ 512e, или новые, 4k. Причем еще надо посмотреть, что там для SAS SSD и SAS NVME, какая там разметка (если этот термин вообще применим к SSD).

Все грустно у пакетишки.

И, наконец, Mirror-accelerated parity, MAP

Чудовищно недооцененный режим работы для storage space и S2D , storage space direct

Идея простая, пишем данные на зеркало, потом в фоновом режиме переносим. Проблема в том, что он плохо документирован, настраивается только из poweshell, дефолтные настройки неудобные и кривые, и в целом командная строка и пресет к нему ориентирован на то, чтобы иметь два дисковых пула, HDD и SSD. Этакий tiering, хотя это он и есть. Сейчас кругом SAS SSD и NVME SSD, но никаких изменений не внесено. Есть и есть, но не развивается.

Но при этом в одной статье пишут про StorageBusCache для MAP, а в другой -

Storage Bus Layer (SBL) cache isn't supported in single server configuration. All flat single storage type configurations (for example all-NVMe or all-SSD) is the only supported storage type for single server.

Вот с этим грузом знаний мы постараемся долететь до второй части.

Ссылки

Use DISKSPD to test workload storage performance

Github Microsoft diskspd

GitHub VMFleet

Next Generation Performance Tools: VMFleet 2.0

VMFleet 2.0 - Quick Start Guide

ATTO Disk Benchmark Windows

ETCD Performance and Optimization. Оригинал от Matteo Olivi and Mike Spreitzer утерян где-то в IBM, но остался в виде статьи Storage speed suitable for etcd? Let's ask fio в инернетах.
Оригинал был тут https://www.ibm.com/blogs/bluemix/2019/04/using-fio-to-tell-whether-your-storage-is-fast-enough-for-etcd/. Есть перевод от Фланта - Как с fio проверить диски на достаточную производительность для etcd

index : fio

fio - Flexible I/O tester rev. 3.38

Performance benchmarking with Fio on Nutanix

Тестирование производительности гиперконвергентных систем и SDS своими руками.
Облако на Microsoft Hyper-V, часть 3: хранилище Storage Spaces в части Read-Modify-Write
Ссылок нет, потому что не хватало еще ссылаться на оптимизационные помойки

Enterprise Storage Benchmarking Guide и его перевод - Руководство по синтетическому бенчмаркингу корпоративных систем хранения данных и лучшие практики. Часть 1. Общая теория, методы и подходы

Тестирование СХД

Use the SQLIOSim utility to simulate SQL Server activity on a disk subsystem

Use the SQLIOSim utility to simulate SQL Server activity on a disk subsystem on Linux

SQL Server Distributed Replay overview - Distributed Replay deprecation in SQL Server 2022

SqlQueryStress

SQL Hammer (everything is a nail) . Примечание от рецензента: из РФ ссылка не работает,  поэтому начинать лучше тут, github  - shutdownhook.

HammerDB

Database files and filegroups

Storage Spaces and Slow Parity Performance

New-VirtualDisk

Mirror-accelerated parity

Storage Spaces Direct Mirroring vs MRV (Parity) performance

Don't do it: consumer-grade solid-state drives (SSD) in Storage Spaces Direct

Storage Spaces series:
Part 1 Storage Spaces – Current / Old Setup
Part 2 Storage Spaces parity in Server 2025
Part 3 Storage Spaces 2025 Mirror-accelerated Parity and Storage Bus Cache

Kioxia SSD Utility Management Software

Choose drives for Azure Stack HCI and Windows Server clusters

Windows Server Catalog (HCL)

Примечание от рецензента: не раскрыта тема LRC (local reconstruction codes) и Parallel Failure Rebuild
LRC Erasure Coding in Windows Storage Spaces (2013 Storage Developer Conference.) Наконец раскрывают тему Рида, Соломона и Галуа, на странице 21.  

Maximally Recoverable Local Reconstruction Codes или MS research.

* важнейшими для нас являются кино и цирк

Перефраз цитаты Луначарского:
Владимир Ильич несколько раз мне указывал на то, что из всех областей искусств наибольшее государственное значение в настоящий момент может и должно иметь кино