DmitriitheFals

Ну и как, два года прошло? Освоили ?

Теперь же, как пример успешного успеха, подается совместное предприятие с Планаром на или производство, или разработку, или локализацию, или 250, или 300, или 350 нм степперов, описанное в прессе в стиле «Будет вообще отлично, а как и когда – не ваше дело, это лекция для колхозников».

Можно посмотреть и на интересные факты, например, из чего сделан ускоритель нейронных сетей Mustang-F100-A10 от Ниешанц-автоматика

Или спросить, куда пропал FPGA при переходе от Континент 3.9 IPC-3000FC к линейке Континент 4.

Проект вроде есть, одним из проектов, над которым работает наш отдел "Аппаратного обеспечения Континент", является модуль (плата расширения) криптоускорителя на базе ПЛИС Xilinx Kintex Ultrascale+.  – но на него никого не ищут, а на схожую вакансию в Москве  - искали кого-то на зарплату курьера (Инженер-разработчик ПЛИС (RTL/FPGA) от 173 000 ₽ до вычета налогов) .
Kintex™ 7 FPGA – c 14 февраля 2022 называется AMD Kintex. Техпроцесс - 28нм.

Usergate схож  - Обещали год назад выкатить вот вот FPGA, yо вот беда – в блоге UG на хабре предпоследняя статья 21 авг 2023 в 10:34, последняя -  9 авг в 12:00 .
1 статья в год. И все.

Можно сравнить заявленные характеристики Континентов и УГ с простым Fortinet FortiGate 6500F:
IPS Throughput 2  170 Gbp
NGFW Throughput 2, 4 150 Gbps
Threat Protection Throughput 2, 5  100 Gbps

Не говоря о чем-то сложнее, типа Palo Alto PA-7050

Тесты - РЕЗУЛЬТАТЫ ТЕСТИРОВАНИЯ РЕШЕНИЙ КЛАССА NGFW/UTM (v1.0 ОТ 19.02.24)

В чем проблема с FPGA и нанометрами, спросите вы, ведь у вашего дедушки был тот самый Волк, ловящий яйца (Электроника 24-01 «Ну, погоди!») – то есть Nintendo EG-26 Egg серии Game & Watch.
Да нет никакой проблемы, все разобрано еще 2 года назад.

Точно так же нет никаких проблем ни у гражданских связистов, ни у военных «вообще», а в докладе Royal United Services Institute (RUSI) (Silicon Lifeline: Western Electronics at the Heart of Russia's War Machine / Кремниевый спасательный круг: западная электроника в сердце российской военной машины) – клевета, и вот это все.

Это всё, что я могу сказать о войне во Вьетнаме и про приятные мечты о российском железе.

Часть 2. Цена перехода в первом приближении

В первом приближении может показаться, что переход на импортозамещенный сервер – это просто и легко. Шварценеггер не может, а я смогу, и это действительно так, если у вас 1 (один) сервер. И даже 2(два). И даже по 2 (два) процессора в каждом. На такой сервер даже можно поставить Linux с KVM.И он даже будет работать.

Чему там не работать?
Процессор Intel Xeon, материнская плата с разводкой дорожек (и слоев) от китайского вендора 2-3 эшелона, на которую в РФ кое-как выполнили поверхностный монтаж китайских же силовых элементов, на китайском станке, китайским припоем. Сделано у нас(С).
Картон для коробок точно из РФ. Насчет картоноделательной машины и красок я уже не уверен.
Корова, конечно, государственная китайская, а все что она дает – молоко там, телят – уже наше (С).
Память – на выбор из 3, Micron, Samsung и Hynix.
SSD – на выбор из InnoGrit, Marvell, Maxio, Phison, Silicon Motion (SM), SandForce, Samsung.
IPMI на выбор ASPEED AST2500 и AST2600 (2700 и 2750 я пока не видел).
Все это отлично, пока серверов 1-2. Как только требуется малейшая автоматизация, даже не ironic, хотя бы redfish – ой, как там все отвратительно. Как хорошо сохраняются настройки BIOS и boot selector при обновлении, вы не узнаете, пока не начнете с этим сталкиваться.

Linux с KVM тоже работает, и работает очень неплохо, пока не начинаешь уточнять нюансы. Например, что и почему написано в статье The Linux Scheduler: A Decade of Wasted Cores, или где посмотреть что-то аналогичное по содержанию сессии VMware Explore US 2023 Breakout Session - CEIT1319LVR Extreme Performance Series: Performance Best Practices by Mark Achtemichuk, Valentin Bondzio, видео CEIT1319LVR, или Extreme Performance Series 2022: SAP HANA 8-Socket Performance или Extreme Performance Series 2024: Enabling and Optimizing GenAI Workloads with LLMs ?

Но все работает. В демо стенде на 3 сервера. Без нагрузки и испытаний. Почему в демо только трисервера, спросите вы? Потому что к импортозамещенной внешней SAS полке больше серверов не подключить, а купить российскую СХД в демо стенд – на СХД денег нет, на Broadcom Brocade G720 денег нет тем более, как и Mellanox MSN2410-CB2FO (48-port 25GbE + 8-port 100GbE), а их для стенда надо два, причем и тех и других – часть бизнеса в РФ очень консервативна и предпочитает FCP. И, глядя на некоторых как-бы-сетевых-инженеров, я отлично понимаю почему.

Часть 3. Качество предлагаемого продукта

Как только мы начинаем обсуждать комплект  поставки:
- железо,
- плюс поддержка железа,
- плюс гарантия на железо (с сроком поставки и штрафами - SLA,
- плюс возможности автоматизации настройки железа»,
- плюс качество работы любого импортозамещенного форка Openstack под маркой «это вовсе и не форк ветки 3-5 летней давности»,
плюс расчет стоимости железа под Ceph или (кстати, неплохой) vitastor, то выясняется, что людей, готовых с этим всем работать – не так много на рынке.
Точнее, готовых получать много денег полно, но могущих что-то, кроме как плакать «не работает» – очень мало. Потому что очень многих готовых, и могущих работать – забрали в Европу, а оставшихся «готовых» просто мало. Работать с этими комплексами, еще и в малых объемах, им совсем не интересно.
При этом, внутренние решения яндекса и вк – не тиражируемы, то есть «готовой коробки как Windows + S2d» или “VSAN ready nodes” или «Nutanix» - просто нет. Все импортозаместительные базовые продукты (ОС +виртуализация) вообще не готовы к эксплуатации в проде даже с требованиями 12*6, не говоря уже про 24*7*365.,

Достигнутый уровень - 8*5*300 - когда сервер может ночь лежать. Конфигурацию библиотек при этом надо зацементировать, иначе получить из кластера тыкву можно одним неловким upgrade –y. Забудьте про обновления.
И это все как-то работает до того момента, когда ваша импортозамещенная имитационная безопасность даже не предлагает, а требует поставить продукт, импортозамещенный, антивирусосодерщащий, не идентичный натуральному, внутрь гипервизора. Как работает этот продукт, не знает даже поддержка разработчика, но как влияет на работу, видно по тому, что, по оценкам экспертов, уровень задымленности и средняя температура в офисе после установки повышаются на 4%.

Часть 4. Цена перехода во втором приближении

Железо. Обходится на 30% дороже. На 20%, потому что производство должно окупиться, и на 10%, потому что на каждые 5..20 купленных серверов нужно сразу покупать еще один - на свой склад в  резерв. Это не говоря про СХД. И не говоря про SDS. SDS просто нет таких, «чтобы просто работали, а не вот это все». Таких, чтобы реально работали, и были готовы показать ПМИ и багтрекер.

Люди, готовые поддерживать и настраивать эти конструкции «чтоб работало нормально», а не «запустилось и ок» - дорогие, капризные, и .. и.

И в ходе недавних интервью (хотели мы нанять пару человек внутри РФ, чтобы возможно, кого-то потом забрать к себе на запад (или на восток)), выяснился неприятный сюрприз – очень много людей, не понимающих фундаментальных вещей, но пытающихся подменить их верой и шаблонами. Это давно не новость - российское ИТ комьюнити давно переродилось из комьюнити в какую-то смесь цеховой структуры конца 19 века и клуба майнеров. Во всех чатах «российской федерации майнинга» плачут раз в месяц, дескать «я думал, тут будет про майнинг, а вы мне картинки аквариуса на ракете показываете».  Like enough; you wouldn't look to find a bishop here, I reckon, говорил в таких случаях одноногий Джон Сильвер, он же окорок.

Поиск людей крайне осложнен тем, что все больше людей в ИТ в РФ может пересказать стандартное мнение (windows плохой, linux хороший), но, как только начинается разговор чуть серьезнее «перезагрузите компьютер», когда надо уже залезать в связки tcpdump + strace, или действовать в гибридной инфраструктуре – все, сушите весла сэр. Если попросить такого кандидата-энтузиаста посчитать, во сколько обойдется внедрение CEPH на хотя бы 100 Тб полезной емкости с доступностью N+2, и хотя бы 150.000 IOPS 4к блоком на запись, то записи такого торможения не публиковали с полета Луны-25 от 19 августа 2023. Почему 150к, спросите вы? Столько дает младшая СХД одной фирмы - и по калькулятору, и по факту, без дедупа и коррекции.

Если же нужен человек, способный залезть в исходники KVM, и посмотреть что там, и при этом рассказать, что там в кролике, а не выполнить

git clone https://git.openstack.org/openstack-dev/devstack && ./stack.sh

то их нет даже в типа-разработчиках-дистрибутивов. В паре интеграторов были.

Часть 5. Российские облака

Тут могло быть видео «это просто праздник какой-то» с Владимиром Этушем, но, кажется, его нет на рутубе.

В российских облаках прекрасно, наверное, все. Куда не ткни – везде больно. Лежать неделю в год, то есть иметь не заявленные 9.99, а фактические 98% - это еще очень хорошо. Лимиты на IOPS – везде, функционала «выжать много IO в российском облаке, кроме как фактически выдать заказчику отдельный сервер с NVME» - нет.
Но NVME raid – это не то же самое, что даже VROC. При том, что VROC по качеству - это почти самое отвратительное, что я видел, сразу после Базиса, и чуть лучше Broadcom VMware до выхода update 3 и Windows до выхода сервис пак 3.
Storage vmotion между типами дисков урезан настолько, что даже о перемещении десятков Тб нагруженной базы, речь почти не идет. Обновления флейворов нет, и не предвидится. Я, конечно, и в DSC могу, и ансибл могу, руками могу, но как так то?

Часть 6. Работнику это все зачем? Да и менеджменту тоже

И вот мы приходим к самому мягкому.

В русскоязычной части интернетов очень любят говорить про окраинный капитализм, мировой коммунизм, и прекрасную советскую власть с самым лучшим мороженым. Кто-то даже может процитировать классика

«Капитал, — говорит „Quarterly Review“, — избегает шума и брани и отличается боязливой натурой». Это правда, но это ещё не вся правда. Капитал боится отсутствия прибыли или слишком маленькой прибыли, как природа боится пустоты. Но раз имеется в наличии достаточная прибыль, капитал становится смелым. Обеспечьте 10 процентов, и капитал согласен на всякое применение, при 20 процентах он становится оживлённым, при 50 процентах положительно готов сломать себе голову, при 100 процентах он попирает все человеческие законы, при 300 процентах нет такого преступления, на которое он не рискнул бы, хотя бы под страхом виселицы. Контрабанда и торговля рабами убедительно доказывают вышесказанное
Томас Джозеф Даннинг

Про торговлю рабами под страхом виселицы надо вспомнить (или узнать), что:

Асье́нто (исп. reale asiento, букв. «королевское согласие») — предоставлявшееся испанской монархией частным лицам и компаниям с 1543 по 1834 гг. монопольное право на ввоз в испанские колонии рабов-негров из Африки.  По итогам Войны за испанское наследство Утрехтский мир (1713) предоставил право асьенто Великобритании на 30 лет. Первый министр Роберт Харли передал монополию на торговлю с испанскими колониями частной Компании Южных морей, которая в обмен приняла на себя непомерно выросший за годы войны государственный долг.

в 1841 году Конвенция великих европейских государств признала работорговлю морским разбоем и дала крейсерам право осмотра кораблей, подозревавшихся в совершении такой торговли, невзирая на флаг.

Что означало повешение для команды перехваченного контрабандного перевозчика рабов где-то с 1715 до 1841.
Но перехватывали примерно 3 (три) % потока.

Однако, все эти принципы работают только в случае, когда владелец предприятия сам им руководит, что характерно или для малых предприятий, или до того, как в фирму приходит большой бизнес, и.

И начинается Кафка. Только не грефневая, а та, которая Замок.

Линейный персонал

Линейному персоналу все это импортозамещение что есть, что нет. Все равно будет куплен самый дешевый вариант железа, и только в том минимальном количестве, которое скажут «купить». Дорогое оно, дороже привычной Супермикры. На это железо проще поставить пиратский Windows, потому что купить Windows легально в РФ почти нельзя, но пока за это не наказывают. Linux – сложно, остается развернуть какую-то обертску над KVM-QEMU, тот же Proxmox Virtual Environment, или даже devstack . Неплохие бесплатные решения, даже есть какое-то резервное копирование из коробки. Покупать без нужды тот же Openstack, только старый, с русификацией и грамоткой? Спасибо, но денег нет.

При этом, внедряемые решения на Proxmox или Openstack понятны и распространены. Это значит, что при смене работы и HR, и нанимающий менеджер увидят в резюме кандидата знакомые им слова  KVM – Proxmox – Openstack. Кандидат с опытом – это всегда хорошо. Но любой импортозамещающий продукт при этом будет рынку не очень знаком – их слишком много, чтобы запоминать. На слуху только Брест (потому что Астра это Дебиан, хоть и старый, и внутри открыто пишут что OpenNebula), и Альт – эти сами по себе с их Альт Сервер Виртуализации, то есть Proxmox.

Работа с импортозамещением не дает линейно-инженерному персоналу навыков, полезных на рынке труда РФ с точки зрения оклада и квалификации. Docker дает. K8s дает. KVM дает. Proxmox, openstack, openshift, opennebula – уже под вопросом. Прочее импортозамещение – ничего не дает, подменяя знание «как это работает» - ритуалом. Точно так же, как любая работа руками, без средств автоматизации. Redfish хорошо, только у вас точно на него лицензии куплены ? Хотя бы Intel® Data Center Manager (Intel® DCM) или хотя бы Supermicro Update Manager (SUM) развернуты ? У импортозамещения точно есть аналоги? Точно точно?

Эффективные совы среднего звена

Самое активное противодействие внедрению импортозамещения идет выше уровня линейного персонала. Внедрить любое импортозамещение так, чтобы оно работало – крайне сложно. Возможно, но долго, дорого, и очень человеко-зависимо. ВК может. Яндекс может. Остальные могут поговорить и показать слайды, про прекрасное будущее потом, после оплаты.
При этом официально декларируется, что незаменимых у нас нет, и быть не должно. С точки зрения управления, иметь резерв по функциям людей – нужно, но это постоянно перерождается в крайности. Например, «типа незаменимому сотруднику» надо постоянно показывать, что он на самом деле никто, потому что если он продолжит демонстрировать отсутствия чинопочитания и преданности на уровне собаки, то коллектив может увидеть, что так можно.

Тушканчики не могут собирать орехи, но можно поставить себе и им в КПИ, что они научатся. Бельчонок не нужен.

Процесс внедрения требует людей, которые что-то могут. Но такие люди постоянно демонстрируют полнейшее отсутствие чинопочитания. Практически, бунтовщики, и гораздо эффективнее соврать, что чего-то внедрено и проведено (хотя на самом деле – нет), чем с такими людьми работать. Эффективные совы своими решениями по сохранению своего положения могут сорвать что угодно.

Большие филины

Для многих покажется странным, но современному менеджменту в РФ первична демонстрация (от менеджмента - вверх, к ЛПР, людям принимающим решения) и лояльности, и энтузиазма в исполнении приходящих сверху решений. При этом успешность определяется соблюдением баланса между двумя крайностями. Решение сверху при этом не обсуждается, не подвергается сомнению, но при этом допускается и не исполнение решения сверху при наличии достаточного и приемлемого сегодня оправдания. У уж тем более, критика решения не допускается, но можно и свалить вину на подчиненных (не всегда, потому что нет плохих подчиненных – кто-то просто не умеет управлять), и сказать что все готово, просто немного опаздываем, и просто отчитаться что все готово, когда на самом деле не готово ничего. Пока вверенная фирма и система находится в неких допустимых рамках состояния, то тактические решения вида «скроить сейчас, а с проблемами будут разбираться те, кто будет после меня» - повсеместная практика.

Если посмотреть на состояние внедрения импортозамещения при таком подходе, то окажется, что для отчетности можно делать что угодно, если это не видно «сразу».

И про сайты знакомств

Самое интересное в этом подходе, применяемом сверху донизу, так это то, что он отлично виден не только в ИТ, но и в судьбе сайтов знакомств. До сами знаете когда в РФ не было конкурентов Тиндеру и с неким отставанием Badoo. Мамба, лавпланет и прочая старая система была не эффективна уже тогда, но как-то работала. Pure был на любителя. 

2022 год, Коммерсант:

“Ъ” опросил популярные сервисы знакомств об итогах их работы в 2022 году. В «Мамбе» рассказали, что выручка по итогам прошлого года сократилась на 10%, однако чистая прибыль удвоилась. Согласно данным Kartoteka.ru, в 2021 году доходы АО «Мамба» составили 1 млрд руб., чистая прибыль — 24 млн руб.

2023, ТЖ

В 2023 году выручка компании увеличилась почти вдвое и составила 1,61 млрд рублей, а прибыль выросла в четыре раза — до 450 млн рублей.

Но при этом:

В среднем рост российских игроков на рынке дейтинговых сервисов по скачиваниям год к году в среднем составил 20−30%. В настоящее время их ежемесячная аудитория составляет около 7 млн человек, еще около 3 млн пользуются сервисами на десктопах и мобильных версиях сайтов (без установки приложений). В деньгах рынок просел почти в три раза с февраля 2022 года по июль 2023 года — со $417 тыс до $130 тыс. еженедельно.

То есть, при росте доходов российских сервисов и росте их аудитории – совокупный доход и совокупная аудитория сервисов падают. Дайвинчик тоже уже сдулся, по слухам.

То есть:
В ИТ: Импортозамещением «массово» действительно заниматься некому, и денег нет. И так у всех ок – российские «заместители» отчитываются про рост доходов. Реклама на ракете крутится – бабки мутятся.
В дейтинге: Нет смысла серьезно замещать сервис – доходы и так растут, а крики некоторых безденежных донов, что «подставь название любого продукта» совсем не Тиндер, криками и останутся – денег у них все равно нет. Реклама крутится – бабки мутятся.

Идеальная ситуация со всех сторон – одним не очень надо, другим нечего предложить, и есть огромное поле для разговоров и маневрирования. Главное – белое не надевать, и новое платье короля не обсуждать слишком детально.

Примерно в то же время, а точнее в Microsoft Windows Server 2012 появилась поддержка динамических рейдов в виде Storage Spaces, плюс появился SMB Direct и SMB Multichannel, к R2 Добавились local reconstruction codes, в 2016 Server появилась новая функция – S2D, storage space direct, но это уже старая история, а там и ReFS подоспел, с своей защитой данных от почти чего угодно, кроме своей дедупликации и своего же патча на новый год (January 2022 Patch Tuesday KB5009624 for Windows Server 2012 R2, KB5009557 for Windows Server 2019, and KB5009555 for Windows Server 2022.)

Все бы было хорошо и там, и тут, НО.

Но. S2D поддерживается только в редакции Datacenter, а это не просто дорого, а очень дорого. На то, чтобы закрыть этими лицензиями небольшой кластер серверов на 20 – уйдет столько денег, что проще купить классическую СХД.

Но. Если у вас в кластере работает хотя бы 1 (одна) виртуальная машина с Windows Server, вы все равно обязаны лицензировать все ядра всех узлов кластера лицензиями Windows Server. Тут уже надо считать, что выгоднее – попробовать закрыть все узлы лицензиями STD, с их лимитом в 2 виртуальные машины на лицензию, или лицензировать Datacenter.

Но. При этом все равно можно НЕ иметь нормальной дедупликации и компрессии (DECO) на Datacenter, НО иметь вечные проблемы со скоростью, если ваша система настроена криворукими интеграторами или таким же своим же персоналом, набранным за 5 копеек, и который тестирует скорость СХД путем копирования файла. Или путем запуска Crystal Disk mark с настройками по умолчанию.

Попутно получая проблемы с резервным копированием, если вы DECO включили, а руководство по резервному копированию с DECO Windows Server не прочитали.

Все очень просто: если экономим на кадрах, то покупаем классический выделенный СХД, в нем в разы меньше настроек и ручек, которые может крутить пользователь в GUI. Масштабируем емкость покупкой новых полок. Скорость так просто не масштабируется, как у вас стоит 2 или 4 или 8 контроллеров, так они и стоят (до 16 контроллеров, если вам очень надо).

Это не уменьшает проблем с обслуживанием, на классической СХД тоже очень желательно проводить обновление и прошивки СХД, и прошивки дисков. На некоторых СХД раньше (10-15 лет назад) обновление прошивки вполне могло привести к потере разметки и потере данных (ds4800). Но там порой и замена дисков вела к факапам, как на ds3500. Но и наоборот, в IBM была версия прошивки, которая работала 1.5, чтоли, года. Но и не прошиваться нельзя – как недавно вышло с дисками HPE и не только, которые работали ровно 40.000 часов (Dell & HPE Issue Updates to Fix 40K Hour Runtime Flaw, update to SSD Firmware Version HPD8 will result in drive failure and data loss at 32,768 hours of operation, FN70545 - SSD Will Fail at 40,000 Power-On Hours и так далее).
С как-бы всеядными MSA (старых версий) можно было сделать самому себе больно иначе – купить саму СХД, а диски туда поставить подешевле, даже SATA с их надежностью (Latent Sector Error (LSE) rate) в «1/10(-16)», и получить проблемы при ребилде даже в Raid 6. Прошиваться страшно, не прошиваться тоже страшно, зато использовать левые диски не страшно.

Можно собрать комбо: дешевые кадры, дешевые сервера, дешевые диски – и иметь проблемы с доступностью, скоростью, отказоустойчивостью, полной потерей данных, и прочим.
Выбор цены решения – это выбор бизнеса, а ваш выбор как работника – работать с кроиловом, и потом нести ответственность при попадалове, которое вы же и выбрали, работая с кроиловом, за тот же мелкий прайс.

Почему Windows 2025 и storage space? Ведь есть же ..

Есть. На рынке РФ, кроме storage space и S2D, есть:

VMware by Broadcom vSAN. Есть специалисты, нет возможности купить напрямую нормальную подписку.
Высокие требования к оборудованию – нужны не бытовые дешевые SSD.
Высокие требования к людям - очень нужны умеющие и любящие читать люди.
Нужно планирование перед внедрением.
Нужна вменяемая сетевая команда, которая сможет настроить хотя бы DCB + RDMA и не впадает в священный ужас при виде Mellanox.

Nutanix. Давно ушел и с российского рынка, да и на мировом как-то скатывается в нишевое решение. Ограничения те же, что для vSAN.

Ceph. Есть и такие решения, но. Для его промышленной эксплуатации, а не в варианте «оно сломалось и не чинится, что же делать» нужны отдельные люди. Таких людей в РФ человек.. ну 20 - 40. Один из них – автор статьи Ceph. Анатомия катастрофы. Статью советую прочитать.
И это решение, если вы хотите хоть какой-то скорости, начинается с фразы «если у вас еще нет 200G коммутатора и карт, то вначале хватит и 100G, по два 100G порта на хост». Демо-стенд можно запустить хоть на 1G. Работать даже на 10G будет очень болезненно. Если еще на стадии демо начать задавать неудобные вопросы про RDMA и Active-active, то будет еще больнее. Почти так же больно, как спрашивать, можно ли использовать сервера, на которых развернут Ceph, под Openstack. И как его, Ceph, бекапить на ленты, как обеспечить аналог Veeam Direct SAN Access или Commvault Direct-Attached Shared Libraries или аналог Metro / Replication / Stretched Clusters

Остальные решения, особенно импортозамещающие, не стоят и рассмотрения. Проблема с ними всеми одна и та же – их разработчики имеют очень ограниченное представление о том, как работает ядро, как с ядром и драйверами взаимодействует виртуализация, что может быть намешано в сетевом стеке и как обрабатывать задержки в реальной среде. Наиболее эпичное падение у коллег в РФ было совсем недавно, когда пустой демо-стенд упал сам по себе. Не помню, с разносом данных в не восстановимую кашу или просто умер совсем, вплоть до переустановки всего кластера. И это я не вспоминаю о нагрузке при блоках разного размера, проблемах мониторинга, скорости работы Redundant Array of Independent Nodes (RAIN) и проблемах со скоростью при использовании четности (parity), а точнее при возникновении write amplification. И затем посмотрим, у какого из этих решений есть мониторинг, а у какого – система резервного копирования не на уровне приложений внутри виртуализации.

Альтернатива - иметь сложные интимные отношения с drbd, Patroni (PostgreSQL + Patroni + etcd + HAProxy), Stolon, Corosync, PaceMaker, BDR, bucardo, Watchdog – и постоянный риск split-brain. Рядом еще плавает RAFT и CAP theorem. Так можно докатиться до знаний про global transaction identifier (GTID) и Commit Sequence Number (CSN).

Все упирается в проблему человеков.
Или у вас большая организация с базой знаний, обучением, передачей опыта, и как-то это будет работать.
Или вы рано или поздно получите черный ящик, потому что настраивавший это человек (1 производственная штатная единица) уволился, и как это работает  - никто не знает.

Если вам безразличен вопрос доступности и целостности ваших данных, то ничего страшного не произойдет.

Изначальные проблемы Storage space без direct

Это дорогое решение, необходимо считать что почем, в том числе лицензии.

Erasure coding (EC) в GUI в нем (и в S2D) был в 2016 и 2019 сервере реализован на уровне «ну как смогли». Из GUI можно было настроить Mirror и Raid-5 (single parity), настройка Raid-6 (dual parity) требовала, почему-то, толи 7 толи 8 дисков, не понятно зачем, и давала какую-то безумную физическую деградацию, раз в 10 кажется при настройках «всего по умолчанию», а про вынос журнала на отдельный диск никто не пишет, и публично вроде не тестировал.

Схема развертывания

Поскольку мне только посмотреть, то я попробую посмотреть, что будет на домашнем ноутбуке. SSD + Windows 11 + VMware Workstation Pro 17, недавно ставшая бесплатной для домашних пользователей.

Схема тестирования

Для тестов будет выделен отдельный (конечно виртуальный) диск – сначала на 40 Гб, чтобы посмотреть на то, сколько вытянет на нем Atto benchmark, по сравнению с таким же тестом, но без виртуализации.

Там же попробую DiskSPD – с настройками:

Образ для тестов – 10 Гб, тестирование:

1 файл, 1блок, 1 поток, 100% чтения, 50/50, 0/100 % записи. Продолжительность – 30 секунд прогрев – 10 секунд. Блок данных 4 к и 64 к. Форматирование раздела .. хм. Тоже надо посмотреть, конечно, write amplification это не игрушка.

1 файл, 1,2,4, 8 потоков и очереди 4, 8, 16 и 32.

В вариантах Mirror, parity GUI.

Объем, конечно, большой выходит, но, надеюсь, автоматизация мне немного поможет, не вручную же это каждый раз прописывать.

Или сокращу объем проверок, если надоест.

Получу представление, сколько может в теории дать мой ноутбук и сколько тратится на виртуализацию второго типа.

Затем попробую собрать в storage space 4, 6 и 8 дисков – через GUI, и посмотрю, что и как.

Моя глобальная цель – не столько посмотреть на падение скорости, сколько

1) посмотреть на варианты настроек Erasure coding (EC) в GUI и в CLI (это я в виртуальной среде сделать могу)

2) посмотреть, влияет ли, и если влияет то как, размер блока и четность.

Сразу видны подводные камни – у меня виртуализация 2 типа, поэтому приземляемый в файл в реальной ОС блок данных – будет работать в итоге с фактической разметкой NTFS, можно получить порядочный штраф.
В рабочей среде такого, конечно, не будет, но размер блока важен и при создании LUN на классической СХД. Там хотя бы пресеты есть, это иногда помогает.

Сначала посмотрим, что там с диском

Get-WmiObject -Class Win32_Volume | Select-Object Label, BlockSize | Format-Table –AutoSize

Или более классическим путем –

fsutil fsinfo ntfsinfo c:

Ничего интересного,NTFS BlockSize – 4096 (Bytes Per Sector  : 512, Bytes Per Physical Sector :  4096, Bytes Per Cluster :  4096  (4 KB), Bytes Per FileRecord Segment  :  1024

С глубиной очереди 4, Atto дает удручающие для конца 2024 года 100 мб/сек на запись и 170 мб/сек на чтение, 25к IOPS /40k IOPS,  разгоняясь до 750/1300 мб/сек для блока 64 кб (и падая до 10 к/ 20к IOPS). Старый SATA SSD, откуда там чудеса?

Поставлю очередь 8, а тестирование ограничу размерами от 4 до 64. Стало ли лучше? Стало. 25к IOPS на запись, и 55 к IOPS на чтение для 4к блока, 16 и 20 к к IOPS для 64 к блока.

DiskSPD

Где брать: https://github.com/microsoft/diskspd/releases/latest/download/DiskSpd.zip

Что читать: https://github.com/microsoft/diskspd

Что еще читать: https://learn.microsoft.com/ru-ru/azure-stack/hci/manage/diskspd-overview

Качаем DiskSPD с github, распаковываем , кладем в C:\Diskspd\amd64 , делаем папку test, делаем первый тест

.\diskspd -t2 -o32 -b4k -r4k -w0 -d120 -Sh -D -L -c5G C:\Diskspd\test\test0001.dat > test0000.txt

И идем читать инструкцию.

-t2: указывает количество потоков для каждого целевого или тестового файла.

-o32: указывает количество невыполненных запросов ввода-вывода для каждого целевого объекта на поток

b4K: указывает размер блока в байтах, КиБ, МиБ или ГиБ. В этом случае размер блока 4K

-r4K: указывает на случайный ввод-вывод

-w0: указывает процент операций, которые являются запросами на запись (-w0 эквивалентно 100 % чтения)

-d120: указывает продолжительность теста

-Suw: отключает кэширование программной и аппаратной записи

И получаем (бадабумс) -  310.39  MiB/s  , 80к  I/O per s - 55000 на первый тред и 25000 на второй (округленно).

На этом месте пока прервусь, надо подумать как сделать удобнее.

Или: Яндекс Облако - За 2021 год выручка Yandex Cloud выросла в 3 раза —
до 2,9 млрд рублей.
при курсе ЦБ 72.1464 = 40.2 млн долларов.

Плюсы и минусы технической части облаков

Плюсы и минусы большой тройки облаков – AWS, Azure, GGP - много раз обсуждались, и нет смысла развернуто повторять их еще раз.
В плюсах и быстрое масштабирование, и резервирование хоть в локальном, хоть в гео-варианте, и 2-3-6 копий данных, и сервисы, которых вне некоторых облаков просто нет – начиная от Azure Accelerated Networking (AccelNet) и заканчивая давно известным Power BI.
В минусах – риски неправильного авто масштабирования, или простоя на 4..7 дней – как недавно в МТС , хотя  МТС , и не они одни, возможно, просто не рассказывают про потери. Или полного удаления данных – как в Яндексе и недавнее удаление UniSuper в GCP

Стадии перехода инфраструктуры
Я не могу сутками рассказывать правду о том, что бизнес в моём родном краю считается успешным, когда начинается у чужого гаража, при свете найденного фонарика

Перевод инфраструктуры от 3 системных блоков под столом до хотя бы аренды стойки в ЦОД достаточно дорог. Дорог во всем – нужно обосновать покупку оборудования хотя бы по схеме N+1, дисков по схеме N+2, нужно два коммутатора, два маршрутизатора, возможно даже вместо коммутатора придется купить свитч*, а вместо маршрутизатора - роутер, потом купить канал до офиса, и оплатить интегратора на запуск. Потому что "свои проверенные админы" не могут запустить что-то сложнее 1с. Нанять людей, готовые это обслуживать, и ездить в ЦОД. Причем, купить оборудование «абы какое» уже не подойдет.
Конечно, можно купить веток, глины и желудей,  собрать программно-определяемое решение на абы чем, потом набрать альтернативно одаренных, которые будут это эксплуатировать как умеют, и которые не умеют и не хотят читать даже на русском то, что им пишут, а делают все по своему. Это можно.
Это не запрещено.
Читатели одного чата в телеграмме (точнее, одного из немногих, посвященных не главному криптану всего Рунета, и не поисками виноватого в том, что модераторы удалили элитный флуд - кто лучше, тот кто майнит на проде по любви к деньгами, или тот кто майнит для борьбы с капитализмом) наблюдали вышеописанную драму, растянувшуюся на 10 дней. При этом продукт (решение) пытался выжить, как мог и как умел, но умельцы смогли его добить. Вручную, и только с четвертой попытки, сделав в точности обратное тому, что им советовали.

* разница между коммутатором и свичем проще, чем вы думаете. Коммутаторы делают Qtech и Eltex, свичи делает Cisco, Juniper, HPE (Arista), Huawei, Extreme , Mellanox.

После, или во время перехода от трех системных блоков в подсобке, к ЦОД, появляется гибридная инфраструктура – часть нагрузки в ЦОД, часть в облаке, часть все так же - в бывшей кладовке.

Но и у арендуемой стойки есть масса ограничений – например, при современных «горячих» процессорах и видеокартах, и при сохранении лимита в 5 киловатт на луч на стойку по подаче питания, и ограничениям отвода тепла в массе российских как-бы ЦОД и даже как-бы тир-3-но нет, поставить туда 2-3 GPU кластера на 2-4 видеокарты можно, но на этом и все. Дальше или надо искать другой зал (иногда в том же ЦОД) с хотя бы 10 КВт на луч, а если там будет еще и теплоотвод получше, а если еще и жидкостное охлаждение можно собрать – то это просто мечта.
Все это технические проблемы, которые можно пересчитать в стоимость закупки серверов, кондиционеров, ИБП, сетевого оборудования.

Проблемы, когда ИТ отдел всерьез начинается задумываться о переезде в облако, начинается с появлением даже зачатков своей разработки, пусть даже это свои модули в 1с, и особенно остро проявляются в тех случаях, когда к организации начинают предъявляться требования 152-ФЗ ПД, 177-ФЗ 187-ФЗ КИИ и прочие радости типа 846, 1912, 887, 193,194,141 .. ну, вы знаете.

Продукты, предлагаемые на этом рынке, можно разделить на две большие группы
– не работают даже на 10% от того, что должны заменить, но с сертификатом (1.5 продукта)
– не работают даже на 10% от того, что должны заменить, без сертификата (еще штук 25 продуктов)
По такому признаку, как «безудержно глючат разными способами» разделить продукты невозможно, ни программные, ни аппаратные. Начиная от отсутствия штатных функций, заканчивая split brain прямо во время пилотного проекта, с попутным превращением данных в кашу.

На этом месте уже руководитель ИТ и директор по финансам начинают считать деньги так, как никогда не считали.

Потому что для соответствия всему – надо утроить штат ИТ и купить то, что в обычной жизни было не надо. Это дорого, это очень дорого.
При этом раньше можно было купить железа на 5 лет, и прикупать по чуть чуть. Сейчас так не выйдет.

Облака - это про управляемость и уход от физики к разделению бюджетов

Все начинается с того момента, когда к вам или приходит регулятор, или возникает риск настоящих штрафных санкций. Пока потери бизнеса виртуальны, пока это "ну подумаешь пол-дня не работали", ничего не произойдет. Как только за потерями сервиса начинаются штрафы от заказчиков, или письма от регуляторов, тут же встает вопрос подсчета "Сколько же нам надо денег потратить для обеспечения сервиса хотя бы в виде 9 рабочих часов, с 9 до 9, в 6 дней в неделю", и второй вопрос - во сколько обойдется переход на 24*7*365.

И именно тут бизнес начинает покряхтывать, судорожно хвататься за сердце, кошелек, звонить сыновьям подруги и иным методом пытаться узнать - почему так дорого-то???? Почему надо два гарантированных луча питания, почему надо не 3 бытовых, а 5 промышленных кондиционеров, почему надо то, се, зачем нужен дежурный штат, почему в штат сразу нужен электрик, и сколько стоят люди, готовые это хотя бы посчитать. И заодно, что особенно актуально в услових РФ, какое импортозамещение сможет сделать А-А метрокластер, или, хотя бы, растянутый кластер, не превратив все в кашу при первой же потере кролика, который потащит за собой control plane, который нельзя сделать ни по настоящему высоко доступным (не по бумагам, а по результатам ПСИ), и который не устроит кашу из данных при split brain или потеря свидетеля.

И именно тут довольный начальник сисадминов начинает показывать, во сколько обходится желание соседнего отдела в виде "нам сейчас надо 20 гб места, но вы нам дайте сразу терабайт, и не просто нарисуйте, а закупите, но за свой бюджет". Каждый гигагерц и гигабайт отражен в бюджете, проведен через закупку, и просьбы в стиле ранней Масяни "вы как-нибудь так" приходят в конце месяца в виде счетов с разбивкой.

Послесловие

И затем у вас на 3 дня падает ЦОД госзнак.

vSphere Clustering Service (vCLS)

В VMware vSphere 7 U1 был презентован дополнительный механизм наблюдения за доступностью - vSphere Clustering Service (vCLS), представляющий из себя три очень маленькие служебные виртуальные машины на хост, обслуживающие vCLS Control Plane. https://vm-guru.com/news/vmware-vsphere-clustering-services

Механизм работал плохо, и работает очень плохо. Настолько плохо, что кнопку «отключить эту поделку» перенесли из служебных настроек кластера в главное меню, и написали огромную статью - How to Disable vCLS on a Cluster via Retreat Mode

При этом, разбираться «почему так» и писать какой-то deep dive никто не стал.

Между тем, немногочисленные оставшиеся программисты все же написали (наконец-то!) нормальное логирование, и теперь, иногда, можно в hostd.log увидеть строку infra/vCLS .. Power On message: Feature 'cpuid.mwait' was 0, but must be 0x1.

Раньше, давно, было сложнее – просто VM писала «нишмагла» - vCLS VMs fail to power on with an error message "Insufficient resources" in vSphere 7.0 Update 1 or newer или ничего не писала или еще 100 вариантов из статьи vSphere Cluster Services (vCLS) Known Issues/Corner Cases, или обращаться вместо Маркса в eam.log или применять черную магию вне Дурмстранга:

/etc/init.d/infravisor status

inf-cli get pods -n vcls

configstorecli config current set -c esx -g infravisor_pods -k vcls -p /pod_settings/enabled -v true

monitor/mwait instructions

mwait – это даже не черная магия, это нечто, что сделано чтобы сэкономить .. чего-то

- то есть следить за .. за чем-то следить - The following cause the processor to exit the implementation-dependent-optimized state

Где проблема

Проблема в том, что у разных производителей материнских плат – разное понимание, нужно ли это вообще, и в какой раздел конфигурации это положить. Или же, вообще поставить режим работы «Auto», но что это значит в конкретных задачах – понять можно далеко не всегда. Но, как выясняется, спустя 4 года проблем - надо ставить 1. Что значит включено.

The below three situations are possible when Monitor/MWAIT is disabled:

Cluster-wide EVC issues prevent enabling EVC

VM-based EVC settings (introduced with vSphere 6.7) prevent turning as well as moving VMs

vCLS (vSphere Cluster Services) introduced with vCenter 7.0 U1 prevents to start vCLS VMs

Default BIOS settings with Monitor/MWAIT being disabled on Lenovo based servers prevents enabling EVC for cluster or individual VMs

Что делать

Переходить на KVM конечно, там такого нет и не будет.

MS по непонятным причинам не показывает на сайте SHA256\MD5 при входе с браузером под Windows, живите теперь с этим.
Но вот вам разнообразные цифры:

SERVER_EVAL_x64FRE_en-us_2022.iso
MD5 e7908933449613edc97e1b11180429d1
SHA-256 3e4fa6d8507b554856fc9ca6079cc402df11a8b79344871669f0251535255325
SHA-1 70ab5af6264c2f967dccafc16fd9a46b6f0b07a7
CRC32 e764eba4
SHA-512 83b8e7bc29995ea16c01954452ef52635d2cf381790c36334881015cace9f98905f55fdec0c94239b1ba035b479b24df7db88ac177bb16558cba5078412b9fbe

SERVER_EVAL_x64FRE_ru-ru_2022.iso
MD5 B1C119A1CD95D8115F0F7B1BE6C13448
SHA256 3E4FA6D8507B554856FC9CA6079CC402DF11A8B79344871669F0251535255325

Что там внутри ISO?

Внутри 26100.1.240331-1435.ge_release_SERVER_EVAL_x64FRE_en-us.iso\sources\install.wim\  лежит файл 1.xml с текстом

PKEYCONFIGVERSION 10.0.26100.1

что ни о чем не говорит, как и текст про Windows Server 2025 Standard Evaluation, Windows Server 2025 Standard Evaluation (Desktop Experience), Windows Server 2025 Datacenter Evaluation, Windows Server 2025 Datacenter Evaluation (Desktop Experience)

Внутри 26100.1.240331-1435.ge_release_SERVER_EVAL_x64FRE_ru-ru.iso - все то же самое, только DISPLAYDESCRIPTION на русском, а так - Windows Server 2025 Standard Evaluation, Windows Server 2025 Standard Evaluation (возможности рабочего стола), Windows Server 2025 Datacenter Evaluation, Windows Server 2025 Datacenter Evaluation (возможности рабочего стола)

Внутри ISO Windows server 2022 числится PKEYCONFIGVERSION 10.0.20348.502 , что значит январь 2022, а поскольку я его поставил, то внутри 21H2.

Поэтому не забывайте про свободно доступные на https://www.catalog.update.microsoft.com
2024-07 Cumulative Update for .NET Framework 3.5 and 4.8 for Microsoft server operating system version 21H2 for x64 (KB5039889)
2022-08 Security Update for Microsoft server operating system version 21H2 for x64-based Systems (KB5012170)
2024-07 Cumulative Update for Microsoft server operating system version 21H2 for x64-based Systems (KB5040437)
Windows Server 2022 servicing stack update (KB5040571) - 20348.2571 (этого на catalog.update нет)

Что обещают нового?

Все новое описано в статье What's new in Windows Server 2025 (preview) от 19 июля 2024. Тут и новая AD DS и AD LDS, и DomainLevel 10 и ForestLevel 10, и новый локатор - DC Locator, и, что мне особенно нравится, Dtrace из коробки.

Конечно, его использовать приходится реже, чем Process Monitor или RAMMap , и гораздо реже, чем Resource Monitor.

Что-то опять обновили в SMB over QUIC. Тут некоторые SMB 1.0 выключить не могут.
Обещают улучшить Windows Local Administrator Password Solution (LAPS). Полезное решение.
По ссылке мало написано про улучшения в кластеризации Hyper-V, про новые отношения кластера и AD DS (отношения были сложные и болезненные, с этой – как его, дьявола - созависимостью).

На весеннем Windows Server Summit (Mar 26 2024 08:00 AM - Mar 28 2024 04:30 PM (PDT) были презентации:

What's new in Windows Server 2025 https://youtu.be/j470Tp4b6es
New storage features in Windows Server 2025 https://www.youtube.com/watch?v=e8E-_lk_y84
Supercharge your datacenters with Hyper-V and virtualized GPUs https://youtu.be/f-TLB_vSJeE

И так далее –
Windows Server vNext delivers 90% more IOPS on NVMe SSDs.
NVMe over Fabric (NVMe-oF) support.
Storage Replica 3x performance improvement.
Thin Provisioned storage.
Stretched Clustering support for Storage Spaces Direct (S2D).
Certificate-based VM Live migration for AD-less cluster.
Cluster Aware Updating enhancements to make it more resilient.
GPU-P support for Hyper-V including support for Live Migration.
NetworkATC support for Windows Server.
New ReFS native deduplication and compression, optimized for hot-data such as virtual machines.

Но, поскольку Минцензуры само не может определиться, какая голова чего говорит, то вместо просмотра сессий слушайте любимую песню Валенки.

Передача на радио:
1966 год
Диктор (радостно): Здравствуйте товарищи, начинаем концерт по заявкам радиослушателей. Пишет нам мальчик Ваня из села Забубенское, Ваня просит передать его любимую песню "Валенки". Пожалуйста, Ваня, слушай свою любимую песню "Валенки"!
1976 год
Диктор (радостно): Здравствуйте товарищи, начинаем концерт по заявкам радио слушателей. Пишет нам студент сельскопромышленного проф. тех. училища города Заднезаброшенска Ваня Петров, Ваня просит передать его любимую песню "Валенки". Пожалуйста, Ваня, слушай свою любимую песню "Валенки"!
1986 год
Диктор (радостно): Здравствуйте товарищи, начинаем концерт по заявкам радиослушателей. Пишет нам директор колхоза им. Патриса Лумумбы села Забубенского Иван Петров, Иван просит передать его любимую песню "Валенки". Пожалуйста, Иван, слушайте свою любимую песню "Валенки"!
1996 год
Диктор (радостно): Здравствуйте товарищи, начинаем концерт по заявкам радиослушателей. Пишет нам депутат государственной думы, академик сельскохозяйственной академии Иван Сидорович Петров. Иван Сидорович просит передать произведение Иоганна Себастьяна Баха "Токката и Фуга в ре-минор". (Еще более радостно) Уважаемый Иван Сидорович, пожалуйста, HЕ ВЫДЕЛЫВАЙТЕСЬ и слушайте вашу любимую песню "Валенки"!!!

В установке Server 2025 стало чуть больше вопросов, где надо нажать NEXT, в остальном ничего нового с момента перехода от NT на 2000.

После установки занято порядка 10 Гб, а точнее:
fsutil volume diskfree c:
Total free bytes  : 54,295,986,176 (50.6 GB)
Total bytes  : 63,634,927,616 (59.3 GB)
Total quota free bytes  : 54,295,986,176 (50.6 GB)
Unavailable pool bytes  :  0 ( 0.0 KB)
Quota unavailable pool bytes  :  0 ( 0.0 KB)
Used bytes  :  9,278,824,448 ( 8.6 GB)
Total Reserved bytes  :  60,116,992 (57.3 MB)
Версия - Microsoft Windows [Version 10.0.26100.1], 24H2

После установки система скачивает:
Security Intelligence Update for Microsoft Defender Antivirus - KB2267602, 1.415.482.0
NET Framework 4.8.1 (2024-07-09) - KB5039894
Windows Server 2025 RTM, Cumulative Update File (KB5040435): 26100.x → 26100.1150 (= Monthly Security Update for General Users)
Windows Malicious Software Removal Tool - v5.126 (KB890830)

Версия после установки обновлений – Version 10.0.26100.1150 , и с ней уже можно что-то делать.

Windows 11 2023 Update l Version 23H2

С Windows 11 ничего нового не произошло (кроме выхода KB5041871 (Build 26120.1350) для Windows 11, версия 24H2 (Dev))
Microsoft , как и для серверов, не показывает MD5 и SHA256 для ISO, но мир не без добрых людей:
English 64-bit: 36DE5ECB7A0DAA58DCE68C03B9465A543ED0F5498AA8AE60AB45FB7C8C4AE402
English International 64-bit: 705AC061688FFD7F5721DA844D01DF85433856EAFAA8441ECE94B270685CA2DB

Russian 64-bit: 0812CAA1BB47BFB916EE66D34EA9A8E673CC1AA200212483FC54CED0D885FC99

Список 1, список 2, список 3.

Почему это вдруг стало важно? Потому что скачивание Windows 11 заблокировано не только «из РФ», но и через тор, прокси, и через некоторые VPN, в том числе по прямой ссылке

Утилита Mediacreationtool_win11_23h2 при запуске в РФ выдает ошибку "0x80070002" "0x20000, но только в РФ, и только при связи через заблокированные на стороне MS прокси / VPN.

Вне РФ качается без проблем.

Из особенностей Windows 11 можно отметить следующее:

64 GB or larger storage device.

Не понятно зачем, не занимает она столько, но, будете ставить в виртуальных средах – ставьте диск в 70 Гб, можно тонкий. 65 Гб в VMware WS ей не достаточно, но 66 уже достаточно.

Trusted Platform Module (TPM) version 2.0.

Тут ничего нового с 2021 года
Требование TPM обходится через GIU (статья How to Bypass Windows 11's TPM, CPU and RAM Requirements или CLI (статья How to bypass TPM 2.0 check when installing Windows 11 in a virtual machine) ,

командой
REG ADD HKLM\SYSTEM\Setup\LabConfig /v BypassTPMCheck /t REG_DWORD /d 1

Windows 11 Pro for personal use and Windows 11 Home require internet connectivity and a Microsoft account during initial device setup

Ставить надо при отключенной сетевой карте, обходится так же как раньше, через команду OOBE\BYPASSNRO, есть инструкция в картинках.  

Ранее была возможность обхода через ввод заблокированного почтового адреса - no@thankyou.com или a@a.com , но ее убрали еще в апреле 2024.
Настраивайте Out-of-box experience (OOBE).

Как и раньше, Windows 11 шлет безумное количество телеметрии, эти функции тоже надо выключать.
Как и раньше, Windows 11 требует не только кумулятивного обновления, но и обновлений для получения обновлений, точнее:
Security Intelligence Update for Microsoft Defender Antivirus - KB2267602 (Version 1.415.484.0) - Current Channel (Broad) – еще бы понять, в чем отличие от KB2310138 (Version 1.415.486.0)

Причем, после установки его не показывает в списке обновлений и get-hotfix

Зато в нем показывает KB5027397

2024-07 Cumulative Update for .NET Framework 3.5 and 4.8.1 for Windows 11, version 23H2 for x64 (KB5039895)
2024-07 Cumulative Update for Windows 11 Version 23H2 for x64-based Systems (KB5040442) – но он заменен на 2024-07 Cumulative Update Preview for Windows 11 Version 23H2 for x64-based Systems (KB5040527)
Windows Malicious Software Removal Tool x64 - v5.126 (KB890830)
Update for Windows Security platform antimalware platform - KB5007651 (Version 1.0.2402.27001)
2023-11 Update for Windows 11 Version 23H2 for x64-based Systems (KB4023057)
И отдельно Windows 11 servicing stack update (KB5039338)

Интересное открытие в процессе поиска MD5 для русских версий

Почему-то в РФ все министерства занимаются чем-то, никак не связанным с названием. Я ожидал, что все эти MD5 будут где-то на сайте Минцифры, но нет. Минцифры, похоже, вообще никак не связано с ИТ как таковым, а занимается ИТ-ипотекой (у которой от ИТ тоже только название, это ипотека для кабанчиков), цензурой, блокировками ютуба и рассказами про то, что это вовсе не по их инициативе в РФ 30 вариантов русификации KVM,Openstack и Opennenula,  и несколько попыток русификации чего-то на FreeBSD.

Но при этом Федеральная служба по техническому и экспортному контролю (ФСТЭК) ведет банк данных угроз (БДУ). Поиск по сайту у них сломан, но сайт проиндексирован гуглем, и в банке  данных угроз числятся:

Накопительное обновление .NET Framework 3.5 и 4.8.1 для Windows 10 22H2 для x64 систем (KB5036618) от 09.04.2024 https://bdu.fstec.ru/software-section/updates/TO1174

Накопительное обновление Windows 10 22H2 для x64 систем (KB5035845) от 12.03.2024 https://bdu.fstec.ru/software-section/updates/TO1098

Накопительное обновление Windows 10 22H2 для x32 систем (KB5036892) https://bdu.fstec.ru/software-section/updates/TO1190

Накопительный пакет обновления 23 для Exchange Server 2016 (KB5011155) – на самом деле это ExchangeServer2016-x64-CU23.ISO  https://bdu.fstec.ru/software-section/updates/118

Обновления системы безопасности для Exchange Server 2016 (KB5036386) – на самом деле это exchange2016-kb5036386-x64-en_26a0c8aaa8e81c8d332cd96....

Чтобы на самом сайте MS найти русское обновление, надо знать чего искать. Необходимо со статьи: Исправление для Exchange Server 2019 и 2016: 23 апреля 2024 г. (KB5037224)   (там есть ссылки на Хэш-таблицы для дополнительных языков!) перейти на  статью на английском - Hotfix Update For Exchange Server 2016 CU23 HU13 (KB5037224) ,

В статье надо выбрать русский язык, и появится прямая ссылка на русское обновление. Его данные: Russian (ru-ru) ,Exchange Server 2016 Cumulative Update  23 HU13,
Exchange2016-KB5037224-x64-ru.exe,
4F8767D551CC6D4A04C9738AB377283F50E71269754E451948F0834EE240A220

В манифесте указано ProductVersion 15.01.2507.039, что соответствует Exchange Server 2016 CU23 Apr24HU

И его нет на ФСТЭК. Но английский патч есть.

Я, конечно, согласен с тем, что каждая установка английского кумулятива не просто угрожает, а прямо ведет к травмам, припеканию, и последующему алкоголизму, но русского обновления почему на ФСТЭК нет?

Это не претензии, ФСТЭК молодцы – и список угроз ведут, и патчи проверяют, и раздел этот в опытной эксплуатации.

Читать, как это все устроено, по прежнему приходится в Exchange Team Blog, ничего нового.

Каждый раз чувствую себя каким-то жабенышем.