80

Виртуализация 2026 или немного о концептуальном

Серия Кудахтеры

Для лиги лени: что-то на душном

Пока все ели, на vm-guru вышло две части статьи:
Российские решения виртуализации и VDI: итоги 2025 года - часть 1
Российские решения виртуализации и VDI: итоги 2025 года - часть 2
ссылок нет, чтобы не возникло идей «пришли и рекламируют». Кому надо – нагуглит.

Читать эти две части есть смысл только тем, кто озабочен «импортозамещением», хотя это странное импортозамещение – замена американских ОС на американскую ОС. Учитывая что Microsoft  это один из трех крупнейших разработчиков экосистемы Linux, то выглядит как Москвич 3. Тоже импортозамещенный.

Сами статьи очень, очень обзорные. Ни тестирования не проведено, ни опыта эксплуатации. Все продукты все очень хорошие, свежие, сочные, и отлично мажутся.

В самих статьях есть ряд очень некорректных фраз. В частности:

По данным исследования компании «Код Безопасности», уже 78% российских организаций выбирают отечественные средства виртуализации.

Ничего российского в KVM, XEN и bhyve нет вообще.  Средства управления – на сколько-то российские, само ядро виртуализации – opensource, читай «разработано в основном в США» или, для средств управления, то есть форков Proxmox - Proxmox Server Solutions GmbH расположен по адресу: Bräuhausgasse 37, Vienna, Austria.

Open Source Contributor Index : Rank and Organization
1 – Google, 6590 Active contributors
2 – Microsoft, 5364 Active contributors (без GitHub)
3 - Red Hat, 3908 Active contributors (без IBM)
4 – Amazon, 2465 Active contributors
5 – Intel, 2364 Active contributors

Есть и решения на базе OpenStack

OpenStack – это не гипервизор, а система управления гипервизорами, то есть она может управлять хоть Broadcom vCenter, хоть чем. Можно же было, перед тем как такое писать, посмотреть картинки в документации.

Здесь можно отметить, что многие российские платформы уже внедрили современные технологии оптимизации ресурсов: поддержка NUMA для эффективной работы с многопроцессорными узлами

С этого момента уже можно сказать, что «в статье все очень плохо».

Первое.
Non-uniform memory access (NUMA) в мире x86 существует больше 20 лет. В Linux kernel поддержку NUMA начали реализовывать с 2002. Что могли внедрить российские платформы из того, что используется в kernel уже больше 20 лет?

Второе.
Если начать читать про проблемы переключения задач в среде x86 с более понятной статьи  
Virtual Machine Resource Controls,
продолжить чтение на сайте Red Hat
Red Hat 6. CPU Scheduling
Red Hat 10. Chapter 27. Tuning scheduling policy

И заполировать статьей
Linux CPU Schedulers and Why They Are Important

То окажется, что у Linux достаточно большие проблемы с планировщиком задач, которые NUMA только усугубляет. Как, впрочем, и с Intel Hyper-Threading Technology, и с Intel Turbo Boost и AMD Precision Boost и вся эта группа настроек энергосбережения.
У всех эти проблемы, особенно в связи с последними движениями AMD и их микроархитектурой.
Linux kernel из коробок (Debian, Ubuntu, Centso, etc), скомпилированный из принципа «чтобы работало почти везде», вообще не очень оптимизирован по скорости, достаточно посмотреть результаты тестирования настроек в проекте Clear Linux
Final Benchmarks Of Clear Linux On Intel: ~48% Faster Than Ubuntu Out-Of-The-Box

Есть определенная ирония в том, что над ускорением Linux работали не какие-то энтузиасты из Apache Software Foundation, а самый проприетарнейший Intel.
Который и закрыл проект в июле 2025 - Intel Announces It's Shutting Down Clear Linux.

И еще больше иронии в том, что спустя два года «оптимизаций» Linux, с декабря 2023 по 1 января 2026, он стал работать медленнее на том же процессоре Intel, достаточно почитать свежую статью Two years after launch Intel Meteor Lake offers 93% of original performance on Linux, tests show.

Так что, и поддержкой NUMA занимаются не разработчики GUI поверх KVM, и с CPU планировщиками проблемы были и есть, и за два года с производительностью все как-то не так.

Проявляется это «не то, чтобы торможение» при хоть как-то нагруженном сервере. Немалая часть обычных пользователей с этим, скорее всего, не столкнется, или спишет проблемы на что угодно, кроме кривеньких настроек kernel «из коробки», и такой же кривенькой настройки планировщика «из коробки».
В некоторых нагруженных сценариях, вне зависимости от того, используется ли KVM, или используется контейнеризация, любая, и система управления контейнерами, NUMA вообще стоит выключить.
Иногда стоит выключить и HT.
И посмотреть на результаты.
Но, повторю, тут много зависит от того, устраивает ли вас ситуация с нагрузкой, снимаете ли вы вообще метрики нагрузок по процессорным ядрам, проводите ли анализ нагрузок (что считается) и загрузки (как эффективно балансируется). Это не так просто, потому что метрики KAVG (Kernel average latency) и GAVG (Guest average latency) в Linux отсутствуют, а без них не всегда понятно, где задержка – на вводе-выводе, или все же надо смотреть в CPU Wait (CPU Ready Time).
Load Average в Linux при этом показывает совсем не то, что рассказывают школьники друг другу, но про это хотя бы пишут, например в статье Linux System Load Average Spikes IO Wait Context Switching and Process Bottlenecks.

Как следствие, получается, что по реальной эффективности работы гипервизора в нагруженной среде платный Microsoft Hyper-V на Intel может оказаться дешевле, чем бесплатный KVM или бесплатный k8s.
И не только потому, что не везде есть множество высококвалифицированных низкооплачиваемых кадров.

Но уж точно, никакого супер-действия нет от «NUMA».

SpaceVM изначально ориентирован на сценарии с графическими рабочими станциями: платформа поддерживает как passthrough GPU для выделения целой видеокарты ВМ, так и технологию FreeGRID – собственную разработку для виртуализации ресурсов NVIDIA-GPU без риска лицензионной блокировки.

Кажется, КОАП не отменяли ?

Резюмируя, производительность российских гипервизоров уже находится на уровне, достаточном для многих корпоративных задач

За исключением того, что KVM, bhyve, и так далее, не являются российскими гипервизорами.

внедрение RBAC/2FA, о которых сказано выше, существенно снижает риски

Role-Based Access Control (RBAC) не имеет ни малейшего отношения к 2FA. Что там оно снижает – надо спросить у Аэрофлота и прочих взломанных, начиная от МТС и СДЭК.

Также важно строить резервное копирование на уровне приложений и данных, а не полагаться только на механизмы платформы.

Авторы принципиально не понимают что пишут, или не смогли написать прямо – в Linux не было и нет механизмов резервного копирования приложений, что из физических, что из виртуальных сред, из-за отсутствия механизма, аналогичного Microsoft Volume Shadow Copy Service (VSS). Функции файловой системы и ядра (freeze_bdev и thaw_bdev) есть, функционала приложений нет. Поэтому «механизмов платформы» нет принципиально, если только вы, конечно, не останавливаете сервис приложения целиком на время снятия снапшота файловой системы.
Паузы недостаточно, да и попробуйте поставить на паузу действительно нагруженную базу данных, потом расскажете, как прошло восстановление и сколько воспроизводились транзакции.
Одно дело снять ночью снапшот postgres в 1с, в которой было 1000 проводок за 8 рабочих часов, другое дело снять снапшот базы биллинга.

Заключение

Жаль, конечно, что две такие, вроде бы большие, статьи, да еще и с картинками, сводятся к рассказу «Продукт точно хороший, берите, не пожалеете».
В рассказах про Open source Linux вот-вот победит и Microsoft и IBM и всех. Кроме Google. Потому что проприетарный Android это другое, это не проприетарный Microsoft. 
В рассказах про импортозамещение есть красивые картинки и даже таблицы.
В реальности прибыль Microsoft, в том числе за счет сдачи в аренду времени под работу Linux серверов и прочего Opensource в облаке (Azure), в том числе Azure Kubernetes Service (AKS) и Azure Container Apps растет каждый год.
В Linux других проблем нет, кроме тех, что надо убрать из ядра поддержку Bcachefs. Не потому, что Bcachefs плохая, а потому, что разработчик Kent Overstreet два года назад кого-то в частной переписке назвал дурачком, и недостаточно хорошо и долго извинялся.

Надеюсь, в следующей статье авторы расскажут, почему Usergate лучше NSX и Microsoft Network Controller вместе взятых, а drbd лучше vSAN и S2D (Storage Spaces Direct), и как хорошо drbd работает с NVMEoF.
И почему для «импортозамещения» надо удвоить, если не утроить, парк техники, и почему рост капитальных и эксплуатационных затрат в 2.5 раза – только на пользу бюджетам.

STAY TUNED

Лига Сисадминов

2.5K поста19K подписчиков

Правила сообщества

Мы здесь рады любым постам связанным с рабочими буднями специалистов нашей сферы деятельности.

5
Автор поста оценил этот комментарий

Как обычно душно, но по существу) практически со всем согласен, про NUMU спорно, но это лучше оставить в стороне. Клоунов видимо разрабы этого г-нища ставят либо бюджетники, которым это втюхали, и которые теперь с стокгольмским синдромом сидят.

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

Клоунов видимо разрабы этого г-нища ставят либо бюджетники,

Либо группа альтернативно одаренных снежинок, которых я перебанил за особо удачные мысли. В любом случае они не способны даже написать что-то по существу

0
Автор поста оценил этот комментарий

Без QPI NUMA не работает. Есть еще всякие Hyper transport и другие более старые технологии. Но принципиальный момент в том, что при NUMA у каждого сокета своя шина адреса и свое адресное пространство. И без QPI в принципе невозможно обратиться к памяти другого сокета.

Аналогичная технология используется в ARM и PowerPC. Только там это называется кластеризацией ядер. А так же в протоколе когерентности кешей.

В UMA шина адреса у всех сокетов общая.

При переподписке (overcommit-е) со стороны хоста, которая по определению означает, что для всех VM памяти или CPU в сумме выделяется больше, чем есть есть физически - проблем никаких нет. Надо просто следить чтобы сокеты и память для разных VM соответствовали друг другу. Да, это усложняет администрирование и уменьшает гибкость, но такова цена.

Проблема появляется если одной виртуалке выделяется адресное пространство с нескольких сокетов. И в этом случае, очевидно, использование виртуализации вообще не целесообразно.

А тем кто хочет халявы настоятельно рекомендую посмотреть мультфильм "Вовка в тридевятом царстве".

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Без QPI NUMA не работает.

Еще как работает, например на последних AMD, учитывая их организацию контроллера памяти.


Надо просто следить чтобы сокеты и память для разных VM соответствовали друг другу

Еще раз, кто следить будет, какой сервис ?

0
Автор поста оценил этот комментарий

Программист или администратор в зависимости от задачи.

Я ровно про то и пишу, что все хотят халявы. Чтобы они ничего не делали, а за них все сделал какой нибудь скедулер.

И в RDBMS это кстати сделать довольно просто, так как база полностью управляет памятью. А технологии партиционирования уже как 30 лет существуют.

Oracle и DB2, кстати, этот вопрос на мейнфреймах еще 60 лет назад решили.

Причем перфоманс был в 10 раз больше чем у каких нибудь MS SQL или PG на современном железе.

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Причем перфоманс был в 10 раз больше чем у каких нибудь MS SQL или PG на современном железе.

Про MS SQL вы зря.

0
Автор поста оценил этот комментарий

Можно неявно - следить, чтобы данные располагались преимущественно по тем сокетам, где они обрабатываются. И явно - в CPU куча счетчиков по работе QPI.

Только для этого надо использовать правильную парадигму программирования или администрирования.

По программированию - для этого подходит функциональное, ERLANG, FBP.

Не даром на мейнфремах и MIPS был COBOL популярен.

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

И явно - в CPU куча счетчиков по работе QPI.

Счетчики есть, но это не управляемый процесс


Можно неявно - следить, чтобы данные располагались преимущественно по тем сокетам, где они обрабатываются

Следить да, а управлять как?

0
Автор поста оценил этот комментарий

Взяли опенсорс и стали пилить своё.

Да, продукт не идеален, но за такой сжатый срок полностью с нуля своё не напишешь.

А в современных реалиях, когда забугорные партнёры могут в любой момент отключить доступ к сервису лучше иметь плохонький свой продукт, чем идеальный от мелкософт

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

лучше иметь плохонький свой продукт

за исключением отсутствия "своего" в ядре продукта.
раз вы не в курсе, что Microsoft предоставила исходные коды Windows для сертификации в РФ еще в середине 2000

0
Автор поста оценил этот комментарий
Никак, для высоко нагруженных бд используется бэкапирование через журнал wal (Continuous Archiving), никакие снапшоты тут не помогут
раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Никак, для высоко нагруженных бд используется бэкапирование через журнал wal


Write-ahead logging (WAL)


Алгоритм используется, но сами логи архивируются в том числе через vss


см.

Write-ahead transaction log

This section describes the role of the write-ahead transaction log in recording data modifications to disk. SQL Server uses a write-ahead logging (WAL) algorithm, which guarantees that no data modifications are written to disk before the associated log record is written to disk. This maintains the ACID properties for a transaction.

https://learn.microsoft.com/en-us/sql/relational-databases/s...

0
Автор поста оценил этот комментарий
У меня в связи с изложенным вопрос: а как наличие vss поможет в бэкапе бд? Все равно сначала надо делать flush, тормознуть, потом снимок и потом в работу. Этот механизм где то реализован?
раскрыть ветку (1)
0
Автор поста оценил этот комментарий

У меня в связи с изложенным вопрос: а как наличие vss поможет в бэкапе бд?

Поможет изучение документации:


SQL Writer service

https://learn.microsoft.com/en-us/sql/database-engine/config...


SQL Server backup applications - Volume Shadow Copy Service (VSS) and SQL Writer

https://learn.microsoft.com/en-us/sql/relational-databases/b...

0
Автор поста оценил этот комментарий

Потому что при включенном NUMA задействуется QPI, из-за чего в общем случае при интенсивной работе с памятью он становится узким местом и становится только хуже.

Более того, сама по себе архитектура SMP была признана неэффективной еще 50 лет назад.

Но нормально писать распределенный софт - это ж сложно.

В самом по себе NUMA и QPI ничего плохого нет. Это вполне себе эффективные инструменты при правильном использовании.

Но все привыкли, что за них обо всём подумают разработчики железа, ОС, гипервизоров, админов и далее по списку.

Хотя нет ничего проще, чем скажем развести по ядрам виртуалки в гипервизоре, докер контейнеры или на самый худой конец - потоки. Это одна настройка или один вызов функции.

Ну и контроль межсокетного обмена надо естественно явно закладывать в архитектуру ПО если уж задействуется многосокетное железо.

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Потому что при включенном NUMA задействуется QPI

Он и без него работает


Хотя нет ничего проще, чем скажем развести по ядрам виртуалки в гипервизоре

Это просто, пока у вас нет переподписки

показать ответы
3
Автор поста оценил этот комментарий

С дуру можно и хер сломать (С) Народная мудрость.

Ваще то в мультисокетных системах не NUMA надо отключать, а заниматься нормальной балансировкой потоков между сокетами.

И разработчики ядра линукс не виноваты в том, что разрабы и юзвери через жопу используют предоставленные возможности.

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

а заниматься нормальной балансировкой потоков между сокетами.

И какой компонент этим будет заниматься ? В Windows и ESXi это CPU scheduler, в MS SQL чуть сложнее

показать ответы
1
Автор поста оценил этот комментарий

Так дело как раз в том, что это совсем не юзвери, а либо админы, которые просто обязаны корректно управлять ресурсами железа, к которым относится, например и QPI и протокол когерентности. Либо программисты, которые если пишут софт под многосокетные или распределенные системы, обязаны контролировать меж процессный обмен.

Во времена MIPS или мейнфреймов это всё делалось принудительно. Поэтому и проблем не возникало.

Но адепты SMP решили упростить людям жизнь. А люди как это всегда бывает решили, что это халява и теперь можно ничего не делать.

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

корректно управлять ресурсами железа, к которым относится, например и QPI и протокол когерентности.

Вы разве можете им управлять ?

показать ответы
0
Вышел из леса
Автор поста оценил этот комментарий

внедрение RBAC/2FA, о которых сказано выше, существенно снижает риски

Role-Based Access Control (RBAC) не имеет ни малейшего отношения к 2FA

А разве подразумевается что должен иметь отношение?

2 независимых подхода, оба увеличивают безопасность независимо друг от друга

раскрыть ветку (1)
Автор поста оценил этот комментарий

А разве подразумевается что должен иметь отношение?

В исходном тексте подразумевается.

2
Автор поста оценил этот комментарий

Ну, не все занимаются переклейкой наклеек. Те же OCP сервера - более глубоко импортозамещены. По крайней мере переклейкой наклеек там не ограничивается дело. Хотя, конечно, нишевое решение.

раскрыть ветку (1)
Автор поста оценил этот комментарий

По крайней мере переклейкой наклеек там не ограничивается дело.

Китайская материнка, на китайской рассыпухе, собранное на китайском станке - глубокое импортозамещение?

показать ответы
4
Автор поста оценил этот комментарий

Я ходил лично в Gagarin. Насколько помню, они текстолит с нужным количеством слоёв импортировали, ну и процы\память\диски. Материнки сами пилили. Там еще форм-фактор специфичный.

И да, это более глубокое импортозамещение, чем просто переклейка наклеек, как делает условная нерпа.

раскрыть ветку (1)
Автор поста оценил этот комментарий

Материнки сами пилили.

по шаблону по умолчанию.

Москвич-3. У него корпус тоже в Москве сваривают.

показать ответы
12
Автор поста оценил этот комментарий
Импортозамещение в сфере IT - это такой же анекдот, как Москвич 3, параллели в статье проведены правильно. Пару лет назад на Хабре читал статью про отечественных "производителей" камер видеонаблюдения, которые на самом деле являлись складами, где на китайские камеры переклеивали наклейки и перепродавали. Сюда же нашумевшая история с Горшениным и Миландром. Отдельное умиление вызывают производители российский компьютеров, которые "полностью, с нуля" собирают компы в России. Только микросхемы для оперативки, SSD, процессоры и почти все другие электронные компоненты угадайте откуда.
раскрыть ветку (1)
Автор поста оценил этот комментарий

почти

Почти?

Темы

Политика

Теги

Популярные авторы

Сообщества

18+

Теги

Популярные авторы

Сообщества

Игры

Теги

Популярные авторы

Сообщества

Юмор

Теги

Популярные авторы

Сообщества

Отношения

Теги

Популярные авторы

Сообщества

Здоровье

Теги

Популярные авторы

Сообщества

Путешествия

Теги

Популярные авторы

Сообщества

Спорт

Теги

Популярные авторы

Сообщества

Хобби

Теги

Популярные авторы

Сообщества

Сервис

Теги

Популярные авторы

Сообщества

Природа

Теги

Популярные авторы

Сообщества

Бизнес

Теги

Популярные авторы

Сообщества

Транспорт

Теги

Популярные авторы

Сообщества

Общение

Теги

Популярные авторы

Сообщества

Юриспруденция

Теги

Популярные авторы

Сообщества

Наука

Теги

Популярные авторы

Сообщества

IT

Теги

Популярные авторы

Сообщества

Животные

Теги

Популярные авторы

Сообщества

Кино и сериалы

Теги

Популярные авторы

Сообщества

Экономика

Теги

Популярные авторы

Сообщества

Кулинария

Теги

Популярные авторы

Сообщества

История

Теги

Популярные авторы

Сообщества