Переход на Proxmox (Austria) с Hyper-V by Microsoft и VMware by Broadcom. Часть 11. Система прав
Для лиги лени: ничего нового, проходите мимо
Часть 1. Общая
Часть 2. Gitlab и Nexus
Часть 3. Ansible и Ansible AWS
Часть 4. Наконец переходим к Proxmox
Часть 5, не запланированная. Обновляем Proxmox с 8.4 до 9.0. Неудачно.
Часть 6. Возвращаемся к запуску Ansible
Часть 7. Разница концепций
Разница концепций. Часть 7.1 Обновления компонентов и система информирования.
Разница концепций. Часть 7.2 Сети
Разница концепций. Часть 7.3 предисловие к теме «Дисковое пространство».
Разница концепций. Часть 7.4 «Локальное дисковое пространство».
Часть 8. Разница концепций
Разница концепций. Часть 8.1 Расположение дисков VM
Разница концепций. Часть 8.2 Добавление дисков к хосту
Разница концепций. Часть 8.3 Настройка нескольких дисков
Разница концепций. Часть 8.4 Управление диском виртуальной машины.
Часть 9. Скорости дисков
Часть 10. Внешние СХД, iSCSI
Часть 11. Система прав
Сначала еще раз немного теории.
Про разницу аутентификации (ты чьих будешь, чей холоп ?) и авторизации (у вас есть право) много раз написано. Кроме них есть и единый источник истины (Single Source of Truth, SSOT). Истины для системы управления жизненным циклом пользователеля, User lifecycle management (ULM), то есть для плановых замен паролей и сертификатов, проверка того, что учетная запись еще включена и имеет те же самые права, что и ранее, и прочее.
Есть два подхода – локальное хранение учетных записей, и удаленное хранение учетных записей.
С локальным хранением все понятно, с удаленным хранением тоже - Identity and access management (IAM or IdAM) or Identity management (IdM), ISO/IEC 24760-1 a framework for identity management, и прочие слова.
Вокруг этого начинаются протоколы, фреймворки, методологии, ISO\ГОСТ, и конечные реализации, в том числе реализации системы прав через ролевую модель, RBAC \ ABAC \ PBAC, вот это все.
Отдельно существуют системы хранения секретов – покойный RatticDB, модные современные HashiCorp Vault, Bitwarden Vault, их клоны и так далее.
В чем проблема? Для малой организации на 2 сервера и 20 сотрудников никакой проблемы с раздачей прав нет. Альтернативно одаренные администраторы сразу дают всем права «на все», хотя бывает и хуже. Как вам, например, заведение на Linux серверах учетных записей root1, root2, root3 и передача паролей от них? Потому что менять руками сложно, а ssh \ bash \ Ansible слова слишком страшные.
Реализаций центральной служб каталогов несколько, многие (как Novell Netware Directory Services (NDS) \ NetIQ eDirectory) уже ушли в небытие. Замена AD на SAMBA не является предметом данной статьи.
Предметом специальных BDSM практик является использование Realmd\ SSSD, или такое отвратительное явление, как хранение сертификатов в домене. Оба извращения не являются предметом данной статьи.
Что есть в Proxmox .
Конечно, в Proxmox есть встроенная авторизация, в web и SSH, и возможность использовать внешние сервисы.
По умолчанию в Proxmox (из коробки) включены:
Linux PAM standard authentication
Proxmox VE authentication server
Можно добавить Microsoft Active Directory (AD), LDAP и OpenID. Можно добавить 2FA.
В чем разница Linux PAM standard authentication и Proxmox VE authentication server?
Отвечает reddit:
long story short: PAM users are normal gnu/linux user, as in username/password that you can use to log in via ssh.
PVEAS otoh are Proxmox users, they cannot be used to log in via ssh, they are stored in the clustered/distributed storage along with proxmox configuration and they are the same on all the nodes of a proxmox clusters
Как это работает в GUI на уровне DC
Завожу пользователя user_pam как Linux PAM на уровне DC, но в поле заведения пользователя нет пароля.
Есть выбор группы, но нет предопределенных групп.
При попытке смены пароля для пользователя user_pam получаю ошибку:
change password failed: user 'user_pam' does not exist (500)
В /etc/passwd – нет такого юзера.
В /etc/pve/user.cfg есть оба созданных
По команде «pveum user list» выводится таблица того, что насоздавал. В том числе user_pam@pam.
По команде pveum passwd user_pve@pve можно сменить пароль для юзера в PVE
По команде pveum passwd user_pam@pam сменить пароль тоже нельзя – получаю ошибку
change password failed: user 'user_pam' does not exist
Но в таблице (pveum user list) он есть.
Когда я заводил юзера user_pve в realm Proxmox VE, система сразу предложила не только создать юзера, но и назначить ему права из заранее созданных наборов ролей – от Administrator до No access.
Но это окно почему-то возникает только один раз, и это магия.
В остальных случаях оказывается, что интерфейс писали люди со своими представлениями, и права выставляются на вкладке Permission, это не только именование раздела.
И изнутри свойств объекта user эти права можно только посмотреть. Как и из Permission, или add, или remove
Остальные права выставляются как права на объект в дереве обьектов
В сочетании с ролями «что с ними делать». Наличие двух ролей Administrator и PVEAdmin только делает жизнь веселее
Управление входом в GUI отличается тем же своеобразием.
В CLI я вижу пользователя как root@pam
Но войти в GUI, как root@pam я не могу, вне зависимости от выбора realm.
То есть, система не может сама опознать, что я ввел @realm, и realm надо выбирать вручную в GUI, и входить без указания @realm.
Управление ролями в GUI тоже отличается неожиданным подходом. К роли можно выбрать привилегии, но в выпадающем списке нет чекбоксов, но работает OnClick и OnClickAgain , то есть выбор по клику. Это было очень неожиданно.
Чуть странная, с первого взгляда, но понятная ролевая модель. То что у Microsoft называется AGDLP, тут соответственно это User <> Group <> Role <> Permissions
Отредактировать права из GUI нельзя, можно только удалить и создать. УДОБНО!
Права на «просто логин» можно дать через роль No Access, ок, понятно.
Права на консоль можно дать через привилегию Sys.Console, только она не работает «из коробки». Привилегию я выдал, причем на /», причем наследование тоже какое-то не очевидное. Но это привилегия не на запуск консоли, а на право на запуск консоли, и консоль снова запрашивает логин-пароль, но user_pve прав на вход в консоль не имеет. Решение «делать через sudoerr» описано, но проблеме со всей системой прав уже семь лет.
Наблюдается расхождение. Пользователь может быть заведен в Linux, и иметь права на SSH, и на su, но не иметь прав на pveum.
Очень, очень странно.
Примечание. В Hyper-V , несмотря на развесистую систему прав, нет делегирования права на только Hyper-V или отдельную оснастку. Можно знатно поиграть в PowerShell Web Access (PSWA), PswaAuthorizationRule и security descriptor definition language (SDDL), но это надо знать, во что играть.
Заключение.
Система понятна, много описано, много описано на практических примерах и форуме. Жить можно, но root отключить нельзя.
По многим причинам, в том числе я еще не описывал все приключения с кластеризацией.
Литература
Difference between RBAC vs. ABAC vs. ACL vs. PBAC vs. DAC
Red Hat Chapter 2. Using Active Directory as an Identity Provider for SSSD
Red Hat Chapter 3. Using realmd to Connect to an Active Directory Domain
Realmd and SSSD Active Directory Authentication
Proxmox User Management
Proxmox Proxmox VE Administration Guide - 14. User Management
Proxmox forum group permissions
Proxmox forum "change password failed: user 'johnsmith' does not exist (500)"
Proxmox forum Add user/group account with ssh access and root privileges
Proxmox forum SSH Login with VE Authentication Server
Proxmox Bugzilla Bug 1856 - System Updates with non-root User using Web-GUI
Proxmox CLI pveum(1)
Reddit ELI5: PAM vs PVE Authentication Server
Microsoft PowerShell Web Access in action
Выбираем Дистрибутив Linux. Научно-опытный метод. Создание Белзайки :3
Итак, какова цель?
Мы конкретно ищем альтернативу для Windows и MacOS.
Аналог, бесплатный и открытый, развивающийся и поддерживаемый, анонимный, без шпионажа, соблюдающий наши права и свободы.
В Открытых/Свободных ОС царит полный хаос, зоопарк, нет единой системы, всё бесструктурно.
Дистрибутивов без счёта и они плодятся и множатся, как на дрожжах.
Глаза разбегаются, не знаешь, что выбрать.
Для неподготовленного юзера там Ад, ничего не понятно, никаких концов не найти в этом клубке, чтобы распутать него.
Мы будем использовать старый добрый и проверенный временем ресурс: https://distrowatch.com, который показывает нам некоторый относительный рейтинг между дистрибутивами, и это самое главное.
Нам нужен некоторый ориентир, потому что в статистиках большое множество дистрибутивов их там сотни, а ещё больше двадцати трёх лет прошло, какие рассматривать, а какие нет вообще? Там и старые относительно актуальные есть до сих пор. Система хаотична.
Ориентиром выступит FreeBSD, который падает до 25-й позиции в рейтинге, но часто выше.
Дело в том, что FreeBSD - это чисто серверная ОС. Да, поставить её можно много куда, это факт, но всерьёз перекатываться с Винды на Фриху - полнейший абсурд, когда навалом клиентских дистров, которые заточены именно на клиент.
А загрузок и установок серверных ОС гораздо и гораздо меньше, чем клиентских.
Поэтому FreeBSD и 25 место в рейтинге выступит у нас ну уже просто предельным полнейшим дном для клиентских дистров.
Запишем дистрибутивы, попавшие в Топ 25 в разные года, и сразу пометим закрытые проекты:
Mandriva/(Mandrake)- Red Hat Gentoo Debian
Sorcerer- openSUSE/(SUSE) Slackware Lycoris-
Lindows- Xandros- Vine Libranet-
Beehive- ROOT- CRUX Turbolinux-
LFS SCO- Peanut/(aLinux)- ELX-
KNOPPIX- ALTLinux/(Alt) ASP- Linpus-
Thiz- Yoper- DamnSmall Vector-
Morphix- Ark- College- Movix-
Aurox- MEPIS- SourceMage- Gnoppix
Fedora PCLinuxOS Ubuntu FreeBSD
Slax Linspire- KANOTIX Arch
Feather- Kubuntu CentOS TrueNAS/(PC-BSD)
Puppy Zenwalk VLOS- Sabayon-
Xubuntu Freespire- Mint
Dreamlinux- sidux/(aptosid)- [2007 - 50% за 5 лет]
gOS- TinyCore Ultimate CrunchBang-
Lubuntu Chakra- Mageia Scientific-
Zorin Bodhi Pinguy- Snowlinux-
Pear- SolusOS- Fuduntu- ROSA
Manjaro elementary SparkyLinux Kali
Lite LXLE- Androidx86- Deepin
Robolinux- Simplicity- SteamOS
antiX [2015 - 75% за 13 лет]
Netrunner UbuntuMATE Antergos- Solus
ReactOS Tails TrueOS- MXLinux
KDEneon Peppermint Endless ArcoLinux-
Pop!_OS Parrot [2019 - 87,5% за 17 лет]
EndeavourOS UbuntuKylin Linuxfx Garuda
AlmaLinux EasyOS Nobara [2023 - 93,75% за 21 год]
Vanilla CachyOS TUXEDO [2024 - 96,875% за 22 года]
NixOS Bluestar [2024.09 - 98,4375% за ~23 года] AnduinOS
BigLinux [2025.03 - 100% за ~23,5 года]
50% - 5 лет 10%/1год
75% - 13 лет 5,77%/1год
87,5% - 17 лет 5,15%/1год
93,75% - 21 год 4,46%/1год
98,4375% - ~23 года 4,28%/1год
100% - ~23,5 года 4,25%/1год
5, 13, 17, 21, 23, 23,5.
7 4 4 2 0,5
Года - это год, когда дистр впервые вошёл в наш "Топ 25".
За первые 7 лет в нашем "Топе 25" побывало 50% всех рассматриваемых дистрибутивов, за 13 лет - 75%, а за 22 года - ~97%.
Изменений в выборке "Топ 25" каждый год становится всё меньше.
Группа лидеров постепенно заполняется одними и теми же старыми игроками, которые удерживаются в ней годами, а не вылетают молниеносно, как это было в начале.
То есть уменьшается скорость изменения системы, старые игроки всё дольше удерживаются, а новых игроков всё меньше, их не пускают.
Система "устаканивается", от полного хаоса постепенно переходит к структурированному порядку.
Локальное уменьшение энтропии.
Схлопывание информационного разнообразия.
Одновременно с тем происходит и монополизация рынка.
Первая половина дистрибутивов была достигнута за первые 7 лет, а вторая половина за 18,5 лет.
В данном отношении, процесс обновления нашего списка по годам замедлился в 2,6 раза.
Оставим только развивающиеся/живые дистры:
RedHat Gentoo Debian openSUSE/(SUSE) Slackware Vine
CRUX LFS ALTLinux/(Alt) DamnSmall Gnoppix Fedora
PCLinuxOS Ubuntu FreeBSD Slax KANOTIX Arch
Kubuntu CentOS TrueNAS/(PC-BSD) Puppy Zenwalk Xubuntu
Mint TinyCore Ultimate Lubuntu Mageia Zorin
Bodhi ROSA Manjaro elementary SparkyLinux Kali
Lite Deepin SteamOS antiX Netrunner UbuntuMATE
Solus ReactOS Tails MXLinux KDEneon Peppermint
Endless Pop!_OS Parrot EndeavourOS UbuntuKylin Linuxfx
Garuda AlmaLinux EasyOS Nobara Vanilla CachyOS
TUXEDO NixOS Bluestar AnduinOS BigLinux
Итак, естественный (по большей части) отбор отсеял 48 дистрибутивов из 113 за 23,5 года, оставив 65 дистрибутивов.
Вымерло 42.48% дистрибутивов из когда-либо побывавших в нашем рейтинге 25-ти самых востребованных, почти за четверть века, совсем немалый срок.
Помянем, прах к праху.
Мы их выбросили на свалку истории, потому что они устарели, большинство - сверх. Там будут проблемы с установкой современных приложений, проблемы с безопасностью, с совместимостью железа и множество иных.
Мы же продолжаем отсеивать лишние, ища наиболее подходящие варианты для нас, методом исключения.
Дальше я буду в том числе немного поливать грязью дистры, причём совершенно небезосновательно, основываясь на личном и чужом опыте, опыт накопленный суммарно за десятилетия.
Ну потому что их ещё гора, а нам надо продолжать отсеивать, и вот мы убираем худшие варианты в целом, по разным параметрам, характеристикам, критериям.
FreeBSD и TrueNAS (PC-BSD) убираем, это операционки для серверов.
Kali и Tails убираем, потому что это узкоспециализированные дистрибутивы, а не для ежедневного использования рядовым юзером, это не универсальные "стандартные" ОС.
ReactOS - щёлк, это мусор, а даже не "минимальная полноценная ОС общего назначения", его невозможно использовать в серьёзных целях. Полно таких мусорных недоОС, это чисто поиграться-потренироваться, если ты разработчик операционок или хочешь им стать на серьёзном профи-уровне.
Теперь выбрасываем все дистрибутивы, сильно зависящие от коммерческих компаний, корпоративный диктат, "деньги, а не пользователи", "информация = деньги" (шпионаж) и всё такое, мы отсеем крупные коммерческие дистрибутивы, там они хозяева, а не сообщество: Red Hat, Fedora, CentOS, openSUSE (SUSE), Ubuntu, Kubuntu, Xubuntu, Lubuntu, Ubuntu Kylin, Ubuntu MATE.
Zorin - бесплатная демка-урезка - на свалку.
SteamOS - закрытка, там полностью рулит только Valve.
ROSA и ALT Linux (Alt) на свалку - потому что рашка, госрашка. Сравнивать эти "дистры" с норм дистрами - это как сравнивать запор с автомобилем. Шильдики переклеивать - любой горазд. Ещё и лежат под гос, а времена сейчас стрёмные...
Deepin - китайский мусор, туда же.
Deepin - это китайский Red Star (который СевКо), разрабатывается подгосударственной китайской компанией, никаких сверхнебезопасных ОС.
Помогая этим дистрам, вы помогаете своим и чужим рабовладельцам за бесплатно и больше ничего.
Просто блокните их сайты у себя.
LFS - не ОС, а набор учебных программ скорее с исходными кодами, конструктор для тех, кто хочет изучать GNU/Linux на уровне ниже стандартного пользователя, собирать всё сам с нуля, компилить, настраивать, вместо спортзала, тренировка ума и памяти, игрушка. Неприменимо в повседневной жизни в качестве ОС.
Puppy, EasyOS, Tiny Core - откровенно паршивые мини-ОС для слабых компов, много проблем и ручной работы, настройки, костыли и велосипеды, лишняя головная боль, нестыковки, постоянно что-то не работает, даже основные вещи, а нам надо "всё из коробки". Если вы поставите операционки из этого списка, у вас будут проблемы с нахождением и установкой программ, но не все мини-ОС такой мусор. Просто нужно выбирать те, что построены на крупных дистрибутивах, они имеют отличные конкурентные преимущества перед такими вот обособленными специфическими урезками, ещё и с минимальными сообществами.
Вечный и полностью бесполезный сизифов труд, это скорее Экспериментал ОС, разрабы, как художники пытаются воплотить в жизнь свои идеи. Это игрушки, а не настоящие современные ОС, ничего такого.
В Puppy полный бардак, есть сборки на разных дистро-базах, кажется, не всё бесплатно.
Gentoo - это такой специальный дистрибутив для ускорения Всемирного Потепления и накручивания вашего электро-счётчика, чтобы компенсировать переход с термоизлучателей на светодиоды, и чтобы ещё продуктивнее и эффективней работать самому, ну и для тех, кто любит подождать несколько часов или даже дней, прежде, чем просто взять и запустить скомпилированную ОС и программу в ней, сплошной буддизм, деяние в недеянии.
Да и информационные носители нужно чаще обновлять, не в каждом же устройстве внедрено запланированное устаревание, пожалейте производителей из поднебесной, которым нужно постоянно продавать новое, чтобы не обанкротиться, и поэтому китайский мусор должен постоянно ломаться, в конце концов.
Ну а если серьёзно, Gentoo застрял в далёком-далёком прошлом, некогда он занимал лидирующие позиции, но его время кануло в лету.
Он остался таким же, каким и был в начале нулевых, нет, даже раньше (Enoch).
Его можно использовать для слабых компов, один раз всё скомпилить под конкретное железо и юзать ничего не меняя вообще, или на хилый девайс поставить, если получится, но лучше выбрать - мини-ОС.
Slackware - второй главный пережиток прошлого, который, как и первый так и не достиг вразумительного состояния в эволюционном плане.
А все попытки построить на их основе нечто адекватное - провалились, даже Chrome OS - от ЦРУgle, хотя они даже написали свой конфиг для Гентухи.
Гентуха и Слака - излюбленное угощение для любого гиперолдфага, если ему нужен сервер, но в плане альтернативного аналога для Винды и Мака - это неприменимо, это не является хоть сколько-то приемлемой заменой, калькулятор - не альтернативный аналог компьютера, это лишь жалкое оскоплённое подобие.
И я не видел никогда дистров на их основе, которые заслуживали бы внимания, ну не сложилось у творцов, не дано.
Gentoo и Slackware - сверхморально устаревшие дистры, сама база, фундаментальная идеология, но всё ещё имеют некоторую базу пользователей.
И эти дистры не так "устарели", как "устарели" rss или форумы и многое другое, как нам впаривают Омериканские корпы, чтобы загнать нас в их большие загоны для огромных стадов овец и баранов, чтобы рубить на нас бабло.
Эти основные дистры действительно устарели и проиграли конкурентную борьбу другим основным дистрам.
Не нужно было бесконечно ориентироваться на прошлое и на былых пользователей-олдфагов, которые давно уже все на пенсии или в "лучшем мире".
Vine - последняя версия 2017, японский дистр, японский сайт - на свалку.
Lite - основан на Ubuntu, плохая идея, отсутствие независимости, ты под пятой капитала прежде всего, исключаем.
KDE neon - тоже на базе Ubuntu, на свалку. Кстати, кто там основные спонсоры KDE за прослойками?
Капитал рано или поздно убьёт нас всех, а именно тогда, когда наша смерть ему станет выгоднее, чем наше существование. Вы знаете, что нужно делать...
Pop!_OS - "is an Ubuntu-based Linux distribution" - отвал.
Кроме того: "System76 — это американская коммерческая компания, которая занимается производством и продажей компьютеров (ноутбуков, настольных ПК, серверов) с предустановленными операционными системами на базе Linux, такими как Ubuntu или их собственный дистрибутив Pop!_OS." Свои девайсы у разработчика операционки - это гора дополнительных проблем в том числе и в самой ОС, они нам ни к чему.
Linuxfx - Ubuntu, - CANCEL.
AlmaLinux - Fedora, Red Hat, - delete.
Nobara - Fedora, - Отказать!
TUXEDO - Убунта, (делает коммерческая компания, типа Германская) - rm -Rf.
AnduinOS - Ubuntu, - remove. Не залезайте в кабалу, никаких троянских коней, всё это пройденный материал.
Bodhi - Убунту базед, отсев.
Mint - Убунту-шляпа. Дистр неплохой в целом, но неплохих полно, а этот с зависимостью, как вредная привычка, которая когда-нибудь тебя да убьёт и лучше просто не употреблять. На выброс.
elementary OS - бубунту-свалка.
Неплохо прошлись бульдозером.
Дальше будет более тонкая работа.
Итак, весь полный, проблемный и/или неприемлемый шлак мы отсеяли.
Поехали дальше, ранее всё было очень просто, мы рубили топором с плеча, только перья летели, сейчас уже заметно сложнее...
Основные материнские дистрибутивы и семейства Линукс легко распознать на данной схеме:
Slackware Debian Ubuntu RedHat
Fedora Suse Gentoo Arch
Ubuntu, Red Hat, Fedora, Suse - мы выбросили целиком, ну а чо они?, они коммерческие ("диктат денег", "сегодня есть - завтра нет", "сегодня бесплатно - завтра плати и закрытые лицензии") и выбросили всё, что основано на них и сильно от них зависит.
Slackware и Gentoo - крайне устаревшие дистрибутивы, пережиток прошлого, и ничего дельного и выдающегося на их основе я никогда не видел. Тупиковые ветви эволюции. Можно поюзать на серверах, но мы для клиента ищем.
Короче, говоря, из основных дистрибутивов остаются только два (+- независимых, грубо говоря):
Debian и Arch.
Неосновные дистрибутивы на собственной базе гораздо меньше основных вышеперечисленных - это всегда проблема с пакетами, приложениями, совместимость, драйвера, всё. Но они ни от кого не зависят в этом плане. Но и их сообщества гораздо меньше.
5 дистрибутивов на собственной базе, а не на базе основных (напротив дистров их рейтинги):
CRUX - 138 (12 months), а в 2002-м был на 15 месте. Дистр утонул. Отвал Дистра. -
NixOS - это ОС для серверов, она заточена на это, на клиенте не нужны никакие серверные излишки, каждая вещь для своего дела. Отсев. Это не ОС общего назначения.
Зачем тебе ставить, к примеру, сборку Винды со специализированным студийным ПО для создания музыки, где ещё и сама ОС изменена специфическим образом, если ты не создаёшь профессионально музыку, а если и нужно сбацать пару-тройку треков при помощи нейронок с последующим редактированием, то сделаешь это в стандартной Винде и при помощи того ПО, которое удобно для тебя. -
PCLinuxOS - 36 (12 months и 6 мес.), а ранее годами держался в нашем "Топе 25". Если брать временные периоды короче, ближе к нам, он падает ещё ниже, но на таком коротком временном отрезке, колебания будут слишком сильны, так что они не показатель.
Списывать ли его со счетов?
Дело в том, что дата последнего релиза 2023-07-30, поэтому и хиты падают, не было новой версии, которую многие пошли бы качать.
Но есть другая проблема (https://distrowatch.com/dwres.php?resource=showheadline&...):
"2025-06-30 Веб-сайт PCLinuxOS в автономном режиме
На этой неделе проект PCLinuxOS потерпел неудачу, поскольку его веб-сайт и форум были отключены от сети . " Сайт, на котором размещен веб-сайт pclinuxos, загорелся и сгорел. Мы не знаем, будет ли он восстановлен и когда. Это временный форум, которым мы можем пользоваться, пока все не вернется в норму. " Был создан временный форум , чтобы дать участникам сообщества возможность общаться до восстановления основного веб-сайта."
Они создали новый форум: https://www.pclinuxos.com/forum/
Новый дистр лежит там: https://ftp.nluug.nl/os/Linux/distr/pclinuxos/pclinuxos/iso/
Вероятно, их статистика на Дистроватче крашнута и резкое падение является мнимым. +-
Solus - 27 (2022), 32 (2023), 24 (2024), 25 (12 мес), 28 (6 мес), раньше в первой десятке был, сдаёт позиции.
Мда...
"Веб-сайт дистрибутива был отключен примерно в начале 2023 года, и потребовались недели, чтобы восстановить инфраструктуру проекта. Это, в сочетании с некоторыми проблемами со связью и отсутствием новых установочных носителей для проекта текущего выпуска за последние 20 месяцев, вызвало много опасений по поводу будущего Solus."
"Разработчики Solus объявили о плане по снижению нагрузки на сопровождение проекта путем постепенного отказа от поддержки AppArmor в ядре и, в конечном итоге, отказа от поддержки пакетов Snap."
Дела у ребят идут явно неоч. +-
Mageia - один из "топовых" дистров, второго звена, с 2023, со времени последнего релиза неплохо скатился, аж, в несколько раз. +-
Итого, два дистра отвалились, два - сомнительные, Mageia - пока живёт.
Я надеюсь, нас не загоняют никуда, как стадо овец или стаю хомячков, прививая мнение, что подобные дистры, "ненадёжны", ну разрабы нищеброды, мол, и непрофессионалы, проекты - фигня, нет стабильности, небезопасны, "зато бесплатно и почти не шпионят", блаблабла.
Как, к примеру, новости идущие друг за другом, о вредоносных пакетах в репах Debian и Arch.
Да, кстати, Гугл-нейронки бесполезно спрашивать о дистрах, гугл их хвалит, как зачастую и многое другое, Гугл - это главный рекламщик и прослойка-продавец планеты сегодня, пока их Европа с Китаем окончательное не сбросили, уничтожив эту монополию Корпорации Бобра.
Гугл-нейронки лишены способности относиться к товарам критически, они вам эти товары только впихивают.
Любой негативный отзыв гугл-сервисов о товарах и услугах, которые они толкают - потери для них.
Какая тут честность, какая здесь объективность и взвешенная правдивая всесторонняя оценка могут быть? Смешно.
Больше всего напрягает фарма- и политический развод и в поисковике тоже.
"Ты болен, станет хуже", тебя просто запугивают - иди к врачу и плати, покупай лекарства, государство вытащит из тебя кучу денег через фарма-прослойку, они сами искусственно взвинчивают цена на всё это, чтобы грабить нас.
Иди голосуй - всё равно получишь, как обычно, обеспечь явку на выборах, поддержи клоунаду и остальной бред, придай легитимности власти, им так экономически выгоднее. Но реально легитимной власти не может существовать, это очередной обман системы.
Надоели эти манипуляторы с их спекуляциями.
antiX, Damn Small Linux (aka DSL), Slax - мини-ОС, но уже на допустимой и адекватной базе и этот вариант уже юзабелен, куча пакетов от Дебича итд, эти ОС-дистры уже не мусор. Но они специфические. Это не совсем универсальная клиентская ОС на каждый день, а-ля Винда.
Они урезанные, но легковесные и быстрые, но урезанность временами может обернуться дополнительными плясками с бубнами, а хочется же "всё искоробочки"...
Это относительно недостаточно полноценные ОС, лишняя головная боль не нужна, когда есть более лучшие и доведённые до ума предложения, они ставятся на совсем уж старые компы конца нулевых. +-
Zenwalk - дистр на отсталой Слаке, оценка твёрдая - 9, основанная на целых трёх отзывах, за всю его историю на ДистроВаче.
Во второй половине нулевых держался на высоких позициях в нашем "топе", аж 15 позиция и глубже, но сегодня он на 140-180, дистр утонул.
Ещё один зомби-дистрибутив. -
Кому-то местами может не понравится то, как я производил отсев, ну типа якобы "придираясь к мелочам", но вы можете считать, что мы оставляли меньшее из зол на каждом этапе отсева, при каждой итерации. Мы действительно ищем суммарно наилучшие варианты.
И да, ещё раз, на свалку все коммерческие дистры, это давно пройденный материал. Нам не нужны хозяева. Мы - свободные люди.
Просто все коммерческие дистры разом бульдозером на свалку, и все, которые на них основаны.
Итак, посмотрим на то, что у нас остаётся.
Два семейства - два материнских дистра и дочерние.
Сразу метим комерсов при обнаружении (не по всем нашёл инфу), шпионские дистры (вы и инфа о вас - это товар, комерсы часто вас продают, ваши инфо-образы, не стоит доводить до паранойи каждый раз, но всё равно неприятно, они кто такие вообще?), метим и зомби-дистры, основываясь на статистиках ДистроВатча.
(Debian:) - Топовый дистр, который за 23 с лишним года ни разу не опускался ниже 9-го места, он всегда в первой десятке. Раньше он был не вполне допиленный, но время идёт. +
Gnoppix - дистр, который был мёртв 17 лет и в 22м зашевелился. Утонувший Зомби-дистр. -
KANOTIX - утонувший зомби-дистр, который уходит "в спячку", в небытие на 5-10 лет, такие перерывы между релизами, квазиразработка. Неприемлемо, как такое использовать? Бред. -
SparkyLinux - занимает последние 5 позиций последние несколько лет в нашем недо-"Топе 25", это не так уж и хорошо - быть на уровне серверных дистров. Живёт давно, временем проверен. +-
Netrunner - давно утонул. -
MX Linux - Один из самых топовых дистров. Мяу-мяу :3 Он даже в ВБ почти не тормозил у мня. +
Peppermint - комерс -
Endless - комерс -
Parrot - некогда всплыл в наш топ, но притонул и продолжает погружаться. +-
Vanilla - комерс -
(Arch:) - арч, старый проверенный дистр, ещё одна бабушка-прародительница, долго висел в нашем недотопе (25 позиций - слишком большая выборка, тут и лидеры и самое клиентское дно, но ещё юзабельное в принципе), но временами поднимался и в "Топ 10" (это настоящий топ, только лучшие дистры). В последние годы он всё больше сдаёт и уступает более молодым дистрам на своей основе. Арч - это такой "прокаченный Генту", особенно если взятие производной - это для вас "прокаченное деление", а нахождение интеграла - "прокаченное умножение". Он неплох в качестве базы для дистров, но сам он, официальные образа, всегда был неудобным и недопиленным, грязью его только так поливали, массово. Разрабы дистров на репах Арча как раз пытаются исправить эти недостатки, они делают его удобным и юзабельным для более широких масс для их клиентских машин, а не только для админов серверов, каким являются его оф сборки, часть из них пытаются даже зарабатывать на этом. +-
Ultimate - давно был в топе, но притонул неплохо. +-
Manjaro - комерс -
EndeavourOS - один из топовых дистров. +
Garuda - индийский дистрибутив, но пока держится... на дне топа. Теряет позиции. Очередная попытка сделать Арч юзабельнее. +/+-
CachyOS - российский дистр, на свалку из-за политической ситуации, никакого шпионажа/разведки, никаких госпроектов, типа от "сообществ любителей", смешно, больше никогда! Если в сообществе любителей полно любителей запихать бэкдоры в ОС, то такая ОС нам точно не нужна.
Рашка под санкциями, их разрабов турнули, и тут взлетает РосДистр (изначально рос, типа "международный"), ориентированный на глупых инфантилов-геймеров.
Система опять поимела лохов? У нас есть подозрение и есть альтернативы без таких подозрений, каков наш выбор? Выбор - на свалку. Нам не нужны никакие лишние проблемы.
Википедия - это прежде всего разведка ЦРУ, а не просто проект банды воров для попилов на лохах и не просто словарик, помогающий госсистемам контролировать свои местные стада, толкающий "официальный" псевдонаучный государственный взгляд/бред на всё - очередной механизм госпропаганды. -
Bluestar - по статистике изрядно притонувший и временно всплывший. Релиз был недавно, а статистика с высоким разбросом, потому что за малый период времени. Ни о чём этот подъём пока не говорит. Не будем спешиться с выводами, основываемся на прошлой собранной статистике, кратковременные скачки херня. -
BigLinux - основан на коммерческом Manjaro - на свалку. -
То есть остаётся теперь всего несколько вариантов (дистры в скобках - это "дистры в себе", у них своя собственная пакетная база), теперь у нас хирургическая точность, всё оч аккуратно:
(Debian:)+ MXLinux+ SparkyLinux+- Parrot+- antiX+- DamnSmallLinux/(aka DSL)+- Slax+-
(Arch:)+- EndeavourOS+ Ultimate+- Garuda+/+-
(PCLinuxOS)+- (Mageia)+- (Solus)+-
Ну и что, собственно, выбирая ЛУЧШЕЕ для общего употребления для клиентских машин, естественно, оставляем только строгие плюсы, что вполне логично:
Debian MX Linux EndeavourOS
Вот он наш лучший выбор на сегодня, если мы хотим открытую и бесплатную ОС, коммунизм, все дела, если мы хотим хоть какую-то независимость от корпораций и государств, хотим максимально "всё из коробки", чтобы ничего не настраивать и максимум юзерфрендли.
Да, Debian стал староват, оф сборки так себе, 7/10 по юзерфрендливости максимум, и старушка Арч уходит.
Наверное, осталось только объединить два более современных дистрибутива в один.
MX Linux и EndeavourOS.
Один на базе Debian, а другой на базе Arch.
Объединить молодняк, свежую кровь, объединив эти базы-рода в одну.
Нужно потрахать MX Linux и EndeavourOS и мы получим Белзайку! Дааааа... :3
На Европейской основе!
Счастливый конец-начало!
License: Public Domain (without retaining authorship).
Все торговые марки принадлежат их владельцам.
Переход на Proxmox (Austria) с Hyper-V by Microsoft и VMware by Broadcom. Часть 10. Внешние системы хранения данных - iSCSI
Для лиги лени: ничего нового, проходите мимо.
Часть 1. Общая
Часть 2. Gitlab и Nexus
Часть 3. Ansible и Ansible AWS
Часть 4. Наконец переходим к Proxmox
Часть 5, не запланированная. Обновляем Proxmox с 8.4 до 9.0. Неудачно.
Часть 6. Возвращаемся к запуску Ansible
Часть 7. Разница концепций
Разница концепций. Часть 7.1 Обновления компонентов и система информирования.
Разница концепций. Часть 7.2 Сети
Разница концепций. Часть 7.3 предисловие к теме «Дисковое пространство».
Разница концепций. Часть 7.4 «Локальное дисковое пространство».
Часть 8. Разница концепций
Разница концепций. Часть 8.1 Расположение дисков VM
Разница концепций. Часть 8.2 Добавление дисков к хосту
Разница концепций. Часть 8.3 Настройка нескольких дисков
Разница концепций. Часть 8.4 Управление диском виртуальной машины.
Часть 9. Скорости дисков
Часть 10. Внешние системы хранения данных
Что есть в 2025 году из протоколов подключения систем хранения?
FCP, Fibre Channel Protocol. Старый, постепенно отмирающий, но менять надежность и привычность FCP на DCB сложно. Не столько сложно технически, сколько организационно. Для внедрения нужно будет бить сетевиков палкой, чтобы не пытались рассказывать про LAG вне контекста Mellanox 6 (или 8, не помню).
iSCSI \ iSCSI Extensions for RDMA (iSER). C iSCSI работает вообще все, вопрос с какой скоростью и с какими настройками. iSER при этом под вопросом самого своего существования.
SMB Multichannel. Живее всех живых.
NVMe over Fabrics в ее вариантах – over FC, over Ethernet, over IB.
Поскольку речь про Proxmox, то SMB Multichannel, крайне удобная и рабочая конструкция для S2D, Storage Spaces Direct, тут рассматриваться не будет.
Подключение по FC сейчас, ввиду политики Broadcom, вещь неоднозначная.
Остается iSCSI.
Открываем OceanStor Dorado and OceanStor 6.x and V700R001 Host Connectivity Guide for Red Hat и читаем до просветления главу Establishing iSCSI Connections и Recommended Configurations for 6.x and V700R001 Series Storage Systems for Taking Over Data from Other Huawei Storage Systems When the Host Uses the OS Native Multipathing Software.
Или, если у вас другой вендор системы хранения, читаем его документацию. Вообще, конечно, очень странно устроен Linux в части device-mapper-multipath. Точнее, у Hyawei пишется, что настройки нужно делать в alua, и не содержит указаний на настройки rr_min_io, хотя path_selector и выставлен в "round-robin 0". В главе про ESXi для AFA (all flash array) указано про rr=1, а тут нет. Но это настройки больше про скорость, а так и 1000 IOPS сойдет (но может быть не так просто).
Теперь к практике. Сделаю iSCSI target на Windows server, эта функция там из коробки лет 20, и добавлю к Proxmox.
Сначала спланирую сеть, как обычно – с извращениями.
Vlan 11, Windows server 172.16.211.151/24; Proxmox 172.16.211.162/24
Vlan 12, Windows server 10.0.12.151/24; Proxmox 10.0.12.162/24
LACP для iSCSI не рекомендован много кем, в том числе из-за сложностей с Multiple Connections per Session.
Добавляю новый свитч:
New-VMSwitch -Name Privet01 -SwitchType Private
Добавляю по 2 сетевые в обе VM -
Add-VMNetworkAdapter -VMName Proxmox -SwitchName Privet01 -Name V11
Add-VMNetworkAdapter -VMName Proxmox -SwitchName Privet01 -Name V12
Set-VMNetworkAdapterVlan -VMName Proxmox -Access -VlanId 11 -VMNetworkAdapterName V11
Set-VMNetworkAdapterVlan -VMName Proxmox -Access -VlanId 12 -VMNetworkAdapterName V12
и аналогично для второй VM
В этой конфигурации есть проблема. По умолчанию для VMNetworkAdapter включен VMQ. В некоторых сценариях и с некоторыми сетевыми картами эта функция работает очень плохо, вызывая какие-то разрывы, там, где не было ни единого разрыва, причем влияя на весь сетевой стек.
Я бы рекомендовал всем, кто использует Hyper-V и VMQ, проводить тестирование работы до запуска в продуктив.
В этой конфигурации есть еще одна проблема. После создания нового виртуального коммутатора и добавления двух сетевых карт в VM Windows server, первая сетевая карта в VM перестала получать адрес по DHCP, и основной адаптер стал (может, и был, я не проверил)
Microsoft Hyper-V Network Adapter #2
Первый раз такое вижу. Ситуация усугубляется тем, что старый интерфейс управления сетями в Windows server 2025 спрятали, а новый убогий.
Удалил вновь созданный виртуальный коммутатор, хотя он был SwitchType Private, все пересоздал, перезагрузил, сделал статичный IP внутри VM – вроде, работает.
Вопрос «что это было» не раскрыт.
Настройка VM Windows Server
Самое неудобное – это найти по MAC адресу, какая сетевая карта куда включилась.
Get-NetAdapter
вы думали
Set-NetIPAddress -InterfaceIndex 10 -IPAddress 172.16.211.151 -PrefixLength 24 ?
Ничего подобного.
New-NetIPAddress -InterfaceIndex 10 -IPAddress 172.16.211.151 -PrefixLength 24
New-NetIPAddress -InterfaceIndex 12 -IPAddress 10.0.12.151 -PrefixLength 24
И, конечно,
Install-WindowsFeature -Name FS-iSCSITarget-Server –IncludeManagementTools
Настройка Proxmox
ip a, только для того чтобы увидеть MAC адреса интерфейсов
nano /etc/network/interfaces
auto vmbr1.11
iface vmbr1.11 inet static
address 172.16.211.162/24auto vmbr1
iface vmbr1 inet manual
bridge-ports eth2
bridge-stp off
bridge-fd 0
bridge-vlan-aware yes
bridge-vids 11
не забываем про ifreload -a
И даже пинг не работает на таком свиче. Что-то прописать забыл. Очень неудобная история с системой интерфейсов в Proxmox. С одной стороны со схемой тут я переусложнил, с другой – в целом система настройки Linux bridge – vlan interface не самая удобная. Слишком много сущностей приходится прописывать.
Примечание. Не забыл. Прописал лишний раз – у меня же отдельный интерфейс отдан в VM, ему не надо настраивать vlan, как будто он в транк включен. Поэтому все проще, не забыть разрешить any any в windows firewall (в рабочих сетях так делать, конечно, не надо), и :
iface eth2 inet manual
auto vmbr2iface vmbr2 inet manual
address 172.16.211.162/24
bridge-ports eth2
bridge-stp off
bridge-fd 0
аналогично настроить iface eth3, и заработало .
желательно сразу посмотреть ID инициатора -
cat /etc/iscsi/initiatorname.iscsi | grep InitiatorName=
Отдаем iSCSI target с Windows server
Тут ничего нового уже много лет. Server manager – files services – iSCSI – далее- далее – прописать (для стенда сойдет) IP адреса и готово. Конечно, с CHAP. Получаем iSCSI target с Windows server
Два НО.
Первое НО. Нужно заранее прочитать про Set-IscsiTargetServerSetting и сделать
Set-IscsiTargetServerSetting -IP 192.168 (что там у меня) -Enable $False
и проверить
netstat -an | findstr "3260"
Менять ли приоритеты для IPv6 или их отключать – ваше личное дело. Напоминаю, что чекбокс «отключить ipv6» не работает уже лет 10. Нужно делать как написано в Guidance for configuring IPv6 in Windows for advanced users
или сделать
Get-NetIPAddress | Select IPAddress
Set-IscsiTargetServerSetting для ipv6
и перепроверить по старой школе
netstat -an | findstr "3260"
Или по новой школе
Get-NetTCPConnection | where {$_.LocalPort -eq 3260}
Второе НО.
Для тестов не забыть сделать:
New-NetFirewallRule -DisplayName "001 permit any 172.16.211.162" -Direction Inbound -Action Allow -RemoteAddress 172.16.211.162
New-NetFirewallRule -DisplayName "001 permit any 10.0.12.162" -Direction Inbound -Action Allow -RemoteAddress 10.0.12.162
С IPv6 поступать опционально, внимательно прочитав Guidance for configuring IPv6 in Windows for advanced users
Подключаем iSCSI target с Windows server на Proxmox (Initiator) - отладка
В GUI подключение iSCSI находится в datacenter-storage, а не в управлении хостом.
Редактируем /etc/iscsi/iscsid.conf согласно статье Proxmox Multipath и рекомендациям вендора СХД. Или не редактируем!
открываем GUI и .. и видим фигу, потому что полей для авторизации \ CHAP нет, а без них никакого target.
Отключаю CHAP, и все равно ничего не видно. Как обычно, в GUI никаких деталей нет, поэтому проверять придется руками.
Начнем по встроенной инструкции по кнопке HELP в GUI -
pvesm status
pvesm scan iscsi 172.16.211.151:3260:3260
и получу iscsiadm: No portals found
Пойду почитаю Подключение iSCSI диска в Proxmox,
iscsiadm --mode discovery --type sendtargets --portal 172.16.211.151
и получу тот же - iscsiadm: No portals found
nc -z 172.16.211.151 3260
выдает ничего. Пинг есть.
Поиграем в отладку!
nc -v 172.16.211.151 3260 со стороны инициатора (proxmox) работает с выводом результата
[172.16.211.151] 3260 (iscsi-target) open
netstat -an | findstr "211" со стороны target (Windows) работает с выводом результата
TCP 172.16.211.151:3260 172.16.211.162:37638 ESTABLISHED
Осталось протереть глаза, и оказалось, что я, вводя разрешенные IP в target, ввел не 172.16.211.162, а 172.16.11.162
ввел нужные данные, и
pvesm scan iscsi 172.16.211.151:3260
выдал все что надо.
Иначе бы пришлось лезть в tcpdump с обеих сторон. Для Windows, после ухода на пенсию (deprecated) Microsoft Network Monitor и Microsoft Message Analyzer, пока что есть wireshark.
Верну обратно chap, user = user, password = password1234, добавлю через GUI, посмотрю что вышло в
/etc/pve/storage.cfg
Вышло как по руководству,
iscsi: mynas
portal 10.10.10.1
target iqn.2006-01.openfiler.com:tsn.dcb5aaaddd
content none
И затем в GUI делаем Datacenter – Storage – add – LVM –
То, что это делается на уровне DC, а не на уровне хоста, раздражает конечно. Как и vmotion диска на уровне VM – hardware.
При этом, даже когда я включил CHAP, но или ранее был сделан логин, или еще по каким-то причинам сессия не переподключилась, то можно сделать LVM том , но при попытке перенести на него тестовую VM – получить:
iscsiadm: initiator reported error (8 - connection timed out)
iscsiadm: Could not login to [iface: default, target: iqn.1991-05.com.microsoft:win25-target01-target, portal: 192.168.2.150,3260].
iscsiadm: initiator reported error (19 - encountered non-retryable iSCSI login failure)
iscsiadm: Could not log into all portals
После таких включений на стендах всегда надо перегружать initiator, да и target не повредит.
Подключаем iSCSI target с Windows server на Proxmox (Initiator) с CHAP
Для начала удалю все, что сделал до этого – пустой LVM и подключение iSCSI. Тоже неудобно, конечно – есть у тебя том, зачем на нем еще сущности типа LVM применять.
Удалить iSCSI подключение из управления DC нельзя, будет ошибка
delete storage failed: can't remove storage - storage is used as base of another storage (500)
При этом все сущности хранения лежат в одной куче – и iSCSI, и LVM, и все на уровне DC, а не ноды. Поэтому тут тоже надо сразу делать соглашение по именованию.
Удалю сначала LVM, тогда дает удалить и iSCSI.
Без ввода CHAP в GUI (его там нет) подключение к порталу проходит . Но при попытке создать LVM не возникает список томов для создания LVM.
Придется на ручном приводе (в норме, конечно, через Ansible)
nano (или vi) /etc/iscsi/iscsid.conf
Конфигурация содержит блоки:
1 # To enable CHAP authentication set node.session.auth.authmethod
2 # To set a CHAP username and password for initiator
3 # To set a CHAP username and password for target(s)
4 # To enable CHAP authentication for a discovery session to the target, set discovery.sendtargets.auth.authmethod to CHAP. The default is None.
5 # To set a discovery session CHAP username and password for the initiator
6 # To set a discovery session CHAP username and password for target(s)
Мне нужны
node.session.auth.authmethod = CHAP
node.session.auth.username = user
node.session.auth.password = password1234
и потом по вкусу
systemctl restart iscsid
iscsiadm -m node --portal "172.16.211.151" --login
после чего должны получить:
iscsiadm: default: 1 session requested, but 1 already present.
iscsiadm: Could not log into all portals
посмотрим, что там:
iscsiadm -m discovery -p 172.16.211.151 -t st
о, все работает, нужные порталы есть, не нужных порталов нет!
Если вы все сделали правильно, то в GUI появится возможность выбора base volume
И при попытке создать LVM вы получите ошибку –
create storage failed: command '/sbin/pvs --separator : --noheadings --units k --unbuffered --nosuffix --options pv_name,pv_size,vg_name,pv_uuid /dev/disk/by-id/scsi-360003ff44dc75adcbb96b955813029da' failed: exit code 5 (500)
Хотя должна была быть другая ошибка -
create storage failed: vgcreate vg01 /dev/disk/by-id/scsi-360003ff44dc75adc839073953a451b73 error: Cannot use device /dev/sdc with duplicates. (500)
Отключу один IP на windows target и проверю:
iscsiadm -m session
service open-iscsi status
systemctl restart iscsid.service
systemctl restart open-iscsi.service
/etc/init.d/open-iscsi restart
Ничего не помогает, сессия со стороны Linux до 10.0.12.151, была и осталась. Со стороны Windows target TCP сессий при этом нет.
И так ничего не получается.
И ладно, да и пошло все, семь бед – один reboot.
после ребута все хорошо, один путь, но при создании группы получаю ошибку, что группа уже создана!
create storage failed: device '/dev/disk/by-id/scsi-360003ff44dc75adcbb96b955813029da' is already used by volume group 'VGiscsi01' (500)
Удалю ее (на уровне хоста в disks – LVM) и пересоздам.
ВЖУХ И ВСЕ СОЗДАЛОСЬ.
Снова удалю, верну обратно два пути на target, перезагружу proxmox (видимо, самый надежный метод),
посмотрим, что там:
iscsiadm -m discovery -p 172.16.211.151 -t st , отлично, два портала на месте.
Создам еще раз LVM через GUI, и отлично, ошибка создания воспроизвелась,
create storage failed: command '/sbin/pvs --separator : --noheadings --units k --unbuffered --nosuffix --options pv_name,pv_size,vg_name,pv_uuid /dev/disk/by-id/scsi-360003ff44dc75adcbb96b955813029da' failed: exit code 5 (500)
И группа iscsiVG02 создалась! Хотя и не должна была!
Надо будет воспроизвести и баг репорт написать.
Подключаем iSCSI target с Windows server на Proxmox (Initiator) с CHAP и Multipath
Читаем ISCSI Multipath, видим что текст устарел, идем на Multipath. В втором окне не забываем открыть Подключение iSCSI диска в Proxmox – там как раз про multipath есть параграф.
В старом тексте есть абзац
# apt-get install multipath-tools
В новом тексте
apt install multipath-tools
Но почему-то в середине текста.
Окей, multipath-tools поставил,
nano /etc/iscsi/iscsid.conf поправил, lsblk посмотрел, wwid сравнил
/lib/udev/scsi_id -g -u -d /dev/sdc
/lib/udev/scsi_id -g -u -d /dev/sdd
остальные настройки прописал, только для 7.3-6. сервис был
systemctl restart multipath-tools.service
а в 9 стал
systemctl restart multipathd.service
или я опять что-то путаю.
Доделаю. multipath -r; multipath –ll; multipath -v3
Следующий раздел меня, конечно, удручает:
Multipath setup in a Proxmox VE cluster If you have a Proxmox VE cluster, you have to perform the setup steps above on each cluster node. Any changes to the multipath configuration must be performed on each cluster node. Multipath configuration is not replicated between cluster nodes.
Впрочем, на ESXi с прописыванием esxcli storage nmp satp list и esxcli storage nmp satp rule, на каждом хосте, все то же самое.
Далее далее, новая VG создалась. ВЖУХ и трансфер прошел.
На физическом сервере можно было померять скорость доступа и нагрузку на интерфейсы, но в nested среде особого смысла в этом нет.
Может быть, потом.
Литература
Microsoft Set-IscsiTargetServerSetting
Microsoft Simplified SMB Multichannel and Multi-NIC Cluster Networks
Microsoft Guidance for configuring IPv6 in Windows for advanced users
Microsoft New-NetFirewallRule
Huawei OceanStor Dorado and OceanStor 6.x and V700R001 Host Connectivity Guide for Windows
Huawei OceanStor Dorado and OceanStor 6.x and V700R001 Host Connectivity Guide for Red Hat
Huawei Recommended Configurations for 6.x and V700R001 Series Storage Systems for Taking Over Data from Other Huawei Storage Systems When the Host Huawei Uses the OS Native Multipathing Software.
NVMe over Fabrics: Fibre Channel vs. RDMA
Synology What is SMB3 Multichannel and how is it different from Link Aggregation?
Обзор NVMe over Fabric, NVMe-oF
Configuring Highly Available NVMe-oF Attached Storage in Proxmox VE
High Performance Shared Storage for Proxmox VE
RH 4.4. Multipaths Device Configuration Attributes
RH Chapter 5. Modifying the DM Multipath configuration file
ISCSI: LACP vs. MPIO
802.3ad LACP for ISCSI
Proxmox Network Configuration
Proxmox Storage: iSCSI
Proxmox Multipath
Proxmox forum iSCSI Huawei Oceanstore Dorado 3000 LVM and Multipath
Proxmox forum How to Configure and Manage iSCSI Storage in Proxmox for Your Virtual Machines?
Proxmox forum How to setup multipathing on Proxmox VE?
Proxmox forum iSCSI with CHAP
Proxmox forum Proxmox, iSCSI and CHAP
Proxmox forum Proxmox 7.1, iSCSI, chap, HPE MSA and problems
Proxmox forum How to move VM to another storage
Подключение iSCSI диска в Proxmox
День в истории. 25 августа
1 место
День рождения операционной системы Linux отмечают 25 августа, потому что именно в этот день была закончена работа над первой версией ядра. Название дано в честь её разработчика, финского студента-программиста Линуса Торвальдса, который 25 августа 1991 года опубликовал сообщение в новостной группе Usenet и выложил исходный код своего детища, и операционной системы Unix, которой Linux был подобен по своей структуре и функциональности. На момент создания операционной системы Торвальдсу исполнилось всего 21 год.
Linux является лидером на рынках наиболее мощных компьютеров(97%), интернет-сервисов(60%), смартфонов(Android занимает 85% рынка)
Затраты на разработку системы Linux оценивается в 73 000 человека-лет, а стоимость проекта составляет приблизительно 1,4 млрд долларов.
2 место
25 августа 1810 британский изобретатель получил патент на жестяную банку. Жестяная консервная банка - надёжный способ сохранить надолго мясные консервы, рыбу, овощи, соусы и сгущённое молоко. В мире используют более 600 видов и размеров консервных банок.
3 место
25 августа 1958 года на продуктовом рынке Японии появилась лапша быстрого приготовления. Изобретателем нового продукта являлся основатель компании Nissin, японец тайваньского происхождения Момофуку Андо, организовавший первое в мире производство лапши Chikin Ramen - лапши на основе традиционного японского блюда рамэн с о вкусом курицы. Появление лапши быстрого приготовления позволяло сократить время пребывания на кухне. Но, как говорится, время - деньги, поэтому первоначально лапша быстрого приготовления позиционировалась как дорогостоящий эксклюзивный продукт. Она стоила в целых 6 раз дороже собы и удона. Впоследствии лапша быстрого приготовления стала более доступной для широкой массы населения. В 1971 году компания Nissin представила лапшу быстрого приготовления в чашке из пенопласта «Cup Noodle» (так называемый «рамэн в стаканчике»). Её можно было приготовить прямо в этой чашке, что сделало такую упаковку очень удобной для перекуса на природе, в поезде, школе, вузе, на работе.
Основным потребителем лапши быстрого приготовления является Юго-Восточная Азия, для этого региона лапша является таким же привычным видом макароных изделий, как спагетти для итальянцев.
В 2018 году в мире употребили 103 620 миллионов порций лапши быстрого приготовления. Из них 40 млн. приходилось на Китай, а 12,5 - на Индонезию.
Республика Корея занимала первое место в мире по потреблению на душу населения — 75 порций в год, пока в 2021 году на фоне пандемии коронавируса её не обогнал Вьетнам с 87 порциями против 73 порций у южных корейцев. Также с 2020 года Вьетнам вошёл в топ-3 стран по потреблению на страну лапши быстрого приготовления, опередив в свою очередь Японию и Индию.
Теперь топ-10 выглядит так:
1 место - Китай(более 40 млн);
2 место - Индонезия(12,5 млн);
3 место - Вьетнам(более 7 млн);
4 место - Индия(6,7 млн);
5 место - Япония(около 6 млн);
6 место - США(5 млн);
7 место - Филиппины(4,5 млн);
8 место - Республика Корея(4 млн);
9 место - Таиланд(3,7 млн);
10 место - Бразилия(2,7 млн).
11 место в этом рейтинге заняла Россия. В 2020 году россияне съели 2 миллиона порций лапши быстрого приготовления. В России за пальму первенства борятся два крупных производителя - Роллтон и Доширак, на долю которых приходится 2/3 рынка продаж.
В России лапшу быстрого приготовления в народе часто называют бомж-пакетом или бич-пакетом, так как в 1990-е годы она стоила настолько дёшево, что этот продукт мог позволить себе даже люди с самыми низкими доходами.
В опросе общественного мнения в Японии в 2000 году главным японским изобретением XX века жители назвали лапшу быстрого приготовления, а караоке оказалось на второй строчке.
4 место
В конце 90-х немецкий спортсмен Билл Брандес изобрёл игру под названием Shuttleball. В 2001 году игру переименовали в спидминтон. 1 января 2016 года игра получила новое имя - кроссминтон.
Кроссминтон — это ракеточный вид спорта, сочетающий в себе элементы бадминтона, большого тенниса и сквоша. Главная его особенность — игра без сетки, которую заменили собой два квадрата, расположенные на расстоянии 12,8 метров друг от друга. Играть можно на любой ровной поверхности и в ветреную погоду благодаря утяжелённому волану.
5 место
25 августа отмечается день любви к себе. Этот праздник нужен для тех, кто в повседневной рутине заботится о других, но забыл о самом главном человеке в своей жизни - о себе любимом. В этот день нужно как следует побаловать себя, отдохнуть, посмотреть любимый фильм и съесть любимый торт.
6 место
25 августа отмечается день лазанья по деревьям. До появления игровых приставок, современного интернета и смартфонов дети гораздо больше времени проводили на свежем воздухе, и их игры были более активными. В том числе маленькие непоседы залезали на деревья. Некоторые дети строили домик на дереве, другие трясли плоды с яблонь, кто-то сам спасался от собак или помогал спасти кота.
Также 25 августа отмечаются такие праздники, как дeнь фиoлeтoвo-лилoвoгo нacтpoeния (Purple Mood Day) и дeнь «Пoцeлуeмcя и пoмиpимcя» (Kiss and Make Up Dаy).
25.08.1991 — День рождения Linux [вехи_истории]
💬 В этот день молодой студент из Хельсинки Линус Торвальдс выложил в интернет сообщение:
Я создаю бесплатную операционную систему. Это будет просто хобби, не что-то большое и профессиональное, как GNU…
🧑💻 Этим посланием началась история Linux — ядра, которое стало основой для множества дистрибутивов и технологий, изменивших мир.
💻 Уже через несколько лет Linux вышел далеко за пределы «студенческого эксперимента». Благодаря открытой лицензии и сообществу энтузиастов, система стремительно развивалась.
⚡ Интересные факты
• Более 90% всех облачных серверов работают на Linux.
• Linux — основа Android, самой массовой мобильной ОС в мире.
• Международная космическая станция отказалась от Windows и перешла на Linux.
• Символ Linux — пингвин Tux, придуманный в 1996 году.
🎁 Linux подарил миру не просто технологию, а идею: свобода, открытость и сила сообщества могут создавать проекты, которые меняют будущее.
🐧✨ С Днём рождения, Linux!
Так было задумано много лет назад, а сейчас видим что происходит...
🩵 Linux или Нет ? 💔