IBM Power - сравнение и личное мнение⁠⁠

По просьбе @sarth,

Небольшая предыстория.Так уж сложилось, что с 18 лет работаю в компаниях IT-интеграторах - это такие IT компании, которые продают какие-то решения (сервера, схд, сетевое оборудование фаерволы,  всякий энтерпрайзный софт ), настраивают их у клиента и объясняют что да как айтишникам клиентов, ну и оказывают поддержку проданного. Айтишники, работающие в компаниях, могут не иметь опыт работы с оборудованием каких-то вендоров или с какими-то новыми решениями, а компании, где инфраструктура строится не вокруг админа, зачастую объявляют тендеры перед покупкой нового оборудования. На эти тендеры откликиваются несколько IT интеграторов, все они предлагают какие-то решения, в зависимости от того, с каким вендором у них лучше отношения (количество продаж, сертифицированных специалистов и т.п.) - хорошие отношения = хорошие скидки. Ну и с хорошими скидками можно клиенту назвать меньше цену. И если подходят под требования тендора и предлагают цену ниже  - то выигрывают тендер и идут ставить/настраивать/объяснять.

И пару лет назад занесло меня в компанию, которая активно сотрудничает с IBM. У IBM на рынке какое-то обособленное место. Если, допустим, на рынке серверов есть куча похожих вендоров - Dell, HP, Lenovo и т.д. и т.п. и все они говорят что их железо лучше и бла бла, но с точки зрения архитектуры у них всё одинаково - все они работают на Intel, иногда AMD процессорах и делают одно и тоже. Айтишники накатывают на них какой-нибудь VMWare VSphere и всё становится одинаково. Есть люди, которые предпочитают каких-то вендоров, типа для кого-то нет других решений кроме HP, но каждый своё болото хвалит, а я не любитель железа и не влезаю во все эти войны, у кого сервер лучше. У IBM раньше тоже были машинки на Intel - но десяток лет назад они продали эту линейку Lenovо - всякие Thinkpad, Thinkserver и т.п. - всё это наследие IBM.

А у IBM свой процессор со своей архитектурой POWER. Как, например, ARM на телефонах, которая не позволяет десктопные ОС ставить на телефоны, так и POWER работает только с софтом, скомпилированным под эту архитектуру - а это только их проприетарный AIX (UNIX) и некоторые линукс дистрибутивы (RHEL, Debian, Ubuntu). То есть сразу - винду, esxi и т.п. на POWER тупо не поставить. Да и не любой софт на линуксе перекомпилирован под эту архитектуру. Поэтому если кто-то купил сервера с POWER - то переехать на других вендоров ему будет сложновато.

Кто и зачем покупает Power сервера?  Я буду ориентироваться на свой опыт (я из Баку), возможно в России и других странах всё сложилось несколько иначе, хотя не уверен.  Основные заказчики - это средние и крупные банки, которые используют СУБД Oracle. Почему покупают IBM под Oracle? Объясняю с чужих слов, могу что-то напутать, но суть примерно такая. Оракл лицензируется по ядрам, и если вы купили какой-нибудь VendorServer с 12 ядрами, то вы должны купить лицензии под каждое ядро, даже если вы используете для оракла виртуалку с 2 ядрами, то есть 12 лицензий оракла, а они могут стоить 50к (цифра не точная) - в итоге 600к тупо на лицензию оракла. IBM POWER же позволяет вам дать ораклу только часть ядер, в итоге цена на лицензии ниже. Я сам не до конца понимаю этой схемы, возможно в чём-то ошибаюсь, подправьте в комментариях, если что-то сказал не так. Но кроме как для Оракловых баз, Power-ы также используются для всяких банковских приложений.

В целом сервер на Power-е "строится" несколько иначе. Я буду сравнивать с Intel  серверами, которые стоят в тех же банках.  Ну и буду рассматривать классическую схему - сервера подключены к стораджам. Если кто не знает, СХД, он же в народе сторадж, это такая полка с дисками. На нём создаются виртуальный диски и выделяются для серверов, которые, как правило, можно подключить по специальным оптическим свитчам и проводам. В целом такая архитектура называется SAN - storage area network. На фотке ниже - IBM-овский СХД Storwize. В последнее время всё большую популярность получаются All-Flash стораджи, то есть внутри только enterprise уровня ССД-шки. Ну и сами стораджи отказоустойчивы - сзади бывает два контроллера, и в случае выхода из строя одного, сторадж всё равно будет доступен.

Так вот, представим какой-нибудь классический сервер с Intel процессором. На серверах сейчас имеются две м.2 ссдшки (как raid1), куда загоняется, допустим, esxi. Дальше на 3+ серверах поднимается VMware кластер, цепляется на каждый хост сторадж и выделяются виртуальные диски на все сервера, где хранятся виртуалки, чтобы при выходе из строя сервера все виртуалки поднялись на другом сервере. Классическая схема, хотя, конечно, куча времени и боли на обслуживание такой инфраструктуры. Хотя сейчас все начинают задумываться о гиперконвергенции, допустим, о том же Nutanix.

Если же у нас IBM, всё выглядит несколько иначе. Во первых, нужно поднять где-то, обычно, на тех же Intel серверах, специальную виртуалку - HMC - которая будет управлять Power серверами. Дальше через HMC на Power серверах поднимаются две специальные виртуалки - VIOS-ы, которые сразу лежат на сторадже. То есть надобности в локальных дисках в приниципе нет. Кстати, виртуалки на IBM серверах даже называются по другому - LPAR-ы. Так вот,  эти  vios-ы нужны, чтобы распределять ресурсы - им выданы дублирующиеся адаптеры, т.е., например, один ethernet адаптер на первом vios, второй на другом. Таким образом, при выходе из строя одного vios, всё будет работать через другой. Ну и при создании обычных виртуалок CPU и оперативка выделяются отдельно, а всякие оптические адаптеры, ethernet адаптеры и прочее - с vios-ов. Можно на виртуалку отдать и целый адаптер, если хочется, но я говорю про классическую схему.

Так вот, в чём преимущество такого подхода? Во первых, представьте ситуацию, что вышла проблема с VSphere Esxi. А на нём завязаны диски с схд (датасторы), он выделяет оперативку, цпу и все ресурсы сервера. А на IBM  нет никакого стороннего гипервизора, он встроен в материнку. И адаптеры распределяются через две виртуалки - а значит выход из строя одного vios-а ничего не сломает. Во вторых, чтобы обновить VSphere, вам нужно перезагрузить хост, а значит мигрировать машинки. На IBM в прицнипе может сложиться ситуация, когда вы ни разу за время эксплуатации не перезагрузите хост - можно спокойно обновлять vios-ы, так как они дублируются.

Ну и немного личного мнения и наблюдений. Есть дофигища специалистов по Intel серверам, а вот найти спеца по IBM серверам очень очень сложно. Эти сервера редко где встречаются, а значит опыта работы, а уж тем более так, чтобы стать специалистом, у многих просто нет. В том числе и для меня эти сервера спустя два года всё еще непривычны. Еще операционка AIX - как бы IBM не нахваливал её как супер пупер отказоустойчивую, мне, как линуксоиду, напряжно с ней работать. Нет, в ней есть smit - псевдографический интерфейс, в котором можно делать очень много задач администрирования, но всё же не всё. Но больше всего меня бесит отсутствие репозиториев - пакеты нужно скачивать с сайта IBM и ставить, вместо привычного apt install whatever. А зависимости? Нет, вроде есть какой-то NIM, что-то типа локального сервера репозитория, но так я его ни у кого и не видел. Но самое страшное - IBM-овский софт. Я встречаю ребят, которые хают какие-нибудь оперсорные программки, но если б вы видели, как ставится энтерпрайзный софт... это же пиздец нахуй блять. Это нужно тупо мануал открывать и сидеть по нему команды вбивать - здесь поменять это значение, тут это, там вот это прикрутить и всё в таком духе. В общем, с точки зрения  построения системы - IBM молодцы. С точки зрения ОС - лучше бы AIX заменили на RHEL (имхо). 

Ну и на работе есть демо сервер (Power9 S922), могу для вас что-то потыкать и показать, если кому интересно. Ну и постараюсь ответить на ваши вопросы.