Для ЛЛ: Системное администрирование – это про управление сервисом, а не только про мегагерцы, ключи реестра, и / sys/fs/cgroup/ .
Плачет, грустит впечатлительный дождик -
Улицы, грязь, органический шлак.
Комментарии к предыдущим частям по прежнему демонстрируют, весьма наглядно, переход от «инженерного» к «магическому» мышлению . Например, кто-то пишет в комментариях «как же можно сравнить А и Б, очевидно что у А выше уровень труляляндии, чем у Б».
При том, что ни один из производителей не заявляет «труляляндию» как характеристику. Мегагерцы есть, кеш есть, число ядер есть. Труляляндии нет.
Измеряет ли кто-то «труляляндию» в мониторинге? Сомневаюсь.
Мешает ли это верить в труляляндию ? Нет, не мешает.
Мешает ли это писать в комментариях про труляляндию как важную характеристику? Нет, не мешает.
Мешает ли это называть число ядер «труляляндией», и считать, что домашний i7-14700K на 20 ядер (8P+12E) и 3.4 ГГц менее трулялянден, чем Xeon Silver 4208 (8 ядер, 2.5 ГГц) ? Нет, не мешает.
Понимает ли написавший, как работает SMT и scheduler ? Никогда не узнаем.
Можно выделить и разницу между «эксплуатацией вычислительных комплексов» и «администрированием вычислительных комплексов».
Разница такая же, как между ремонтом машины, где нужно знать, где лежит таблица маркировок масляного фильтра, вождением машины, где стоит помнить, как часто надо менять масляный фильтр, и управлением перевозками, где нужно заложить в бюджет замену фильтра и масла после 25 тысяч пробега, и отслеживать пробег.
То же самое относится и к эксплуатации компьютерной техники.
Где техник знает, что нужно смотреть запчасти в таблице совместимых запчастей.
Где эксплуатация знает, что вышедший из строя сервер с артикулом (part number) стоит на 2 этаже в машзале 7, ряд 12, юнит 23. Это знание ничуть не мешает эксплуатации перепутать машзал и ряд, и выдернуть чужое оборудование.
Системный администратор следит за тем, чтобы при плановом отказе сервера ZverServer22 все задачи с него переехали или перезапустились. ИТ-менеджер следит за тем, чтобы был контракт на замену запчастей. В РФ это все называют «системным администратором» и потом удивляются, почему у специалиста с знанием всех совместимых артикулов цветных картриджей зарплата 50, у специалиста, который ничего не знает в картриджах, зарплата 150, а у человека, который картридж только в Сеге, сигаретах, и водном фильтре видел, зарплата 1150.
Из такого уровня "админов" и появляются крики «супермикро плохо, только ХПЕ», или «ну какой админ не знает, что в Говносервере 4 из 2010 года надо подматывать провода синей изолентой».
Теперь немного о «принципиальной» разнице.
Тут, возможно, я задрал планочку слишком высоко. Потому что я видел такое, что вам, людям, и не снилось... Атакующие корабли, пылающие над Орионом догнивающие остатки PDP. Заброшенные заводы на Z80. Скелеты титанических конструкций..
Как известно, к огромному прискорбию всех техноархеологов, любителей и исследователей истории компьютеров, в СССР (про Россию и говорить нечего) не очень берегли старые машины. Печальная судьба постигла практически все из отечественных ЭВМ, и сейчас мы можем прикоснуться лишь к крохам из всего технического наследия тех времен.
МЭСМ была переплавлена на металлолом, от «Сетунь-70» осталась одна консоль, от «Электроника СС БИС» – части процессора, от «Стрелы» – пара запчастей, некоторые платы «Эльбрус-2» можно увидеть в Калифорнии в величайшем компьютерном музее мира Mountain View Computer History Museum. Останки единственного в СССР CDC Cyber 170 находятся в СПИИ РАН в Санкт-Петербурге, единственный же в Союзе Burroughs – сгинул без следа.
Из 300 с лишним БЭСМ-6 не уцелело почти ничего, суммарно платы каждой машины содержали более килограмма драгметаллов, так что их судьба в конце 1980-х – начале 1990-х была предрешена.
«Back in the U.S.S.R. A museum curator suggests Russia's BESM supercomputer may have been superior to ours during the Cold War».
https://topwar.ru/189962-rozhdenie-sovetskoj-pro-bjesm-saga-chast-iv.html
История вычислительной техники прошла через механические вычислители (начиная от часов и антикитерского механизма), электромеханические компьютеры, смешанные системы, 100500 вариантов транзисторной логики, и не всегда двоичной. Сейчас идет развитие квантовых вычислений, фотоники, биовычислений и прочего. На фоне общего пейзажа «всего ИТ» , на фоне того, что в компьютерах «раньше» стояла ферритовая память (с колечками) , а сейчас стоит DDR5, различия между intel i7-14700K на 20 ядер и Xeon Silver 4214Y на 12 ядер – ну .. ну да, они есть. Сокет разный. Переходников нет. Еще экономичных ядер насовали.
Подводя итог вступления и первых двух частей.
Существуют и материнские платы, и процессоры, «бытового» применения.
Существуют HEDT (high-end desktop).
Существует разные варианты «для рабочих станций», и линейка Intel® W890.
Существует Intel C741
Все это, конечно, «разное железо», но и тут мы сталкиваемся с дилеммой.
Если мы берем «сервер», и берем его от хоть какого-то вендора, а не первую попавшуюся плату, то, во первых, у вендоров «получше» идут «свои» запчасти с своими артикулами. Из своего там наклейка, и договор между производителем чипов, производителем памяти, и производителем серверов, про уровень брака.
Это не значит, что планка DDR4 32 Gb Dell не запустится в HPE. Возможно, запустится (зато нонейм планка не запустится в коммутаторе, потому что в прошивке памяти не написано, что планка совместима).
Это значит, что так делать не надо, потому что всегда есть риск, что планка памяти умерла ДО того, как ее поставили, а не в результате того, что ее поставили.
Отсюда возникают любопытные последствия.
Если вы берете нонейм сервер, то подбор планки памяти «на замену» - операция не самая простая, потому что нонейм памяти много, а времени мало.
Если вы берете память HPE 815100-B21, то вам не очень важно, что там производитель маркирует как 815100-B21 в этом году. Если надо не 32 , а 64, то смотрите в Product Interoperability Matrix и заказываете. Поставщик, на всякий случай, проверяет, что вы заказали именно то, что нужно.
Это не проблема «сложного и длительного поиска совместимости». Это просто закупка. По списку. С проверкой. Даже не рядом с сексом с интеграционным тестированием при обновлении библиотек.
Закончив с вступлением, которое незначительная часть читателей не осилит, перейду к оставшейся части, а именно – захоронению данных.
Практика показывает, что в этой части осталось мифов и легенд тоже хватает. Тут и легенды про «супербыстрые ССД» , и идеи «давайте втыкать везде аппаратный рейд» и «все SSD одинаково хороши».
Сначала, для понимания, придется открыть стандарт SCSI, хотя бы на уровне википедии, причем читать придется на английском. Если вы не можете перевести этот текст встроенным в браузер переводчиком, то сложность текста слишком высока.
Parallel SCSI specifications include several synchronous transfer modes for the parallel cable and an asynchronous mode. The asynchronous mode is a classic request/acknowledge protocol, which allows systems with a slow bus or simple systems to also use SCSI devices. Faster synchronous modes are used more frequently.
https://en.wikipedia.org/wiki/SCSI
While the flow of I/O request packets between a storage class driver and the SCSI Port driver is asynchronous, the flow of I/O request packets between the SCSI Port driver and the target device is synchronous. SCSI Port uses an internal queuing system that makes it possible for class drivers to send new I/O requests to SCSI Port before previous I/O requests have completed. However, SCSI Port does not send the next I/O request to the target device until it receives notification from the miniport driver that the miniport driver is ready to receive the next I/O request. The miniport driver notifies SCSI Port by making a call to the ScsiPortNotification library routine.
https://learn.microsoft.com/en-us/windows-hardware/drivers/storage/scsi-port-i-o-model
Как легко заметить, операции между контроллером и диском – синхронные.
Что это значило всего 10 лет назад ?
Что приложение получает задачу записи.
Приложение отдает задачу записи – операционной системе (пропустим ту часть, где ОС пересчитывает, где у нее есть свободное место).
Операционная система передает задачу «пиши» в драйвер.
Драйвер отдает задачу в контроллер.
Контроллер отдает задачу в сторону медленного диска, и садится покурить.
Это значит, что имеет практический смысл получить от операционной системы «пакет для записи», положить его в оперативную память контроллера, защищенную батарейкой, и отчитаться в операционную систему (в драйвер) – ВСЕ ЗАПИСАНО. Получаем вроде бы ускорение записи, если кеша хватает.
Что еще получаем? Получаем, заодно, специальный микроконтроллер, который умеет разделять потоки записи, собирать потоки чтения, считать контрольные суммы, ну и все такое.
Минусы ?
Минусы начались, когда узким местом «по скорости» стала цепочка обработки данных на микроконтроллере.
Минусы начались, когда стало можно (примерно году в 2015) все это считать на центральном процессоре с сопоставимой скоростью. Появились S2D (Windows server 2016) и Vsan (2014 год). Оба работали отвратительно до 2019-2020 года, а что касается NVME в Windows, то его поправили только в Windows Server 2025.
Есть классические сценарии, для больших и медленных механических дисков. Классические RAID. Живы, здоровы, работают.
Есть не такие классические сценарии, как Windows storage space и Windows storage space direct, с Mirror-accelerated Parity (MAP) и аналоги. Такой тиринг на минималках. Если не считать секса с Column Count, Interleave Size и Allocation Unit Size
Есть простое включение SSD дисков через NVME, и дальше сборка софт рейда «как получится». Есть использование аппаратного RAID. Тоже можно, и даже почти (то есть существенно, но переживете) включать SSD NVME через аппаратный RAID.
Есть дорогие решения для всего этого с использованием GPU, и не только, но я про это уже писал
NVME Raid – We Need To Go Deeper, или что там на глубине. GPU over NVME, с водяным охлаждением
В моей текущей инфраструктуре, в том числе облачной, не нужны такие IO, чтобы использовать только локальное хранение данных. У коллег из датасатанизма – есть, но они там маньяки и HRKMN EBN, но все равно их люблю, даже того, что с кличкой Раз Два.
Разница теории и практики
К сожалению (или нет) 90% собеседующих зачастую не в курсе про то, что написано выше, и ждут стандартных шаблонных ответов:
RAID лучшее, что придумали после полового размножения (спорно)
RAID 0 супер быстро, но не надежно (зачем он нужен, когда есть in memory?)
RAID 1 и 10 «быстро», RAID 5 «ну сойдет» (на самом деле нет, не сойдет. RAID 5 можно использовать или с Enterprise class SSD, или с дисками до терабайта размером или с теми данными, на которые вам плевать), RAID 6 – существует, но жалко отдавать емкость целого диска. Про Raid 2.0 массы обычно не слышали.
Софт рейд «плохо», хард рейд «хорошо» (Что тоже не всегда так, а иногда совсем не так, но именно такого ответа зачастую и ждут).
Про Raid penalty и его расчет сами почитаете.
Пополняемый список (по мере написания постов) литературы для обязательного чтения
Читать первые 4 пункта именно в таком порядке, по мере выхода книг.
Остальные читать в любом порядке.
«Мифический человеко-месяц, или Как создаются программные системы» (англ. The Mythical Man-Month: Essays on Software Engineering)
Deadline. Роман об управлении проектами
Проект Феникс. Роман о том как DEVOPS меняет бизнес к лучшему
Рождение советской ПРО. Последний советский суперкомпьютер
Весь цикл «Рождение советской ПРО»: https://topwar.ru/user/Sperry/
Можно читать даже комментарии, где пишут, что автор ничего не понимает, либерал и вредитель.
Но, среди членов клуба зануд он считается опасным интеллектуалом.
Intel Ultra Path Interconnect
Intelligent Platform Management Interface
Non-uniform memory access (NUMA)
NUMA Deep Dive Part 4: Local Memory Optimization
Ресурсы ниже могут быть не доступны из РФ, за что вы знаете, кому сказать спасибо
xfusion Hands-on Experience
xfusion FusionServer 2288H V5 3D model
The 3D Experience Center provides new hardware simulation for interactive experience, which supports all-round demonstration of hardware components and manual disassembly, providing details on the internal structure. You can access it as follows:
Visit Huawei Data Storage Infocenter (https://info.support.huawei.com/storage/#/home).
In the 3D Experience Center area on the home page, click Explore hardware.
Select OceanProtect Backup Storage.
Select the desired product model.
Select the component you want to view.
(Video) FusionServer Pro 2288H V5 Server Hardware Installation and Parts Replacement 11
Storage Spaces with parity, very slow writes. Solved!
NVME Raid – We Need To Go Deeper, или что там на глубине. GPU over NVME, с водяным охлаждением
Manage Hyper-V hypervisor scheduler types
Следующая часть будет недели через две. Возможно, через месяц. У меня успешно выкатился проект, теперь вместо ретро я собираюсь зависать в бескультурных излишествах, например дострою космолет.