DmitriitheFals

Григорий Иванович Отрепьев
Пикабушник
Дата рождения: 1 января
в топе авторов на 537 месте
14К рейтинг 341 подписчик 17 подписок 209 постов 60 в горячем
3

Ответ на пост «Мрачные человеки»35

Классика, точнее перевод -
Оригинал
East Coast personality vs West Coast personality
me: trying fix a flat tire in California: oh, bummer, that must be hard for you
in Baltimore: baby, what the ()is wrong with you, JEESUS CHRIST here let me do it before you () up your car more

When I describe East Coast vs West Coast culture to my friends I often say "The East Coast is kind but not nice, the West Coast is nice but not kind," and East Coasters immediately get it. West Coasters get mad.

If you're from the great white north, you get that kindness but not niceness everywhere. "() you but have a great day" "Wow that () made the best sandwich I've had in years, I gotta tip next time."

перевод
Менталитет Восточного побережья и Западного побережья
я: пытаюсь починить спущенное колесо в Калифорнии:
ох, дедушка, это должно быть тяжело для тебя

в Балтиморе: детка, что с тобой () не так, ИИСУС ХРИСТОС, давай я сам сделаю прежде чем ты () сломаешь все совсем.

Когда я описываю своим друзьям культуру Восточного и Западного побережья, я часто говорю: «Менталитет восточное побережья: дружелюбные, но не миленькие,
Менталитет западное побережье: миленькие, но не дружелюбные».
Жители Восточного побережья сразу понимают, что имеется в виду.
Жители Западного побережья бесятся

39

Обновление Windows Server до 2025, мелкие особенности и ошибки

Для ЛЛ: eval – отдельная редакция, остальное очевидно.

Давно я не обновлял у себя на стенде Windows server, на прошлой неделе добрался.
Скоро и в прод – уже вышли кумулятивы:
2025-01 Cumulative Update for Microsoft server operating system version 24H2 for x64-based Systems (KB5050009)
2025-01 Cumulative Update for .NET Framework 3.5 and 4.8.1 for Microsoft server operating system version 24H2 for x64 (KB5049622)

Конечно, не второй сервис пак, но что ж поделать.
Почему это важно: поддержка 2012R2 закончилась, поддержка 2016 закончилась, скоро закончится и поддержка для 2019. Плюс в 2025 обещают всякие приятные вещи, ускорения и улучшения. Мне интересно посмотреть на GPU partitioning, и улучшенный S2D.

Обновление Windows Server до 2025, мелкие особенности и ошибки Windows, Microsoft, Программа, Центр обновления Windows, Длиннопост

Картинка от 2019, суть та же

MS предлагает 5 вариантов установки и обновления до MS Server 2025: in-place upgrade, Installation, Migration, Cluster OS Rolling Upgrade, License conversion. Ничего особенно нового, ничего интересного. Прочитали, проверили на стенде, и в бой.
Разве что внезапный KB5044284, и прочие известные проблемы.
Так я и думал, запуская привычный Setup с ISO – и увидел, что обновляться мне не положено. Пункт «сохранить файлы и настойки» - серый, и не выбирается. Давно такого не видел, удивился. Пошел посмотрел
reg query "HKLM\SYSTEM\CurrentControlSet\Control\Nls\Language" /v Installlanguage

Но нет, все нормально, английский.
Пошел читать, и в сегодня лет узнал, что с точки зрения MS существует не 4 редакции Windows Server (Standard core, Standard desktop, Datacenter core, Datacenter desktop), а 8  -
Windows Server 2025 Standard Evaluation, Windows Server 2025 Standard Evaluation (Desktop Experience), Windows Server 2025 Datacenter Evaluation, Windows Server 2025 Datacenter Evaluation (Desktop Experience) – и это не одно и то же.
Я думал, что разница в лицензировании, но ошибался.
Сейчас добавился Datacenter: Azure Edition (ServerTurbine).

Как посмотреть остаток здоровья известно, (Slmgr /dli или DISM /online /Get-CurrentEdition или Get-ComputerInfo | select OsName, WindowsEditionId) , как перезарядить на 180 дней – тоже, (Slmgr /rearm), прочее скучное тоже не новость.

Что делать.

Берем инструкцию у MS (Keep personal files and apps option greyed out when upgrading from Windows Server 2012 R2 to Windows Server 2019)  или не у MS тут (Fix “You Don’t Have Permission” Error and Grayed Out “Keep Personal Files and Apps” Option During Windows Server In-Place Upgrade), на всякий случай читаем Fix Windows Update corruptions and installation failures, и делаем:
Распаковываем ISO в какую-то папку, в примере C:\ISO\SERV2016, делаем папку под временные файлы, C:\mount, и затем:
dism /mount-wim /wimfile:c:\ISO\SERV2016\sources\install.wim /mountdir:c:\mount /index:2
Важный момент с индексами – внутри install.wim лежит список этих индексов, 2 – для Windows Server 2025 Standard Evaluation (Desktop Experience), если вам нужен Windows Server 2025 Datacenter Evaluation (Desktop Experience) – то индекс 4.

dism /image:c:\mount /get-currentedition
dism /image:c:\mount /get-targeteditions
dism /image:c:\mount /set-edition:ServerStandard
На этой строке тоже не забывайте поменять настройки, если надо.
dism /unmount-wim /mountdir:c:\mount /commit

Все эти операции займут какое-то время – распаковка, запаковка. После этого можно будет запустить setup.exe, и обновиться по месту. Потом проверить, что получилось (DISM /online /Get-CurrentEdition)

Setup кривой.
Пару минут после запуска о чем-то думает, только процесс виден в списке процессов, при том что у меня на стенде 128 Gb памяти.
Дальше ничего интересного, сколько-то перезагрузок, и готово.

Настройки сохраняет, из тестового домена система не вылетела. Пишут, что так обновлять можно почти все – не знаю, не знаю. В случае Exchange, MS SQL и контроллера домена я бы так обновляться не стал.

Показать полностью 1
49

Windows server 2012 R2 в 2025 году – сплошные неприятности с windows update

Много слева, много справа
Всяких неприятностей!

Много неизвестностей
И там, и тут!

Для ЛЛ: 2012 R2 в 2025 году обновить не очень просто

Примечание: текст написан как заметка по troubleshooting, содержит лишние подробности.

Коллеги пришли плакать в личку – есть, говорят, на свете педобиры, а есть некрофилы. Их некрофилы хотят странного, любви, но без взаимности – чтобы обвешанная непонятно чем Windows server 2012 R2 работала, и ставила все патчи.
Коллег понять можно –хваленое импортозамещение регулярно не работает никак, кроме как на выставке, а соблюдать приличия, хотя бы в части патчей, надо.

В чем проблема.
Windows Server 2012 R2 давно снят с поддержки:
Mainstream End Date - Oct 9, 2018,
Extended End Date - Oct 10, 2023. Запомним эту дату, она нам еще будет нужна.

Но, по каким-то причинам*– к нему заявлена поддержка Extended Security Update Year 1, Extended Security Update Year 2, Extended Security Update Year 3 – до 2026 года.
* может, опять военные – MS поддерживала Windows XP для US NAVY до 2016 года и до сих пор поставляет «всякое».

Так что обновления выходят, последнее кумулятивное -
2024-12 Security Monthly Quality Rollup for Windows Server 2012 R2 for x64-based Systems (KB5048735)
Конечно, к нему нужно поставить
2024-10 Servicing Stack Update for Windows Server 2012 for x64-based Systems (KB5044413)

Но у коллег проблема – SSU ставится, а rollup не ставится, и все тут.
И настройки сбрасывали, и папку удаляли, и DISM делали – не идет каменный цветок у Данил мастеров.
Попросили меня.

Я не врач, но посмотреть могу.

Первым делом пришлось поискать у себя дистрибутив 2012 R2 c Microsoft Volume Licensing Service Center (VLSC). Всякого добра у меня в загашнике было, и 2003 сервер, и даже настоящий оригинальный Windows 2000 в коробочке, а 2012 R2 нет.
Пошел побираться.
Нашел en_windows_server_2012_r2_with_update_x64_dvd_4065220, почему-то на интернет архиве. Скопировал – пусть будет!
Попутно поискал по сусекам, по амбарам, у старых некрофилов (брал у них Nowell 4 не очень давно).

SW_DVD5_NTRL_Win_Svr_Language_Pack_2012_R2_64Bit_MultiLang_FPP_VL_OEM_X19-05196.ISO
MD5 506C7E34179267B09AD19575F271E0A7
SHA1 5A06AC7859EF9D8776E0D1067A9003044497F95E
SHA256 7D1CE64BB3EB719E86152D8B3568FAC631B2AB24422BC3B920679EB7AFFC6A4F

Microsoft Windows Server 2012 R2 RTM MSDN
SW_DVD5_Windows_Svr_Std_and_DataCtr_2012_R2_64Bit_English_Core_MLF_X19-05182.ISO
MD5 83BDF8034BCB019A8F001BAEEAB27326
SHA1 6823C34A84D22886BAEA88F60E08B73001C31BC8
SHA256 8BA8961E1CF10570A639F607963CFF9FF7EEDC42398F9F4D3B8670D5D9D3B1FF

Windows Server 2012 R2 with Update 1
SW_DVD9_Windows_Svr_Std_and_DataCtr_2012_R2_64Bit_English_-3_MLF_X19-53588.ISO
MD5 B52450DD5BA8007E2934F5C6E6EDA0CE
SHA1 D4B28F350981A7C3306DD409B172AEA10D8599AC
SHA256 C15E6E25377FAECF7E6D6B23723553211A4BC043773A62A06FBE2781F7E9F82E

Наверное, у кого-то где-то можно было найти что-то свежее с VLSC, но, чем богаты.

Поставил последний, получил чистый свежий билд 6.3.9600.
Надо было посмотреть
(Get-ItemProperty -Path c:\windows\system32\hal.dll).VersionInfo.FileVersion
потому что [System.Environment]::OSVersion.Version , оно же  [Environment]::OSVersion ничего не показывает,
но я не посмотрел.

Включил авто обновление.  Выключил IE Enhanced security. Выключил IE Protected mode.
– с ними не скачать хром, а IE из комплекта уже не может обработать https://www.catalog.update.microsoft.com/

Скачал хром. Скачал notepad++
Пошел, как пишут, скачал Windows Server 2012 R2 Update (KB2919355) – почему-то состоящий из 7 разных обновлений, но я взял только
windows8.1-kb2919355-x64_e6f4da4d33564419065a7370865faacf9b40ff72.msu
Не успел я его поставить, потому что сел пить чай с пирожными, как Win update выдала – вам надо поставить 112 важных обновлений, и 5 не очень важных.

Самое большое - Update for Windows Server 2012 R2 (KB3000850) от 4/14/2015 и затем
2023-01 Security Monthly Quality Rollup for Windows Server 2012 R2 for x64-based Systems (KB5022352)

Нажал кнопку «давай обновляйся» и отправился дальше по делам – пускай работает железный паровоз автоматизация.

Обновил, обновил еще раз, еще раз перезагрузил.
Сделал $Hotfix = get-hotfix ; $Hotfix.count
Всего поставилось 124 обновления, включая не обязательные.

Посмотрел
(Get-ItemProperty -Path c:\windows\system32\hal.dll).VersionInfo.FileVersion
6.3.9600.20512 (winblue_ltsb_escrow.220711-1746)

Посмотрим, что там наставилось.
Get-HotFix | Sort-Object -Property HotFixID -Descending

Первым номером идет
2023-09 Servicing Stack Update for Windows Server 2012 R2 for x64-based Systems (KB5030329), вторым -
2023-01 Security Monthly Quality Rollup for Windows Server 2012 R2 for x64-based Systems (KB5022352)

Так, а что насчет
2024-10 Servicing Stack Update for Windows Server 2012 R2 for x64-based Systems (KB5044411)?
главное, не спутать его с
2024-10 Servicing Stack Update for Windows Server 2012 for x64-based Systems (KB5044413)

Я спутал.
Поищем:
2024-12 Security Monthly Quality Rollup for Windows Server 2012 R2 for x64-based Systems (KB5048735)

Get-HotFix | Where-Object { $_.HotFixID -like 'KB50*'}
Индейская национальная народная изба, а не KB5044411

Windows server 2012 R2 в 2025 году – сплошные неприятности с windows update Windows, Microsoft, Опыт, Длиннопост

Индейская национальная народная изба

Есть только эти два
2023-09 Servicing Stack Update for Windows Server 2012 R2 for x64-based Systems (KB5030329)
2023-01 Security Monthly Quality Rollup for Windows 8.1 for x64-based Systems (KB5022352)
так что фильтр Where-Object работает, но обновлений нет.

Ладно, что там после
2023-01 Security Monthly Quality Rollup for Windows Server 2012 R2 for x64-based Systems (KB5022352) ?
2023-02 Security Monthly Quality Rollup for Windows Server 2012 R2 for x64-based Systems (KB5022899)

Скачаю.
2023-02 Security Monthly Quality Rollup for Windows Server 2012 R2 for x64-based Systems (KB5022899)
windows8.1-kb5022899-x64_00d16db3cfda0f18dc89755faebb4aa12aba2cc7.msu

И, чтобы сразу проскочить до сентября 2023, как SSU, скачаю

2023-09 Security Monthly Quality Rollup for Windows Server 2012 R2 for x64-based Systems (KB5030269)
windows8.1-kb5030269-x64_4f5c3c75b71207ef100ce60f2ad8683e22eb20b0.msu

Ставить его (2023-02 KB5022899) лучше из IPMI или VM консоли – потому что вот установка запустилась, вот предложила перезагрузку – и дальше ничего. На экране VM консоли ничего не происходит, CTRL-ALT-DEL не проходит, и минут 5 (у меня на тесте) только часы идут.

Ставим, смотрим и …
Get-HotFix | Where-Object { $_.HotFixID -like 'KB502289*'}
показывает ничего, зато
Get-HotFix | Where-Object { $_.HotFixID -like 'KB50*'}
показывает, что я немного ошибся – в системе есть
2023-10 Security Monthly Quality Rollup for Windows Server 2012 R2 for x64-based Systems (KB5031419)

Вот так фокус. Ставил 2023-02 KB5022899, а появились:
2023-10 Security Monthly Quality Rollup for Windows Server 2012 R2 for x64-based Systems (KB5031419)
2023-10 Security and Quality Rollup for .NET Framework 4.8 for Windows Server 2012 R2 for x64 (KB5031003)

Причем, похоже, это не я его поставил посреди ночи, а Windows update.
Хотя он и писал, что обновлений больше нет, но они все же есть. Не очень понятно как так вышло.

Мне бы на этом месте сделать скриншот и снапшот, но я не сделал.
После
2023-09 Servicing Stack Update for Windows Server 2012 R2 for x64-based Systems (KB5030329), идет
2023-11 Servicing Stack Update for Windows Server 2012 R2 for x64-based Systems (KB5032308)

И он, внезапно, ставится. Но, после установки проверим – все ли на месте.
Get-HotFix | Where-Object { $_.HotFixID -like 'KB5032*'}

Что насчет 2023-11 Security Monthly Quality Rollup for Windows Server 2012 R2 for x64-based Systems (KB5032249) ?

Не хочу проверять. Сначала поставлю:
2024-01 Servicing Stack Update for Windows Server 2012 R2 for x64-based Systems (KB5034587) – поставилось
2024-02 Servicing Stack Update for Windows Server 2012 R2 for x64-based Systems (KB5034866) – поставилось
2024-03 Servicing Stack Update for Windows Server 2012 R2 for x64-based Systems (KB5035968) – поставилось

Прыгну сразу к
2024-10 Servicing Stack Update for Windows Server 2012 R2 for x64-based Systems (KB5044411) – поставилось

Посмотрим что получилось:
Get-HotFix | Sort-Object -Property HotFixID -Descending | Select-Object -First 10

Вроде, все на месте.
Завершающий этап, пробую:
2024-12 Security Monthly Quality Rollup for Windows Server 2012 R2 for x64-based Systems (KB5048735)

Еще раз: ставить его (2024-12 KB5048735) лучше из IPMI или VM консоли – потому что вот установка запустилась, вот предложила перезагрузку – и дальше ничего. На экране VM консоли ничего не происходит, CTRL-ALT-DEL не проходит, и минут 5 (у меня на тесте) только часы идут.

Ставилось обновление как-то настолько долго, зависнув на 96%, что я не стал следить за скоростью процесса. Что-то прошло, произошло, но потом
Get-HotFix | Sort-Object -Property HotFixID -Descending | Select-Object -First 10
KB5044411 на месте, KB5048735 отсутствует.

Согласно
C:\Windows\Logs\CBS\CBS.log

Где-то до строки 13350 –
00000253 Begin executing advanced installer phase 40 (0x00000028) index 276
Все шло нормально. Даже до строки 13450 -
00000261 Begin executing advanced installer phase 50
CSI  00000262@2025 () Executing Process [76]"C:\Windows\Microsoft.NET\Framework\v4.0.30319

И потом оп, и откат обновления.

Исследование завершено.

Проблема подтверждена, что делать – не понятно. В обычной статье я бы сразу написал, какой я умный и сразу все понял, но это не так.

Попробую ставить подряд.

Установлено: 2023-10 Security Monthly Quality Rollup for Windows Server 2012 R2 for x64-based Systems (KB5031419)
Следующий патч:
2023-11 Security Monthly Quality Rollup for Windows Server 2012 R2 for x64-based Systems (KB5032249)

Ставлю ставлю,  ставится, рестарт, задумалось на 90% и откат обновлений. Запомним эту цифру, 90%

Отрицательный результат – тоже результат.
Ставить все подряд –не работает. Придется читать, что там в логе.

Читаем логи.
Тут нам Notepad++ и пригодится. Открываем C:\Windows\Logs\CBS\CBS.log
Логи у меня были и 35 мб, и 128 мб. Чистого текста. В логе все хорошо:
98000 примерно строка:
Exec: Staging Package: Package_3148_for_KB5032249~31bf3856ad364e35~amd64~~6.3.1.8, Update: 5032249-5445_neutral
000005d8 Performing 256 operations; 256 are not lock/unlock and follow:
Потом 118000
Exec: Package: Package_568_for_KB5032249~31bf3856ad364e35~amd64~~6.3.1.8 is already in the correct state
Exec: Package: Package_2191_for_KB5032249~31bf3856ad364e35~amd64~~6.3.1.8 is already in the correct state, current: Installed
Exec: Package: Package_2886_for_KB5032249~31bf3856ad364e35~amd64~~6.3.1.8 is already in the correct state, current: Installed, targeted: Installed
Exec: The Package or one of its Updates required a reboot so transaction commit was skipped, Package's changes need to be pended

Строка 123000
CBS  Setting ExecuteState key to: ExecuteStateNone
Setting RollbackFailed flag to 0

И, наконец, перезагрузка
Trusted Installer signaled for shutdown, going to exit.

CBS  Doqe: System reboot required
CBS  Perf: Doqe: Install ended.

CBS  Doqe:  q-uninstall: Inf: ntprint4.inf
CBS  Perf: Doqe: Uninstall ended.
CBS  Progress: UI message updated. Operation type: Update. Stage: 1 out of 1. Percent progress: 30.

Old component: [ml:364{182},l:362{181}]"Microsoft-Windows-SLC-Component-ExtendedSecurityUpdatesAI, Culture=neutral, Version=6.3.9600.21620, PublicKeyToken=31bf3856ad364e35, ProcessorArchitecture=amd64, versionScope=NonSxS"

New component: [ml:364{182},l:362{181}]"Microsoft-Windows-SLC-Component-ExtendedSecurityUpdatesAI, Culture=neutral, Version=6.3.9600.21668, PublicKeyToken=31bf3856ad364e35, ProcessorArchitecture=amd64, versionScope=NonSxS"

Install mode: uninstall

И где-то в районе 125500 строки:

CSI  00000002 ESU: Product = 8.
CSI  00000003 ESU: Windows is not activated.
00000007 ESU: Network Retry Counts : 30 (0x0000001e)
CBS  Progress: UI message updated. Operation type: Update. Stage: 1 out of 1. Percent progress: 90.

На этом месте Штирлиц сунул руку в карман и подумал: это конец

00000024 ESU: Trying to Check IMDS Again LastError=HRESULT_FROM_WIN32(12002).
Startup: Timed out waiting for startup processing to complete

Это уже можно гуглить,

No Updates for 2012 R2 Servers activated with ESU activated through Azure Arc

If installing the Extended Security Update enabled by Azure Arc fails with errors such as "ESU: Trying to Check IMDS Again LastError=HRESULT_FROM_WIN32(12029)" or
"ESU: Trying to Check IMDS Again LastError=HRESULT_FROM_WIN32(12002)
",
there is a known remediation approach:

Download this intermediate CA published by Microsoft.

Install the downloaded certificate as Local Computer under Intermediate Certificate Authorities\Certificates. Use the following command to install the certificate correctly:

certutil -addstore CA 'Microsoft Azure TLS Issuing CA 01 - xsign.crt'

Install security updates. If it fails, reboot the machine and install security updates again.
Troubleshoot delivery of Extended Security Updates for Windows Server 2012

No Updates for 2012 R2 Servers activated with ESU activated through Azure Arc

Option 2: Manually download and install the intermediate CA certificates

If you're unable to allow access to the PKI URL from your servers, you can manually download and install the certificates on each machine.

Troubleshoot issues in ESU

Сертификаты я поставил, инсталл, ребут – а все равно, 90% ..

Just to bump this.... Issue popped up again this month. After a case with MSFT, had to install the Microsoft Azure RSA TLS Issuing CA 04 with thumbprint BE68D0ADAA2345B48E507320B695D386080E5B25 from Azure Certificate Authority details | Microsoft Learn

2012 ESU - We couldn't complete the updates. Undoing changes

Читаем это и это, и, наконец, выходим на: Windows Server 2012/R2: Extended Security Updates

Download and install the Extended Security Updates (ESU) Licensing Preparation Package.

For Windows Server 2012 R2 or Windows Server 2012 R2 Embedded, see the Extended Security Updates (ESU) Licensing Preparation Package that is dated August 10, 2022 (KB5017220).

Все понятно. Расширенная поддержка «для всех» закончилась:
Extended End Date - Oct 10, 2023.

Поэтому последние патчи «для всех» -
2023-10 Security Monthly Quality Rollup for Windows Server 2012 R2 for x64-based Systems (KB5031419)
2023-10 Security and Quality Rollup for .NET Framework 4.8 for Windows Server 2012 R2 for x64 (KB5031003)

Чтобы работало остальное, вам нужен 2022-08 Extended Security Updates (ESU) Licensing Preparation Package for Windows Server 2012 R2 for x64-based Systems (KB5017220) и внимательное чтение статьи How to get Extended Security Updates (ESU) for Windows Server.

Дальше просто. Берем сначал укропу Ставите апдейт для Updates (ESU) Licensing Preparation. Ставите 4 новых сертификата по статье выше. Прописываете отдельно продаваемый ESU key из личного кабинета Microsoft Volume Licensing Service Center (VLSC), немного магии, охапка дров и патч готов.
Если у вас есть деньги и VLSC, конечно.
Если нет, то вам сюда или сюда.

Massgrave не проверял.
Напоминаю:
Windows Server 2016 Mainstream End Date - Jan 11, 2022.
Windows Server 2019 Mainstream End Date - Jan 9, 2024.
Переходите, кто не перешел, и кому надо, переходите на хотя бы
Windows Server 2022 – он будет поддерживаться еще полтора года.

Показать полностью 1
345

Про массовый сбой 14.01.2025

Сбоев по маршрутам \ BGP и сбоев на стыках провайдеров с внешними интернетами не отмечено.

Изнутри РФ, судя по данным коллег, работали:

телеграмм
не шифрованный DNS
SSH трафик
ping
все VPN

вконтакт (почему-то).

РТК и Билайн сообщили "это не мы".

Штрафы гуглу будут, за то что плохо следит за своим оборудованием?

Штрафы гуглу будут, за то что плохо следит за своим оборудованием?

Очевидно же, что они плохо следят, вот все только что и сломалось, не так ли ?

14

NVME Raid – We Need To Go Deeper, или что там на глубине. GPU over NVME, с водяным охлаждением

Для ЛЛ: несвязный набор ссылок про что-то душное.

Как пелось в одной песне -
We're going down, down, all the way down
We're heading deeper down
going down > Ph'nglui mglw'nafh Cthulhu R'lyeh wgah'nagl fhtagn

Все началось с того, что мне прислали очередную ссылку на разговор в российской майнинг-группе. Некий юзер начал плакать – как так, у меня NVME не дает в raid больше 100к IOPS, как страшно жить, ведь отдельный Samsung обещает :
Samsung 980 Pro SSD Random Write 4K QD32 Up to 1,000,000 IOPS
Samsung 990 PRO - while 4TB even higher random read speed of up to 1,600K IOPS.

Samsung обещает. Не забывая про то, что там стоит  памяти 4 гб - Samsung 4GB Low Power DDR4 SDRAM
Но есть нюанс.
Давать то дает, но не под постоянной нагрузкой, и поэтому для бизнес-задач с нагрузкой 24*7 не годится – будут непредсказуемые падения скорости, когда контроллер решит заняться внутренними операциями.

Дальнейшая дискуссия между сторонами показала, что ни ноющему, ни основному составу майнинг-группы не понятно, зачем ему нужно именно столько, и куда он будет их девать.

Я, в свою очередь, очень удивился – откуда у людей руки растут. Пошел спросил результаты тестов у других коллег на одиноких NVME, без всяких железных raid. Seq WR, все такое.

Блок 4к, зеркало, очередь 16 , 100% чтение – 1600к IOPS
Блок 4к, зеркало, очередь 16 , 70/30 чтение – 850k IOPS на чтение, 350k IOPS на запись
Блок 64к, зеркало, очередь 16 , 100% чтение – 650к IOPS
Блок 64к, зеркало, очередь 16 , 70/30 – 250k / 100 k IOPS
Блок 64к, зеркало, очередь 16 , 100% запись – 150 k IOPS

Результаты, конечно, не показательны - разве что для того, чтобы было с чего разговор начинать. Значимо (в 1.5 раза) влияет и число потоков на файл (точнее, соотношение числа ядер процессоров и потоков на файл – как пишут в руководствах, In general it is recommended to use 1 CPU for testing and use the same number of threads), и количество файлов, точнее используемых в тесте разделов, и тонкие или толстые диски, и так далее.
В тестах выше был MS Server 2019, это тоже имеет значение – в MS Server 2025 обещали улучшить работу с NVME

Чтение по теме:
Use DISKSPD to test workload storage performance
Windows Server 2025 Storage Performance with Diskspd
Command line and parameters
Customizing tests
Best Practices Guide for Using the DiskSpd Performance Test Tool
Performance benchmarking with Microsoft Diskspd on Nutanix

На все это намазывается не только размер блоков, но и число выделяемых дескрипторов\очередей \прочего (внутри СХД, внутри системы, внутри везде, как тех же буферных кредитов – от которых можно получить Slow-Drain), особенно если у вас не локальные диски, а СХД.
И все равно в реальном мире можно нарваться на, цитата:


Setup: Dorado 18000, iSCSI, ESXi 7.0.3 (2x25Gb)

На виртуальном диске 100 ГБ запускаю нагрузку FIO 70% read, IO Size 32 KB, вижу на datastore и на dorado одинаковый Read IO Request Size 32 KB.

На виртуальном диске 1024 ГБ тот же тест, та же нагрузка. На ВМ вижу 32 KB, на Datastore уже 25-26 KB на чтение. Запись идёт так же 32 KB. На Dorado соответственно тоже видно на чтение блок стал 25-26 KB.

Решение:
Причина мультипликации IO и несоответствия размеров блоков установлена!

Проблема возникает при превышении объёма в 32 ТБ открытых VMDK файлов на хосте.

Накладные IO вызваны нехваткой кэша указателей блоков для открытых vmdk файлов.

Этот кэш необходим для быстрого обращения к открытым блокам VMFS без  дополнительного доступа к метаданным из файловой системы.

При утилизации кэша больше 80% включается механизм вытеснения блоков указателей.

Вытесняются наименее активные блоки указатели и включаются (с чтением метаданных с vmfs) новые блоки. Отсюда возникает полученный нами overhead, т.к. нагрузочное тестирование, что FIO, что vdbench запрашивает блоки хаотично и по всему объёму.

Размер кэша задаётся advanced параметром:

VMFS3.MaxAddressableSpaceTB = 32 - Maximum size of all open files that VMFS cache will support before eviction mechanisms kick in

Его максимальное значение 128. При установке 128 - проблема с накладными IO в тестах уходит. Можно для целей тестирования выставить его в 128.

Увеличение кэша ведёт к накладным расходам по памяти, при значении по умолчанию 32 используется 128 МБ памяти. При максимальном значении 128 используется 512 МБ оперативной памяти.

В прод нагрузке вряд ли стоит увеличивать этот кэш, но посмотреть по хостам можно занятые объёмы кэшей командой:

esxcli storage vmfs pbcache get

В реальной жизни нет нагрузки со 100% активными блоками, как в синтетических тестах. Если, к примеру, активны только 20% всех блоков открытых VMDK и их указатели, соответственно попадают в кэш, то мы сможем иметь 160 ТБ открытых VMDK на хосте, при этом активные блоки указателей по-прежнему кэшируются без особого снижения производительности.

Поэтому ответ на исходный вопрос
«Но хотя-бы 400k IOPS почему никак не вытаскиваются из одного сервера с 10 дисков-то?» -
простой.
Наймите специалиста, если сами не можете. Все вытаскивается.

Дальше мне стало интересно, что же используют чуть более богатые фирмы, которые могут себе позволить потратить денег.
Оказалось, достаточно много всего, но, как всегда – есть нюансы.

Пропустим ту часть, где обсуждается «зачем столько». Сын маминой подруги сказал что можно, и дальше по классике -
НЕТ ДЕНЕГ НЕТ
@
НЕТ Я АДМИН
@
Я НИЧЕГО В ЭТОМ НЕ ПОНИМАЮ
@
ЭТО ГОСКОНТОРА ВЗЯЛИ МЕНЯ

Проблема применимости, про нее не стоит забывать.
Если у вас хотя бы 3-4 сервера с дисками, то зачем вам локальный RAID при наличии S2D и vSAN? Что с S2D, что с vSAN на 6-8 серверов можно получить 1-5 миллионов IOPS на чтение блоком 4к, при этом имея (с оговорками) и erasure coding, и, для S2D, ReFS Mirror-accelerated parity, и Data Deduplication, и в vSAN тоже много чего есть, и будет больше.

Но, к делу.

Что может выдать контроллер Broadcom MegaRAID 9670W-16i ? Посмотрим.
Broadcom MegaRAID 9670W-16i RAID Card Review.
Выглядит неплохо – до 240 SAS/SATA, до 32 NVME. Но, как только дело доходит до записи, все становится не так неплохо: для RAID 10 – Optimal
4KB Random Reads (IOPs) - 7,006,027
4KB Random Writes (IOPs) - 2,167,101

Но, есть нюанс.
Broadcom MegaRAID 9670W-16i - Storage controller (RAID) - 16 Channel - SATA 6Gb/s / SAS 24Gb/s / PCIe 4.0 (NVMe) 05-50113-00 – 1500$.

В соседнем тексте упомянули
Adaptec 3258upc32ix2s Cc 3258upc32ix2s Smartraid - 2000$. Тоже не очень дешевое решение для старого сервера.

Хотите быстрее? Нет препятствий патриотам. Только отечество не наше:

With a single SupremeRAID™ card, users can achieve extraordinary results, boasting up to 28M IOPS and 260GB/s. Supporting up to 32 native NVMe drives, it empowers exceptional NVMe/NVMeoF performance while enhancing scalability, server lifespan, and cost-effectiveness.
Supermicro and SupremeRAID™ Data Protection Solution

Performance results with SupremeRAID™ software version 1.5 on SupremeRAID™ SR-1010
2 миллиона IOPS в R5 на запись, пожалуйста.

NVME Raid – We Need To Go Deeper, или что там на глубине. GPU over NVME, с водяным охлаждением Raid, Nvme, SSD, Длиннопост

Performance results with SupremeRAID™ software version 1.5 on SupremeRAID™ SR-1010

Но, есть нюанс.
Graid SupremeRAID GRAID-1000 - 2600 $.
Graid SupremeRAID SR-1010 - 4000 $.

Не хотите карту? Нет проблем, Xinnor xiRAID.

Производительности это решение дает достаточно – до 65/8 миллионов IOPS (Xinnor xiRAID установил новый рекорд производительности среди NVMe-массивов с PCIe 5.0 SSD от Kioxia).

Говорившие «врети!» Graid даже убрали свой отчет с сайта – вот он был:
A Comparative Analysis: SupremeRAID™ NVMe® & NVMe-oF™ RAID vs Xinnor xiRAID Software RAID,
и вот его не стало.
Однако, забрать его успели сюда - Graid GPU-powered RAID card outperforms Xinnor software, картинки сами смотрите, читайте. И читайте, если интересно:
https://xinnor.io/blog/performance-guide-pt-1-performance-ch...
https://xinnor.io/blog/performance-guide-pt-2-hardware-and-s...
https://xinnor.io/blog/performance-guide-pt-3-setting-up-and-testing-raid/

Причем тут GPU?

Да при том. Graid SupremeRAID™ SR-1010 – это RTX A2000 (Ampere), и ее еще 70 ватт сверху, к и так не холодным NVME и CPU.

Вы, конечно, спросите, зачем это все?

И правильно сделаете. Идут такие решения, и подобное для тех, кому слишком дорого взять Nvidia DGX (Deep GPU Xceleration).
Дело не только в «дорого».
Набор для начинающих «по взрослому» - Nvidia DGX GB200 NVL72:
120 киловатт.
1.4 тонны.
Водяное охлаждение.
На 1 (одну) стойку.
Поэтому Equinix уже год рассказывает, какие они молодцы, и они на самом деле молодцы – столько электричества подвести, и столько тепла вывести, это вам не стойки по 5 киловатт на луч продавать.

У кого же денег не просто много, а неприлично много, и так знают те три слова, что я узнал в сегодня лет: weka, vastdata, vast.ai.

WEKA Data Platform for NVIDIA DGX BasePOD with H100
WEKA NVIDIA DGX A100 Systems (BasePOD)
The VAST Data Platform

Теперь там еще и Cosmos.

Концовка.

Тут должна быть какая-то не скомканная концовка, но я ее так и не придумал.

Показать полностью 1
28

Некоторые пометки по софту на конец 2024 года

4ЛЛ: скучное, MD5 \ SHA256

Давно я не смотрел, что там вышло в обновлениях домашнего, и не только софта, и как это работает.
Так совпало, что сегодня обновлял всякое домашнее и домашним.

Вышли:

VMware Workstation Pro for Windows
Файл: VMware-workstation-full-17.6.2-24409262.exe ;  Build Number: 24409262 
MD5 6227e9e732c4eaddf05ecf1779a94e80
SHA1 5e556b7fc1bd27775143eea930cac68760a1b5dc9b4c089d3fc664cd8439645b 

Я до этого на 16.4 сидел, но еще в мае лицензия «Для дома» стала не нужна.
Можно было и Proxmox поставить, и vBox, но я не хотел. Дело не в скорости, стабильности, итд – просто лень.
Proxmox Virtual Environment 8.2 у меня на стенде был, надо обновлять до Proxmox Virtual Environment 8.3, но ужасно лень.

Вышло обновление ESXi 8.0 Update 3c / Build Number 24414501. Состав - как обычно – смотреть на https://esxi-patches.v-front.de/
MD5 FD3C6551F281983E834729D33B00323A
SHA256 58D0632D3E51ADF26FFACCE57873E72FF41151D92A8378234F2DAA476F2CFBA5

Release notes переехали на https://techdocs.broadcom.com/ - прямая ссылка.

Вышло обновление ESXi 7.0 Update 3r / Build Number 24411414, надо будет домашний стенд обновить. Release notes
MD5 03433d753ef408ce939dd3a59fd80594
SHA256 82724ee9d297a7cecb0f473c27b44b7401e227db99ea0046e15a2cd7a115ade7

Для 6.5 и 6.7 обновлений ESXi давно не было, для vCenter были, но давно:
6.7 / Build Number 24337536 - 2024-10-28
6.5 / Build Number 24045034 - 2024-07-04

Как и ранее, все обновления пока свободно доступны для скачивания на Broadcom Support Portal, за исключением того, что сам портал стал еще более кривым. С каждым разом все кривее и кривее.
И, как уже написал - Release notes переехали на https://techdocs.broadcom.com

В остальном у Broadcom все по прежнему – удаляют и удаляют старое.
Перед новым годом прислали сообщение про переактивацию аккаунта для Broadcom Support Portal с 21 января 2025.
Сейчас удаляют материалы по не поддерживаемым 6.5 и 6.7 – что то остается, что-то уже нет.
Удалили часть HCL / compatibilityguide, как будет работать [Skyline] Health Hardware compatibility для старого железа - не понятно (скорее всего – никак). Может, это и к лучшему – спасибо Linux community за удаление API vmklinux и переход на Native Device Driver.
Те, кому надо, и без меня знают про USB Network Native Driver for ESXi и Nested ESXi Virtual Appliance & USB Network Native Driver for ESXi for vSphere 8.0 Update 3.

У MS наконец-то (не следил, когда, может и очень давно) поменялись дистрибутивы для скачивания 2025 сервера без регистрации и смс.

Было 26100.1.240331-1435.ge_release_SERVER_EVAL_x64FRE_en-us.iso
MD5 8286AE65AB4D6FF2430B914D7901427B

Стало 26100.1742.240906-0331.ge_release_svc_refresh_SERVER_EVAL_x64FRE_en-us.iso
MD5 52D37544CA98287DD2B15F526EBFAFA5
SHA256 D0EF4502E350E3C6C53C15B1B3020D38A5DED011BF04998E950720AC8579B23D

Было 26100.1.240331-1435.ge_release_SERVER_EVAL_x64FRE_ru-ru.iso
MD5 CE0F3B7BD4B1E11A2D158B27E29DCD99

Стало 26100.1742.240906-0331.ge_release_svc_refresh_SERVER_...
MD5 3A2CBDB4FE9E7C0A7C530CD1AE732C0F
SHA256 15F31D0E4F7C5337732BA9629008E99501AAA5007D81A267A1D04F6DEB5571A6

Внутри  sources\install.wim\ - 4 дистрибутива, с обновлениями от сентября 2024, так что все равно надо обновляться.

Обещанную мега-скорость работы на NVME пока не проверял, еще не купил на домашний стенд.
Сразу отвечу на простой вопрос, как так, prox, windows, esxi ? Очень даже так, ESXi 7 и 8 по прежнему отлично загружается с USB флешки.

На рабочих стендах до нового года (с 28 января 2025), скорее всего, коллеги проверить "как стало" не успеют.

Чем еще запомнился 2024 год, так это переходом в Ubuntu 22 и Ubuntu 24.04 server на netplan, и этот его
/etc/netplan/99_config.yaml

Зачем так было делать, я так и не понял, и не я один.
Пришлось переписать много букв, и придется переписать еще больше.
Отдельно хотелось бы отметить по прежнему не очень хорошую работу и CFS, и EEVDF, особенно если у тебя 200+ ядер на хост. Что с этим делать, как нормально настроить Sub-NUMA, Hemisphere and Quadrant Modes, и EEVDF, пока никто не сознается, придется опять идти за советами на stack overflow и reddit.

Поплакал и хватит, за работу.

Концовка

Тут должна быть какая-то не скомканная концовка, но я ее так и не придумал.

Показать полностью
6

Как я не смог похудеть несколько раз и два раза смог. Часть 4. Итоги 2024

Для лиги лени: оземпик работает, сибутрамин не так хорошо работает - больше побочек.

Очевидное еще раз.
Оба препарата работают, но:
в сочетании со спортом (хотя бы прогулки каждый день 2* 5 километров или спортзал кардио, или бассейн, или что угодно. Секас подойдет, если вы сможете час каждый день, и не с любимой левой),
в сочетании с режимом питания (надо меньше есть, можно зашить рот),
в сочетании со снижением факторов стресса, который вы (и я) заедаете.
Без этого оба препарата резко теряют эффективность.
Похудение – это не про волшебную таблетку, чудо укол и магию. Это всегда про анализы, смену режима питания, смену ритма жизни, обязательные консультации с нормальным (если найдете) врачом, стресс-факторы, режим сна, итд. Магии нет. Препараты делают процесс легче, но не подменяют их.
Эффективность и побочки импортозаместительного состава, его чистоту и качество, оценивать не могу, мой опыт касается только Novo Nordisk Ozempic.

Сибутрамин.
Внимательно читайте инструкцию! Обязательно сначала сдайте анализы и поговорите с вменяемым врачом, если найдете такого конечно. Потому что в РФ уже могут, и советуют, сразу ставить свечку, и вовсе не медицинскую.
Таблетки дозировкой 10 и 15 мг. Принимать раз в день. Продаются по рецепту.
Запрещен в Европе и частично Азии (Китай, Вьетнам, Таиланд), как вызывающий побочные эффекты.
Препарат постоянно попадается в чудо-БАД для похудения, кофе для похудения, итд, даже если в составе не указан.

Эффективность: есть, но.
НО.
Работает только в сочетании со спортзалом, бассейном, или хотя бы прогулками 2 раза по 5 километров в день. На сидячей работе, просто сидя за компом, НЕ РАБОТАЕТ в любой дозировке.
Эффективность надо бы мерять в процентах \ килограммах, но скажу так – у меня было, упрощая, ушло 5 килограмм в первый месяц, 2.5 килограмма во второй, и по килограмму дальше. Точные цифры я раньше писал.
То есть, это НЕ препарат для сброса веса, а препарат, чтобы было легче это делать.

Побочные эффекты.
Дозировка.
10 мг – это на примерно 100 кг мужскую тушку, и такая масса это переносит.
15 мг на мужскую 100 кг тушку уже переносятся плохо, начинается тревога на ровном месте при первой фазе – у препарата странноватая биодоступность, то есть он дает два метаболита, М1 и М2, первый начинает работать через 0.5, второй вроде 6 и 12 часов, пиками. Сами гуглите фармокинетику и полувыведение, все уже написано.
20 мг в сутки с перерывом  в 12 часов – это абзац. Паника спустя полчаса, то жар то холод, короче - не передозируйте ни в коем случае. Известного мне антидота нет, разве что форсировать работу почек – то есть поллитра теплого слабого черного чая, или малинового компота.
Токсичность: Rat acute toxicity, 2.9056 LD50, mol/kg, LD50: 200 mg/kg.
https://go.drugbank.com/drugs/DB01105
https://bioinformatics.charite.de/withdrawn_3/subpages/drug_info.php?id=w139
https://pubmed.ncbi.nlm.nih.gov/5050908/

Так что умереть не умрете, но будет неприятно и страшно. Поэтому не делайте так.

Эффект отмены.
Эта штука вызывает легкое привыкание, потому что смотри механизм действия ниже. Не то чтобы очень страшно, но неприятно. Плохое, скорее «никакое» настроение вам обеспечено.

Рост давления.
У меня давление на фоне выросло со стандартных 115/75 до 135/90. Глазное давление не мерял, но, по ощущениям, тоже выросло.

Прочие побочки.
У меня не было, но список «что может пойти не так» - очень длинный, читайте инструкцию.

Что еще было.
На фоне сибутрамина я у себя отметил эффект проблем с краткосрочной памятью. Пошел в ванную зубы чистить, по дороге увидел сообщение в чате, отвлекся на полчаса и забыл, зачем шел.
Фокус внимания начинает плавать. Не критично, но все же, и вредно для работы.

Обязательно. Съедать  200-500 грамм сырых (можно тушеных) овощей и выпивать 2 стакана (400 мл) воды после приема, 2 в обед и 2 перед сном. Чтобы желудок и кишечник работали.

Причина - сибутрамин не является препаратом для похудения.
Оригинал:
Sibutramine produces its therapeutic effects by inhibition of norepinephrine (NE), serotonin (5-hydroxytryptamine, 5-HT), and to a lesser extent, dopamine reuptake at the neuronal synapse. By inhibiting the reuptake of these neurotransmitters, sibutramine promotes a sense of satiety and decrease in appetite, thereby reducing food intake. Data from animal studies also suggest that sibutramine may also increase energy expenditure through thermogenic effects in both the basal and fed states, but this has not been confirmed in humans.

Перевод:
Сибутрамин оказывает свое терапевтическое действие путем ингибирования норадреналина (НЭ), серотонина (5-гидрокситриптамина, 5-НТ) и, в меньшей степени, обратного захвата дофамина в синапсах нейронов. Ингибируя обратный захват этих нейротрансмиттеров, сибутрамин способствует возникновению чувства сытости и снижению аппетита, тем самым снижая потребление пищи. Данные исследований на животных также позволяют предположить, что сибутрамин также может увеличивать расход энергии за счет термогенных эффектов как в базальном, так и в сытом состоянии, но это не было подтверждено у людей.

Переводя на общий с высокого готика научного – вам будет чуть лучше, и вы будете чуть-чуть бодрее.
Еще раз: без спорта работать не будет.
Еще раз: давление вырастет, соответственно растет риск инсульта.
Еще раз: вредно влияет на сердце, запрещен не просто так, растет риск инфаркта и прочих.

Оземпик (семаглутид)

Первым делом прочитать:
https://www.ema.europa.eu/en/documents/assessment-report/oze...

Уколы. Подкожные, автоматический шприц с дозатором, на 2 мл, и одноразовые супер тонкие иглы.
Укол раз в неделю, первый месяц (4 укола) по 0.25, затем по 0.5.
Хранить в холодильнике! Строго при нужной температуре, так что купите термометр в холодильник.
Температура строго от +2 до +8. Кратковременно вынимать можно, для укола. Перевозить пару часов при температуре до +25 можно. Читайте инструкцию по хранению.
Значимый эффект начинается через 1.5 – 2 месяца. Рекомендаций по длительности курса я не нашел, но, похоже, надо планировать от 9 месяцев до года.

Первые два раза колоть себя очень страшно. То есть процедура простая, не могу сказать, чтобы болезненная, потому что оригинальные иглы супер острые, ультра тонкие, и короткие. Но адреналина в организме столько, что полчаса потом страаааааааашно. В первые два раза. То есть, это не эффект от укола, а эффект от страха. Я такой эффект у себя знаю, давно с ним знаком, но у кого не было – можете выпить заранее (за 5-15 минут) теплого сладкого чая или кофе.

Сама процедура очень простая – взял пластырь, спиртовую салфетку, иглу с колпачком, автошприц .
Накрутил и защелкнул иглу, спустил штаны (закатал шорты), снял колпачок с иглы, взвел шприц (покрутил дозатор), увидел появление микрокапли (значит, поставил иглу правильно), протер место укола, засадил (медленно и печально), нажал кнопку, шприц сделал щелк, под кожу влилось 0.25 \ 0.5.
Еще раз: шприц лежит в холодильнике (смотрите, чтобы дети не стащили), поэтому укол – холодный.
Если засадили в подкожный капилляр, такое бывает, то заклеили пластырем, чтобы кровью все не измазать. Только за этим.

Выглядит сложно, фактически очень просто. Самое сложное – иглу нормально защелкнуть.

Дозировка.
Внимательно читайте инструкцию! Обязательно сначала сдайте анализы и поговорите с вменяемым врачом, если найдете такого конечно. Потому что в РФ уже могут, и советуют, сразу ставить свечку, и вовсе не медицинскую.
Первый месяц \ 4 укола – по 0.25. Если нет побочек, то увеличивайте дозу до 0.5. Если есть – или продолжайте по 0.25, или прекращайте процесс.

Место укола первый день лучше не мочить, не чесать, не натирать. Не то, чтобы это было критично, но все же лучше перебдеть.

Передозировка, когда вколол еще раз 0.25 через 2-4 дня, не страшна, но побочки индивидуальные.

Побочки.

Индивидуальные, встречаются редко.
Кого-то подташнивает первые разы на 0.25 . Кого-то на 0.50 начинает. Кто-то плохо переносит жирное.
У меня вообще побочек не было, но я и до того сало не ел, и в процессе не ел. На алкоголь у меня реакции не было. Если у вас в процессе возникли побочки на жирное и алкоголь – бегом к врачу, проверять поджелудочную и прочие панкреатиты, может с ними и раньше было нехорошо.

Эффективность есть, но желательно сочетать со спортом, режимом питания.

Обязательно. Съедать  200-500 грамм сырых (можно тушеных) овощей и выпивать 2 стакана (400 мл) воды после приема, 2 в обед и 2 перед сном. Чтобы желудок и кишечник работали.

Эффект отмены.
Не замечен.

Итог:

Округляя, 15 килограмм (с 95 до 80 при росте 175) я скинул на оземпике за 3 месяца, потом был период стабильности, и с уколов я слез.
Затем случилось очень неприятное закрытие года, 2.5 месяца по 10-12 часов работы, включая субботы, так что 5 килограмм я обратно наел. Через месяц начинаю второй курс оземпика.

В РФ в рознице оземпика я не искал, плачут что оригинального не найти даже в Москве.
Не в РФ свободно доступен.
Эффективность и побочки импортозаместительного состава, его чистоту и качество, оценивать не могу. Как говорится, раньше только бензин ослиной мочой разбавляли, а сейчас - ну вы знаете.

Показать полностью
Отличная работа, все прочитано!