Немного боли⁠⁠

Немного боли серверного сисадмина:

Есть продукт MS Skype for business

устанавливаем развесистую кластерную конфигурацию - только front-end серверов три штуки, есть масса скриптов которая что-то настраивает что надо, написано человеком, которого уже увы нет с нами, устанавливаем и настраиваем в несколько тел - кто-то начнет, кто-то продолжит, все делается по шагам расписаным в документации.

Подхватываю с утра процесс, и через некоторое время понимаю, что на одном из уже установленных коллегой трех Front-End серверов не поднимается часть сервисов этого самого Skype for business. В частности Front-End service, а без этого скрипты дальше не идут.

Ошибки в логе звучат весело:

Server startup is being delayed because fabric pool manager is initializing.

Cause: This is normal when Pool is bootstrapped and indicates that the Front-End is waiting for a quorum of other Front-Ends to be started.

...

If this event recurs persistently run Reset-CsPoolRegistrarState -ResetType QuorumLossRecovery

Попытки запустить  команду приводят к ошибке

An error occurred during this operation. Please check the trace logs for more details.

Никаких trace logs не видать.

Подключаю спеца по Skype for business, он дает ссылки на другую документацию, читаю, запускаю другую рекомендованную команду

все три Front-End сервиса на всех трех серваках уходят в тот же режим что раньше только первый.

Ебусь с ребутами, рестартами, и прочими радостями, через какое-то время замечаю ошибки в систем логе на первой ноде

SCHANNEL

A fatal error occurred when attempting to access the SSL server credential private key. The error code returned from the cryptographic module is 0x8009030D. The internal error state is 10001.

Гугл непомогает, говорит только валите смотреть что у вас с сертификатами. С сертификатами все нормально. Подтягиваю другого коллегу, спеца по сертификатам - говорит видел похожую проблему, в свойствах сертификата нужно указать каким юзерам можно manage private key.

Смотрю и правда - на первом сервере почти никому нельзя, а на остальных двух - есть разрешения для различных групп из под которых дергаются сервисы этого Skype for business.

Добавляю - все в порядке, все работает. Почему их не было - а кто ж его знает. Вроде коротко написано, а ушло 6 часов.

Кровавый Enterprise как он есть. Даже клубничку хочется поставить.