У вас там компетентных админов вообще нет? Читаю текст - как будто смотрю сериал про айтишников, снятый некомпетентным режиссером. Ляп на ляпе.

>Отваливается сервер деплоя хоть ты стреляйся.

1. Где отказоустойчивый кластер критически-важной системы?

2. Зачем стреляться? Вся инфра должна быть завиртуализирована. Бахнул, переразвернул тачку и все работает

>Говорит - юзер инвалид.

Начни изучать DevOps-крактики и будет тебе счастье. У девопсов заходить на консоль сервака вообще считается моветоном. В идеале, админ/девопс не должен сам туда лазить

>Я ему - сам ты инвалид, а я твой админ, босс, хозяин, создатель и ваще высшее существо. Дай посмотрю шо у тебя в логах. Он мне - вон пошел, я тебя и в консоль не пущу патамушта ты инвалид и вообще у меня ПМС, ПТСР, ДЦП и ДТП (и блеванул в консоль кучу малопонятных цифер и буков).

Читай в сторону обсервабилити. У тебя разворачиваются всякие ELK, локи, прометеи, виктории и в разных кибанах/графанах смотришь разные графики, метрики, агрегированные и фильтрованные логи. Видишь ВСЮ необходимую инфу по тысячам серваков в одном окне. А если вообще грамотно строить, то у вас должна быть система алертинга, которая в телегоканал срет варнингами и алертами, а специально обученные мартышки с набором готовых HOWTO-шек по всем продуктам, обеспечивают 24 часовой мониторинг систем и минимальную починку.

>Ребут не работает, принудительная остановка не работает, выключение не работает.

1. ProxMox у вас такой древний? 3-4 версия? Попозже эту проблему вроде поправили.

2. Если не работает через веб-морду, всегда спасает CLI

>Чувствую что волосы в подмышках и паху становятся дыбом.

Тююююю. Первый раз на родео? Открывай распечатки аварийных планов по каждой системе

и без нервяков спокойно восстанавливай. Вы же хоть аварийные планы по выходу из строя железа, софта, виртуалок писали?

>Если наебнулся центральный контроллер датацентра - то мне пізда.

Если ты не виноват, а вышло из строя железо, то ты то почему должен пострадать? И что за фигня? У вас контроллер один? Критические системы не дублируются?

>Давай лихорадочно вспоминать где лежат какие бекапы.

Вспоминать? У тебя все должно быть написано в аварийных планах

>В процессе загрузки матерился по всякому. Да что ж с тобой такое-то???

Так по матюкам у линуксов обычно все понятно

>Придется усыплять, расчленять и поднимать из бекапа. А бекап у меня только прошлонедельный, что пичально но не смертельно...

Бэкапы должны быть ежедневные. Особенно критической инфры

>Подрываюсь и лечу в серверную... Ну так и есть. На клавиатуре сервера гордно возлежит никуда не подключеный шнур питания.

Детский сад, вторая четверть! Ремня вашим админам дать надо!

1. Почему стойки открыты и есть доступ посторонних к серверам, даже если попали в серверную? Ключи от стоек у админов. Не таскаешь всю коробку, а берешь только ключ от стойки, в которой работаешь. Отошел налить чаю, поссать, провести работы в другой стойке - эту стойку закрой на ключ. Это любой админ должен знать как "отче наш". Кто не делает так - набутыливать пока не начнет делать. Это бест практицес

2. Если серваки нормальные, то у каждого есть порт IPMI/BMC/iDrak/iLo. Включили сервак, порт по сети подхватил адрес, забил его в резервацию DHCP и дальше подключаешься через него, ось накатываешь, если это не делается у вас автоматизированно. Никаких клав и мышей. Совсем говеный сервер без этого порта? Ставим для таких убогих IP-KVM и все равно по сети рулим.

>Как раз на кнопке ESC. ЙОБТВОЮМАТЬ!!!!

Если уж нужна KVM-ка в стойке, убирайте колхоз и ставьте выдвижные. Занимает один юнит. Чтобы закрыть дверь стойки, придется сложить ее и задвинуть. Так что никакой кабель не помешает

Вы - сами себе изобретаете проблем от чудовищной некомпетентности, а потом героически решаете. Таких админов надо оптом увольнять и набрать нормальных, которые умеют правильно работать. А если изучите IaC, GitOps, то у вас не надо будет ничего нигде вспоминать. Все будет версионированно и централизованно в гите лежать. И вы там в скриптах декларативно указали, что и как должно выглядеть в вашей инфре, а "магия" будет сама подстраивать вашу сеть под желаемое состояние. Открой для себя волшебный мир взрослых практик: Ansible, Docker, Kubernetes, Argo CD... Именно в этом порядке. Остальной стэк познаешь сам. Ты будешь плакать, понимая, как неправильно ты раньше работал. Сколько человекочасов убил на ненужные ручные операции. Например, развернуть отказоустойчивый кластер Consul на 7 существующих серверов у тебя будет выглядеть примерно так (один из вариантов)

1. В инвентори-файл (что то типа /etc/hosts) добавляем группу консула и имена хостов

[consul]

consul-01.domain-name

consul-02.domain-name

consul-03.domain-name

consul-04.domain-name

consul-05.domain-name

consul-06.domain-name

consul-07.domain-name

2. В CLI вводим:

# git add --all

# git commit -m "Add Consul servers to inventory file"

# git push

И идем в графану смотреть на появление новых серверов в дашборде. Вся остальная "магия" должна произойти автоматически. Если внедрена IaC, то создание новых виртуалок под консул выглядит абсолютно аналогично.

Знаешь, что самое смешное? Грамотный девопс даже не будет добавлять в инвентори столько имен машин. Он схлопнет это до конструкции

[consul]

consul-[01:07].domain-name

Нужно не 7, а 100507? Аналогично!

[consul]

consul-[01:100507].domain-name

А дальше работает магия!