209

Ответ на пост «Страшно подумать как она флешки в компьютер вставляет!» 

Думал коммент написать, но что-то много вышло.


Есть в парке конторы, в которой тружусь, некоторое количество серверов. В большинстве своём они оборудованы специальным железом и ПО, которое позволяет, в случае чего, удалённо подключиться к серверу и выполнить на нём какие-либо действия: команду непосредственно в операционной системе сервера, или, если ОС по тем или иным причинам не отвечает, сделать машине выкл/вкл по питанию.


Часть серверов ввиду своей некоторой несвежести, таким ПО и железом не оборудованы. Поэтому, приходится прибегать к помощи технических специалистов ЦОД'ов, в которых сервера располагаются.


Есть у нас один 2u сервер на 4 блейда. Примерно такой (лицевая часть):

Ответ на пост «Страшно подумать как она флешки в компьютер вставляет!» IT, Работа, Абсурд, Сисадмин, Ответ на пост, Длиннопост

Фактически, это четыре одинаковых сервера, объединённых на одном двухюнитовом шасси. То есть, четыре сервера в одной большой железке.


Эти сервера как раз не оборудованы штатным ipmi, который позволил бы, как я описал выше, удалённо управлять сервером, если с ним что-то случилось.


По закону Мёрфи на одном из блейдов этого сервера случилась внештатная ситуация, которая потребовала моего вмешательства. Дело было то ли в субботу, то ли в воскресенье. Написал соответствующую заявку в ТП ЦОД'a и делаю контрольный звонок. Трубку взял дежурный сис.админ, назовём его, допустим, Васей.


Здесь нужно сделать ещё одно небольшое отступление и рассказать о Васе. Вася, судя по его внешности, достаточно усердно занимается тяганием различных железок в тренажёрном зале. Ещё когда в первый раз его увидел, был удивлён. У всех такое бывает, когда первый раз в жизни встречаешь айтишника-качка. Плюс-минус это выглядит так:

Ответ на пост «Страшно подумать как она флешки в компьютер вставляет!» IT, Работа, Абсурд, Сисадмин, Ответ на пост, Длиннопост

Не имею представления, какое у него образование, но работу на этом месте он работает по принципу "моя хата скраю; а если не скраю, то нужна подробная инструкция, что от меня нужно". То есть, скорее всего, работа выбрана потому как "что-то платят, обязанностей не очень много, ходить в качалку четыре раза в неделю позволяет". Подчеркну, я, вероятно, заблуждаюсь, и Васян - отличный специалист, хотя и очень умело это скрывает, но за Васей в нашей компании закрепилась репутация косипора: почти каждое наше с ним общение и запрос помощи заканчивались не так, как того хотелось бы. В лучшем случае достаточно было позвонить в ЦОД снова и объяснить Васе, что он сделал не так и как это переделать. В худшем - приходилось ехать в ЦОД самостоятельно и устранять возникшую ситуацию своими руками. А это драгоценное время простоя в работе сервисов.


Вернёмся к моменту, когда трубку взял Вася. Я сразу понял, что сформулированную перед звонком в голове и в письме просьбу "задержать кнопку питания на 15 секунд, подождать 5 секунд и ещё раз нажать кнопку питания на этот раз на одну секунду" нужно менять, т.к. однажды такая операция, выполненная Васей, стоила нам перегрузки не того сервера (даже с учётом того, что все сервера в наших стойках проименованы специальными стикерами). В итоге попросил его подключить к проблемному серверу ЦОД'овский KVM - устройство, позволяющее получить удалённый доступ к серверной консоли внутри ОС. То есть, работаешь с командной строкой сервера, как будто на своей машине. Это не даст возможности перегрузить сервер, но так я бы визуально понял, что Вася правильно определил машину. После чего можно уже с более-менее спокойной совестью просить отключить KVM и следом перегрузить эту машину по питанию.


Василий, наученный горьким опытом перезагрузки не того сервера, несколько раз уточнил, к какому именно серверу нужен KVM. На что получил мои чёткие указания: "Сервер с именем %%SERVERNAME%% стоит в стойке N, которая находится в ряду M. Визуально: сервер на два юнита и четыре блейда, два в одном юните сверху, два во втором юните - снизу. Нужный блейд - правый верхний, если смотреть на лицевую часть сервера." На эти пояснения я услышал что-то вроде: "Всё понял. Ждите доступы к KVM на вашем email через 10 минут".


По пришедшим через обещанные 10 минут креденшелам захожу в KVM и вижу сервер в полном здравии. Секунд 10 понадобилось невнимательному мне, чтобы понять, что KVM подключен не к тому серверу (на это намекнул hostname, видимый в моём шелле на каждом сервере по умолчанию). Звонок в ЦОД. Примерный диалог (я и В - Василий):

Я: Васлилий, это снова Mmmo. КVM подключили не к той машине.

В: Я подключил квм к тому серверу, который вы описали.

Я: Подойдите к стойке.

В: Я у неё.

Я: Видите этот сервер? Два юнита. Четыре блейда. Нужная нода справа сверху.

В: Да, всё так.

Я: Обходите стойку. Идите к тыльной стороне сервера.

В: Тут.

Я: Нашли сервер?

В: Да, вот он, перед глазами. KVM подключен в нужную ноду.

Я: В какую именно?

В: В правую верхнюю.


Пара-пара-пам. Фиуть-бум.
Ответ на пост «Страшно подумать как она флешки в компьютер вставляет!» IT, Работа, Абсурд, Сисадмин, Ответ на пост, Длиннопост

Найдены дубликаты

+75

А ты извращенец. Ты знал что KVM подключать с тыльной стороны. Ты знал ху из Вася. Но ты всё равно описал ему какой сервер с лицевой стороны.

раскрыть ветку 17
+27

Поддерживаю. Это как наступать на грабли с открытыми глазами в надежде что в этот раз не попадёт по лицу!

раскрыть ветку 1
+4

Ну он же граблям сказал что сейчас на них наступит и не надо бить его по лицу.

+5

Чесслово, даже представить себе не мог, что всё ТАК плохо.

раскрыть ветку 13
+7

такое случается не только с айтишниками, вообще-то много людей у которых есть проблемы с поворотом/отражением объектов в уме(пространственное воображение) - это так мозг устроен.

проблема с картами, проблема с левым/правым поворотом, с запоминанием пройденного пути - всё от того же.

частично исправляется при постоянной деятельности, но даже при этом - автоматически на интуитивном уровне может не сработать и человек перепутает.


так что если кто то путается в картах или поворотах - он не тупой. стоит сразу запомнить и относиться к нему с настороженностью, потому что такие обычно привыкли косячить.

раскрыть ветку 3
+3

напомнил боянный видос The website is down

раскрыть ветку 2
+2

Пфф. У нас при обновлении ядра сети конфуз случился. Воткнули новые коммутаторы, настроили, сервера/маршрутизаторы не переключали. В конторе был штатный админ, договорились что будем говорить ему откуда и куда переключать патчкорды (из старых коммутаторов в новые). Говорим ему переключить патч из порта Х старого в порт Y нового. Отключает патч, на старом видим падение линка, подключает патч, на новом видим что линк поднялся, проверяем сервер - его нету. Новый коммутатор говорит что по таблице коммутации в том порту ни разу не мак сервера. Просим подключить патч обратно - сервер появляется, переключить в новый - пропадает. Почесали репу, смотрим, а на старом коммутаторе линк в апе. Спрашиваю у него "ты отключил патч от сервера и воткнул в новый коммутатор?", отвечает что да. Как до этого можно было додуматься при таких простейших инструкциях я хз. К счастью дальше таких конфузов небыло

раскрыть ветку 3
+2
Точно такую фразу я слышу каждый раз от своего ведущего сисадмина.
раскрыть ветку 1
0
У этого коммента должно быть больше плюсов, чем у поста. А ТС - Вася)
+18

Они такие. Свежая история - европейский провайдер, европейские имя и фамилия чудака в подписи саппорте (не индус, как говорится, если не маскируется) .
Пишем тикет с вопросом - на хосте стало время убегать, можно ли будет если что заменить шасси?
Ответ: чуваки, не вопрос, я вам щас батарейку поменяю, должно помочь.

Через 5 минут сервер (нода виртуализации если что, то есть падает сразу несколько виртуалок вместе с ним) пропадает из мониторинга.

Пока мы офигеваем и составляем петицию "какого ...%;;№2...шатаете без предупреждения и согласования"  ответ в тикете - "я поменял батарейку и включил сервер, все должно быть ок".


Мы пишем тикет - нефига не ок, сервер не доступен, по ipmi тоже.
Молчание - час, через час ответ "Здравствуйте, это коллега Клауса (ну или как его там звали, назовем Клаус), он закончил смену. Я обратил внимание что на вашем сервере выставлена загрузка по UEFI, которая, видимо, слетела после переставления батарейки."

Короче Клаус, скотина, без предупреждения "проапгрейдил" хост и со словами "я починиль" свалил со смены, даже не убедившись что хост поднялся.

Не  будьте как Клаус!

раскрыть ветку 14
+20
Ну это фигня.До этого Клаус работал водителем погрузчика, там совсем плохо кончилось.
Иллюстрация к комментарию
+2

какого размера пизды вломили Клаусу ? меня бы за такое драли втроём насухую

раскрыть ветку 6
+1

О, хоть один вменяемый человек в комментах нашелся :)
По ходу спустили на тормозах, неделю назад было. Тимлид замороченный сейчас другим, наши вопли проигнорил и не стал ситуацию форсить (а мог бы, через кейкаунта компании, уже были с ними раньше такие разборки), а сменщик Клауса написал шаблонный ответ про misunderstanding иии...все.
Но хостер, в принципе, так-то ничего и с саппортом тоже всякое бывает. Я помню как мы 2, сука, недели убеждали в тикетах у другого хостера на нам нужно вытащить из софтового рейда  диск и воткнуть другой, и что данные мы не потеряем, а с реконфигом рейда разберемся сами.  И вот там он полторы недели нас убеждал что не надо так делать и потом на каждое действие разрешения переспрашивал и дожидался однозначного подтверждения.

раскрыть ветку 5
+1

Так вроде типичная ситуация.

Есть распространенная проблема для которой описан регламент. Исполнитель не думает он выполняет то что нужно сделать по регламенту. Это никакой не аврал чтобы из-за этого на работе задерживаться. В следующую смену придет другой. В 95% случаев все ОК. Иногда не ОК но это заметит либо клиент либо мониторинг. Если проблема окажется повторяющейся добавят в регламент.

раскрыть ветку 4
0
В каком регламенте описано без просьбы выполнять действие, которое тебя не просили делать? (а всего лишь поинтересовались возможностью - вдруг такого же железа нет на складе), при этом даже делать не то спросили, а то что ты как особо умный специалист посчитал нужным? Делать, вырубая продакшн сервер без предупреждения, не согласовав вывод сервера и окно майнтенанса? Наконец, не проверив результат своих действий? И не говоря уж о лучах поноса от порядка 5к человек, которые на этом сервисе тогда висели.
Не знаю, может для того кто привык к российским хостерам это ок (да и то уже скорее дикость чем практика) но у нас есть много с кем сравнить из европейских и это прямо косяк-косяк.
раскрыть ветку 3
0

Это очень хорошо указывает на уровень компетенции сотрудников.

+3

у нас так дежурный киповец сигнальную лампу менял, по иструкции надо отключить питание лампы, тупо открутить проводок в щитовой от арматуры( для киповцев инфа: РТ-40 и РТД мешали при выключении всей световой индикации и срабатывала звуковая а это записи в самописцах и дальнейшие объяснительные) и выйти в операторный зал и снять светофильтр и произвести замену. умник отключал точно так же крайнюю правую в стойке менял тоже крайнюю правую (еблан), а в зале паника начиналась (операторы женщины) - сетевой главный нагнетающий вырубился всё накрылась премия, хоть и переход на резерв дело нескольких минут пока секция насосов разгонится+задвижки на магистралях все (окола десятка) откроются, а расход нефти то с другими цифрами. так было каждую его (индикаторов на щитах и мнемосхеме много) смену пока не решил проверить что происходит.

+1

Да всякие приколы бывают.

Приходит в цод клиент, ни стойки, ни номера серверов не знает, только контору, а у них три стойки, спрашивает мне в какую? Откуда мне знать в какую у вас с 15 серверов там.
***
Звонит, просит квм. Подключаем, скидываем доступ. Звонит ругается, что доступ получили неправомерный кто-то и печатает. Удивляемся, доступы то каждый раз новые. Меняем ладно, снова звонит. Ругается. Требует начальство. Меняем еще раз. Через пол часа звонит извиняется, его коллега тоже получает рассылку по дефолту сидит троллит.
***
Спрашивают у нас какой доступ к серверу запароленому.
***
Просят подключить квм к оборудованию без видеовыходов (Без понятия что за штука, не сетевое) Не верят, смотрят фото удивляются.

раскрыть ветку 3
0

Т.е. бывают KVM, к которым можно подсоединяться из вне? Т.е., грубо говоря, KVM дается IP, и к ней напрямую подсоединяются?

раскрыть ветку 2
0

Именно так.

раскрыть ветку 1
+1

кстати а эти блейды по sysctl не умеют мигать лампочками на морде или там нечем?

и у вас что - с обратной стороны на серверах нет наклеек, особенно у тех кто с задними блоками питания?

раскрыть ветку 6
0

Обычно они в ipmi включаются, ТС писал что у них блейды без ipmi

раскрыть ветку 1
0

на некоторых intel без ipmi если корзины с лампочками - можно управлять ими. но это редкость

0

Мигать лампочками через sysctl? Это как?

раскрыть ветку 3
+1

как именно через sysctl - не знаю


https://unix.stackexchange.com/questions/527414/whats-the-di...

https://www.systutorials.com/docs/linux/man/8-sas_disk_blink...

https://serverfault.com/questions/976222/how-do-i-find-the-d...

https://www.dell.com/support/article/us/en/19/sln310523/usin...


там где есть UID LED можно мигать им, но формально это не нужно - обычно доступно ilo http://pyatilistnik.org/kak-podsvetit-server-hp-proliant-dl3... https://www.youtube.com/watch?v=VwVQbLSzJY4


можно спросить производителя сервера какими светодиодами можно управлять программно и какой пакет для этого нужен

раскрыть ветку 1
0
0

Давайте лайфхак вам расскажу. На такой случай берется человек с камерой на телефоне и гарнитурой (потому что в серверной обычно шумно) Гарнитура у нас в серверной, а человек дежурный. Далее вы словами превращаете в биоробота. Он делает только то-то говорите вы. Если операция не требует визуального контроля  и робот новой модели, то достаточно использовать вербальный способ. Если модель старая или рефорженая, то тогда с визуальным контролем. Наблюдаешь потом как робот так и идет с телефоном перед собой до рабочего места, сняв гарнитуру в серверной.

-1

"закрепилась репутация косипора".
Кавобля?

раскрыть ветку 4
0

Человека, который постоянно косячит. Позволил себе жаргонизм. Прошу прощения.

раскрыть ветку 3
0

А что мешает поставить кvm-server типа атен серия кн? на нужное количество серверов? Если сотрудники цода так тормозят, при описанной ситуации цена вопроса, думаю, смешная

раскрыть ветку 2
-4
Растет поколение ЕГЭ
Похожие посты
Возможно, вас заинтересуют другие посты по тегам: