219

Ответ на пост «Страшно подумать как она флешки в компьютер вставляет!» 

Думал коммент написать, но что-то много вышло.


Есть в парке конторы, в которой тружусь, некоторое количество серверов. В большинстве своём они оборудованы специальным железом и ПО, которое позволяет, в случае чего, удалённо подключиться к серверу и выполнить на нём какие-либо действия: команду непосредственно в операционной системе сервера, или, если ОС по тем или иным причинам не отвечает, сделать машине выкл/вкл по питанию.


Часть серверов ввиду своей некоторой несвежести, таким ПО и железом не оборудованы. Поэтому, приходится прибегать к помощи технических специалистов ЦОД'ов, в которых сервера располагаются.


Есть у нас один 2u сервер на 4 блейда. Примерно такой (лицевая часть):

Ответ на пост «Страшно подумать как она флешки в компьютер вставляет!» IT, Работа, Абсурд, Сисадмин, Ответ на пост, Длиннопост

Фактически, это четыре одинаковых сервера, объединённых на одном двухюнитовом шасси. То есть, четыре сервера в одной большой железке.


Эти сервера как раз не оборудованы штатным ipmi, который позволил бы, как я описал выше, удалённо управлять сервером, если с ним что-то случилось.


По закону Мёрфи на одном из блейдов этого сервера случилась внештатная ситуация, которая потребовала моего вмешательства. Дело было то ли в субботу, то ли в воскресенье. Написал соответствующую заявку в ТП ЦОД'a и делаю контрольный звонок. Трубку взял дежурный сис.админ, назовём его, допустим, Васей.


Здесь нужно сделать ещё одно небольшое отступление и рассказать о Васе. Вася, судя по его внешности, достаточно усердно занимается тяганием различных железок в тренажёрном зале. Ещё когда в первый раз его увидел, был удивлён. У всех такое бывает, когда первый раз в жизни встречаешь айтишника-качка. Плюс-минус это выглядит так:

Ответ на пост «Страшно подумать как она флешки в компьютер вставляет!» IT, Работа, Абсурд, Сисадмин, Ответ на пост, Длиннопост

Не имею представления, какое у него образование, но работу на этом месте он работает по принципу "моя хата скраю; а если не скраю, то нужна подробная инструкция, что от меня нужно". То есть, скорее всего, работа выбрана потому как "что-то платят, обязанностей не очень много, ходить в качалку четыре раза в неделю позволяет". Подчеркну, я, вероятно, заблуждаюсь, и Васян - отличный специалист, хотя и очень умело это скрывает, но за Васей в нашей компании закрепилась репутация косипора: почти каждое наше с ним общение и запрос помощи заканчивались не так, как того хотелось бы. В лучшем случае достаточно было позвонить в ЦОД снова и объяснить Васе, что он сделал не так и как это переделать. В худшем - приходилось ехать в ЦОД самостоятельно и устранять возникшую ситуацию своими руками. А это драгоценное время простоя в работе сервисов.


Вернёмся к моменту, когда трубку взял Вася. Я сразу понял, что сформулированную перед звонком в голове и в письме просьбу "задержать кнопку питания на 15 секунд, подождать 5 секунд и ещё раз нажать кнопку питания на этот раз на одну секунду" нужно менять, т.к. однажды такая операция, выполненная Васей, стоила нам перегрузки не того сервера (даже с учётом того, что все сервера в наших стойках проименованы специальными стикерами). В итоге попросил его подключить к проблемному серверу ЦОД'овский KVM - устройство, позволяющее получить удалённый доступ к серверной консоли внутри ОС. То есть, работаешь с командной строкой сервера, как будто на своей машине. Это не даст возможности перегрузить сервер, но так я бы визуально понял, что Вася правильно определил машину. После чего можно уже с более-менее спокойной совестью просить отключить KVM и следом перегрузить эту машину по питанию.


Василий, наученный горьким опытом перезагрузки не того сервера, несколько раз уточнил, к какому именно серверу нужен KVM. На что получил мои чёткие указания: "Сервер с именем %%SERVERNAME%% стоит в стойке N, которая находится в ряду M. Визуально: сервер на два юнита и четыре блейда, два в одном юните сверху, два во втором юните - снизу. Нужный блейд - правый верхний, если смотреть на лицевую часть сервера." На эти пояснения я услышал что-то вроде: "Всё понял. Ждите доступы к KVM на вашем email через 10 минут".


По пришедшим через обещанные 10 минут креденшелам захожу в KVM и вижу сервер в полном здравии. Секунд 10 понадобилось невнимательному мне, чтобы понять, что KVM подключен не к тому серверу (на это намекнул hostname, видимый в моём шелле на каждом сервере по умолчанию). Звонок в ЦОД. Примерный диалог (я и В - Василий):

Я: Васлилий, это снова Mmmo. КVM подключили не к той машине.

В: Я подключил квм к тому серверу, который вы описали.

Я: Подойдите к стойке.

В: Я у неё.

Я: Видите этот сервер? Два юнита. Четыре блейда. Нужная нода справа сверху.

В: Да, всё так.

Я: Обходите стойку. Идите к тыльной стороне сервера.

В: Тут.

Я: Нашли сервер?

В: Да, вот он, перед глазами. KVM подключен в нужную ноду.

Я: В какую именно?

В: В правую верхнюю.


Пара-пара-пам. Фиуть-бум.
Ответ на пост «Страшно подумать как она флешки в компьютер вставляет!» IT, Работа, Абсурд, Сисадмин, Ответ на пост, Длиннопост

Найдены дубликаты

+77

А ты извращенец. Ты знал что KVM подключать с тыльной стороны. Ты знал ху из Вася. Но ты всё равно описал ему какой сервер с лицевой стороны.

раскрыть ветку 18
+27

Поддерживаю. Это как наступать на грабли с открытыми глазами в надежде что в этот раз не попадёт по лицу!

раскрыть ветку 1
+6

Чесслово, даже представить себе не мог, что всё ТАК плохо.

раскрыть ветку 14
0
У этого коммента должно быть больше плюсов, чем у поста. А ТС - Вася)
+20

Они такие. Свежая история - европейский провайдер, европейские имя и фамилия чудака в подписи саппорте (не индус, как говорится, если не маскируется) .
Пишем тикет с вопросом - на хосте стало время убегать, можно ли будет если что заменить шасси?
Ответ: чуваки, не вопрос, я вам щас батарейку поменяю, должно помочь.

Через 5 минут сервер (нода виртуализации если что, то есть падает сразу несколько виртуалок вместе с ним) пропадает из мониторинга.

Пока мы офигеваем и составляем петицию "какого ...%;;№2...шатаете без предупреждения и согласования"  ответ в тикете - "я поменял батарейку и включил сервер, все должно быть ок".


Мы пишем тикет - нефига не ок, сервер не доступен, по ipmi тоже.
Молчание - час, через час ответ "Здравствуйте, это коллега Клауса (ну или как его там звали, назовем Клаус), он закончил смену. Я обратил внимание что на вашем сервере выставлена загрузка по UEFI, которая, видимо, слетела после переставления батарейки."

Короче Клаус, скотина, без предупреждения "проапгрейдил" хост и со словами "я починиль" свалил со смены, даже не убедившись что хост поднялся.

Не  будьте как Клаус!

раскрыть ветку 15
+23
Ну это фигня.До этого Клаус работал водителем погрузчика, там совсем плохо кончилось.
Иллюстрация к комментарию
+2

какого размера пизды вломили Клаусу ? меня бы за такое драли втроём насухую

раскрыть ветку 7
+1

Так вроде типичная ситуация.

Есть распространенная проблема для которой описан регламент. Исполнитель не думает он выполняет то что нужно сделать по регламенту. Это никакой не аврал чтобы из-за этого на работе задерживаться. В следующую смену придет другой. В 95% случаев все ОК. Иногда не ОК но это заметит либо клиент либо мониторинг. Если проблема окажется повторяющейся добавят в регламент.

раскрыть ветку 4
0

Это очень хорошо указывает на уровень компетенции сотрудников.

+3

у нас так дежурный киповец сигнальную лампу менял, по иструкции надо отключить питание лампы, тупо открутить проводок в щитовой от арматуры( для киповцев инфа: РТ-40 и РТД мешали при выключении всей световой индикации и срабатывала звуковая а это записи в самописцах и дальнейшие объяснительные) и выйти в операторный зал и снять светофильтр и произвести замену. умник отключал точно так же крайнюю правую в стойке менял тоже крайнюю правую (еблан), а в зале паника начиналась (операторы женщины) - сетевой главный нагнетающий вырубился всё накрылась премия, хоть и переход на резерв дело нескольких минут пока секция насосов разгонится+задвижки на магистралях все (окола десятка) откроются, а расход нефти то с другими цифрами. так было каждую его (индикаторов на щитах и мнемосхеме много) смену пока не решил проверить что происходит.

+1

Давайте лайфхак вам расскажу. На такой случай берется человек с камерой на телефоне и гарнитурой (потому что в серверной обычно шумно) Гарнитура у нас в серверной, а человек дежурный. Далее вы словами превращаете в биоробота. Он делает только то-то говорите вы. Если операция не требует визуального контроля  и робот новой модели, то достаточно использовать вербальный способ. Если модель старая или рефорженая, то тогда с визуальным контролем. Наблюдаешь потом как робот так и идет с телефоном перед собой до рабочего места, сняв гарнитуру в серверной.

+1

Да всякие приколы бывают.

Приходит в цод клиент, ни стойки, ни номера серверов не знает, только контору, а у них три стойки, спрашивает мне в какую? Откуда мне знать в какую у вас с 15 серверов там.
***
Звонит, просит квм. Подключаем, скидываем доступ. Звонит ругается, что доступ получили неправомерный кто-то и печатает. Удивляемся, доступы то каждый раз новые. Меняем ладно, снова звонит. Ругается. Требует начальство. Меняем еще раз. Через пол часа звонит извиняется, его коллега тоже получает рассылку по дефолту сидит троллит.
***
Спрашивают у нас какой доступ к серверу запароленому.
***
Просят подключить квм к оборудованию без видеовыходов (Без понятия что за штука, не сетевое) Не верят, смотрят фото удивляются.

раскрыть ветку 3
0

Т.е. бывают KVM, к которым можно подсоединяться из вне? Т.е., грубо говоря, KVM дается IP, и к ней напрямую подсоединяются?

раскрыть ветку 2
+1

кстати а эти блейды по sysctl не умеют мигать лампочками на морде или там нечем?

и у вас что - с обратной стороны на серверах нет наклеек, особенно у тех кто с задними блоками питания?

раскрыть ветку 6
0

Обычно они в ipmi включаются, ТС писал что у них блейды без ipmi

раскрыть ветку 1
0

Мигать лампочками через sysctl? Это как?

раскрыть ветку 3
-4
Растет поколение ЕГЭ
-1

"закрепилась репутация косипора".
Кавобля?

раскрыть ветку 4
0

Человека, который постоянно косячит. Позволил себе жаргонизм. Прошу прощения.

раскрыть ветку 3
Похожие посты
287

Пригодился

Пригодился Работа, IT, Газовая камера
Показать полностью
136

Тяга к халяве. Навеяно постом

У нас есть великая цель: не ударить в грязь лицом на выставке. Мы знаем, что у нас есть дефицит человеко-часов, а новых программистов экстренно в проект встроить нельзя, поэтому постановляем, что все сверхурочные в выходные будут оплачиваться из расчёта пять тысяч рублей за день работы! Руководство.
3574

Зарплата маленькая зато работы много

Зарплата маленькая зато работы много IT, Менеджер, Работа
876

А поговорить?

А поговорить? IT, Делопроизводство, Управление, Управление проектами, Управление людьми, Рассказ, Авторский рассказ, Технологии, Информация, Психология, Люди, Работа, Офисный планктон, Офисные будни, Офисный работник, Офис, Автоматизация, Цифровая экономика, Цифровые технологии, Длиннопост
Как говорится, собака лает – караван идёт
Показать полностью
617

Про собеседование с эйчаром

141

Вопросы с собеседований по Linux

Вопросы с собеседований по Linux GNU, Linux, IT, Работа, Собеседование, Системное администрирование
164

У нас дорого, или у Вас нет денег?

У нас дорого, или у Вас нет денег? IT, Монтаж, Сисадмин, Заказчики, Исполнители, Работа, Цены, Оплата, Экономия
Показать полностью 1
2384

Как дела, Валя? Мы тебя не игнорируем!

174

Купите подписку

234

Дискриминация инвалидов при трудоустройстве

214

Ответ на пост «О том, как мир богат на идиотов» 

236

Тест на применение черепичной записи (SMR) в жестком диске

Тест на применение черепичной записи (SMR) в жестком диске Жесткий Диск, Smr, Toshiba, Seagate, Western Digital, IT, Сисадмин, Системное администрирование, Компьютер, Ноутбук, Компьютерное железо, Длиннопост
Тест на применение черепичной записи (SMR) в жестком диске Жесткий Диск, Smr, Toshiba, Seagate, Western Digital, IT, Сисадмин, Системное администрирование, Компьютер, Ноутбук, Компьютерное железо, Длиннопост
Тест на применение черепичной записи (SMR) в жестком диске Жесткий Диск, Smr, Toshiba, Seagate, Western Digital, IT, Сисадмин, Системное администрирование, Компьютер, Ноутбук, Компьютерное железо, Длиннопост
Тест на применение черепичной записи (SMR) в жестком диске Жесткий Диск, Smr, Toshiba, Seagate, Western Digital, IT, Сисадмин, Системное администрирование, Компьютер, Ноутбук, Компьютерное железо, Длиннопост
Тест на применение черепичной записи (SMR) в жестком диске Жесткий Диск, Smr, Toshiba, Seagate, Western Digital, IT, Сисадмин, Системное администрирование, Компьютер, Ноутбук, Компьютерное железо, Длиннопост
Тест на применение черепичной записи (SMR) в жестком диске Жесткий Диск, Smr, Toshiba, Seagate, Western Digital, IT, Сисадмин, Системное администрирование, Компьютер, Ноутбук, Компьютерное железо, Длиннопост
Тест на применение черепичной записи (SMR) в жестком диске Жесткий Диск, Smr, Toshiba, Seagate, Western Digital, IT, Сисадмин, Системное администрирование, Компьютер, Ноутбук, Компьютерное железо, Длиннопост
Тест на применение черепичной записи (SMR) в жестком диске Жесткий Диск, Smr, Toshiba, Seagate, Western Digital, IT, Сисадмин, Системное администрирование, Компьютер, Ноутбук, Компьютерное железо, Длиннопост
Тест на применение черепичной записи (SMR) в жестком диске Жесткий Диск, Smr, Toshiba, Seagate, Western Digital, IT, Сисадмин, Системное администрирование, Компьютер, Ноутбук, Компьютерное железо, Длиннопост
Тест на применение черепичной записи (SMR) в жестком диске Жесткий Диск, Smr, Toshiba, Seagate, Western Digital, IT, Сисадмин, Системное администрирование, Компьютер, Ноутбук, Компьютерное железо, Длиннопост
Показать полностью 9
8702

Нам нужны специалисты, а не те, кто в гугле ищет

216

Ростелеком. Как победить? Прошу совета

1567

Сделайте скриншот вашей проблемы

59

Ответ на пост «Про магию айтишников» 

43

По поводу магии айтишников)

Похожие посты закончились. Возможно, вас заинтересуют другие посты по тегам: