Серия «Байки из серверной »

В этом посте будет не одна история, а несколько забавных зарисовок, каждая из которых не достойна отдельного поста.

Обслуживал я как-то ЦОД одной федеральной службы в качестве инженера на аутсорсе. Я отвечал в первую очередь за системы хранения данных и резервного копирования, но и серверами занимался по мере необходимости. В ЦОДе у них был настоящий зоопарк из оборудования. Олни только хранилища были и Dell и NetApp и Emc. И вот однажды потребовалось извлечь из серверного шкафа один старенький сервер. А шкаф этот был прямо отдельным произведением искусства. Явно самый дешёвый шкаф из тонкого металла, который забили до отказа оборудованием. Судя по его виду, когда в него воткнули последний сервер, его намертво перекосило под тяжестью железа и ничего вытащить оттуда уже было нельзя. И вот я, как в сказке про репку, тяну-потяну а вытянуть не могу. Принимаю волевое решение вытащить часть серверов, не отключая их, так как они все очень важные, судя по рассказам ответственных лиц, чтобы разгрузить стойку и вытащить тот, который требуется. Стоит упомянуть что на все работы со мной ходил представитель организации, следил чтобы я чего лишнего не сделал. И вот, я выбрал первую жертву - сервер на два юнита со здоровенной ручкой, за которую его должно быть очень удобно вытаскивать. Берусь за эту ручку, тяну... и из корпуса сервера выезжает модуль с процессором и памятью. Оказывается, у этого сервера была очень, сука, удобная модульная архитектура. Чтобы получить доступ к процессору или памяти не нужно было вытаскивать весь сервер и раскручивать его. Нужно просто потянуть за ручку извлечения. Бросил быстрый взгляд на сопровождающего, увидел, что он не смотрит, быстро засунул модуль назад и притворился, что ничего не случилось)

Ещё интересные случаи были, когда я работал на второй линии поддержки пользователей из США и Канады.

У одного из клиентов было два контура сети. В одном контуре все серверы носили названия алкогольных напитков, а в другом - пород медведей. Видимо, это как-то связано с тем, что заказчик был из Канады. Проблема у него с нашим софтом была достаточно сложная и общался я с ним пару недель очень активно. В результате в контурах той компании появились серверы Samogon и Medved.

И мой любимый случай с той же работой. Когда заявка приходит на первую линию, сотрудники там отрабатывают по скриптам и, если не могут решить проблему, собирают все необходимые логи и передают кейс на вторую линию. И вот пришел ко мне такой кейс, где проблема явно сетевая, а логи wireshark, программы которая перехватывает сетевые пакеты, не собраны. Приходится мне писать клиенту письмо: дорогой клиент, для расследования проблемы нам нужны логи wireshark. Вы можете собрать из самостоятельно, вот инструкция, либо давайте назначим время, когда я смогу подключиться удаленно и собрать необходимые логи. Судя по всему наши индусы уже подзадолбали клиента, иначе я не могу объяснить то, что я получил в ответ. Его ответ я со смехом вспоминаю до сих пор: "у вас такая плохая техподдержка, что вы не могли бы оттраблшутить почему обезьяна с бананом в жопе не может срать". Очень хотелось написать в ответ что-то вроде: "мы конечно обезьянами не занимаемся, но в пробовали вытащить и снова вставить?" Но, мне бы это боком вышло, так что пришлось вежливо уговаривать на предоставление логов.

Работал я когда-то в технической поддержке одного российского вендора. Вендор разрабатывал ПО, которое использовалось по всему миру. Я вообще удивился, когда увидел список заказчиков за рубежом. Я работал на экспертной второй линии поддержки на английском языке. Заказчики были преимущественно из США и Канады, соответственно работал я с 6 вечера до 3 утра.

Схема работы техпода была проста. Заявка приходит на первую линию. Первая линия пытается решить проблему по сценарию. Если не выходит, то собирает всю информацию и логи и передаёт заявку на вторую линию, где мы уже применяем все свои знания и умения, чтобы проблему решить.

Вся первая и вторая линия поддержки на всех языках сидела в московском офисе, кроме первой линии на английском. Эти ребята были в Мумбаи. Там прямо стереотипные индусы из техподдержки. И в наши обязанности, как экспертной линии, входило обучение и всяческий менторинг наших индийских коллег. Так что, мы неплохо поднаторели в индийском английском.

Ночные смены в техподе тянулись долго и были довольно скучными, за исключением некоторых особо забавных заказчиков. И как-то мы с моим коллегой, который как и я был на второй англоязычной линии, придумали такое развлечение: мы переделали наши имена на индийский манер. Допустим он был Антон, а я - Андрей. Или наоборот. Мы стали Антох и Андриш. Фамилии также подверглись индиизации. Под этими именами мы проводили созвоны и удаленные сессии (это когда подключаешься к заказчику через TeamViewer и решаешь его проблему своими руками). При этом разговаривали мы на английском с акцентом в лучших традициях Раджеша Кутрапали в переводе Кураж Бомбей. Судя по реакции заказчиков, никто и не думал, что это не Андриш и Антох из Индии, а два приколиста из России.

Пару недель мы так развлекались и все было весело и здорово. Стоит упомянуть, что, при закрытии обращения, заказчику приходит письмо с просьбой оценить работу поддержки. И в один прекрасный день кто-то решил воспользоваться предложением, поставил самую высокую оценку и написал, что Андриш - отличный специалист и быстро смог решить проблему. Такого развития событий мы не предвидели. Естественно, оценка работы попадает к нашему менеджеру и у нее возникает резонный вопрос: кто, блядь, такой Андриш? Пока мы пытались выдавить из себя какое-то вразумительное объяснение вроде того, что это наверное просто опечатка, выяснилось, что мы не учли ещё один нюанс. А заключался он в том, что все наши звонки клиентам записываются. Наша менеджер выгружает звонки и начинает их слушать. И тут мы наблюдаем, как ее глаза расширяются, а лицо вытягивается от того, что она там услышала. Мы уже мысленно написали по собственному и заказали места на кладбище. В общем, после прослушивания наших развлечений, нам выдали таких пиздюлей, ещё и авансом за весь следующий год, что произношение на английском у нас резко улучшилось.

А самое забавное, что эта история ещё получила продолжение. В этой компании есть отдел обучения. Через него проходят все новые сотрудники, чтобы изучить продукт и процессы в компании. Обучение различается в зависимости от должности нового сотрудника. Так вот, уже после того, как я оттуда ушёл, один из моих бывших коллег, который продолжал там работать рассказал, что наши записи включают новым сотрудникам поддержки со словами: вот послушайте как можно отлично закрыть задачу даже, если ты долбоеб и валяешь дурака в процессе, притворяясь индусом.

Я практически всю сознательную жизнь работаю в АйТи. Начинал много лет назад когда это не было модно и прибыльно. За долгие годы в профессии у меня накопилось некоторое количество забавных историй, которыми я хочу с вами поделиться.

Работал я в одном системном интеграторе. Занимался я тем, что обслуживал у заказчиков всю возможную айтишную инфраструктуру. У одних удаленно, у других - лично в офисе. На дворе первые теплые летние деньки. Мне прилетает мне заявка на выезд в офис одной из компаний-заказчиков. Там куча всякой мелочи и самая важная проблема - по ночам все отключается. Всё - это почта и сайт. По словам заказчика каждый вечер все перестаёт работать, а утром снова начинает. Беру все свое барахлишко: диски, флэшки, отвёртки, обжимки (а то мало ли что там за проблема и какой инструмент понадобится) и стартую в направлении заказчика.

Беру мышь, клаву, монитор и подключаюсь к одному из серверов. Открываю журнал событий Windows и вижу, что часов с 7-8 вечера сервер начинает постоянно уходить в перезагрузку из-за перегрева. А в районе 9 часов утра перестаёт. Подключаюсь ко второму и вижу ровно ту же картину. Пазл начинает складываться. Иду к девушке на ресепшене и начинаю выяснять:

- Кто серверную вечером закрывает?
- Я
- А окно закрываете?
- Конечно
- А во сколько обычно закрываете?
- В 18 - 18:30
- Ага. А утром когда приходите окно снова открываете, да?
- Да
- И во сколько приходите обычно?
- В 8

Выходит так, что вечером закрывается окно и дверь, а в северном чулане начинает расти температура. Как только она достигает опасных, по мнению операционной системы, значений начинается перезагрузка серверов для избежания повреждения компонентов. А раньше проблемы не было потому, что зимой и ранней весной от окна прохлада была и температура в каморке так сильно не росла.

Пошел к ответственному сотруднику объяснять что и как. Он с надеждой спросил, нельзя ли повысить порог температуры, при которой происходит перезагрузка. Благо, он быстро внял объяснениям о том, чем череповато такое вмешательство и что может случиться с их серверами при длительном перегреве. Порешали на том, что поставят в каморку кондиционер и расстались довольные друг другом.

А мораль истории такова: никакое оборудование не любит перегрева. Охлаждайте всё пропорционально нагрузке. И себя тоже)