Падение "цисок" глазами дежурного инженера ЦОД.
Заканчивался вечерний обход, мой напарник сидел в комнате дежурных и следил за происходящим в ЦОДе. Когда я пришел, он сказал что у нас отвалился интернет, и пока не понятно в чем дело. Сказал что уже позвонило пару клиентов и спросили почему их сервера недоступны. Я первым делом подумал, что у нашего оператора какие-то проблемы на линии, которые обычно он решает за считанные минуты (кто бы знал, что все будет на столько плохо...). Нам потихоньку начали названивать другие клиенты, и мы не находили ничего лучшего, как сказать что мы точно не знаем в чем проблема, сеть отвалилась у многих абонентов и сваливали всю вину на оператора, предоставляющего услуги интернета. Параллельно мы позвонили нашему руководству и сообщили о проблеме. Между звонками клиентов удалось дойти до помещения нашего системного администратора (благо он еще не успел уйти домой) и попытаться у него узнать, что происходит и почему у нас и множества клиентов отсутствует доступ паутине, на что он ответил, что пока что сам не понимает, что происходит. Где-то в течении часа были непонятки с ситуацией, и все начало прояснятся, когда один из наших начальников отправил сообщение примерно со следующим содержанием: "Коллеги, сегодня произошел массовый взлом оборудования cisco , в связи с чем наблюдается недоступность сетевого оборудования.
---здесь ссылка на статью из хакер ру---."
К тому времени, звонки от клиентов сыпались таким шквалом, что не успевали отвечать одному клиенту, как уже звонил следующий. Параллельно с этим мы еще должны были отвечать нашему непосредственному начальнику по телефону, что бы докладывать о происходящем.
В самый разгар "вечеринки" пришла можно сказать целая делегация IT-шников, которые сразу же пошли восстанавливать свое оборудование, параллельно рассказав нам в кратце, что происходит вообще и как с этим бороться. После этого мы уже смело отвечали клиентам, что вероятнее всего, проблема недоступности их оборудования заключается именно в этой атаке, и им необходимо обращаться к оператору, подключающему их к сети через свои коммутаторы. Был один клиент, который заявил, что мы гоним какую-то чушь, и типа мы во всем виноваты, но потом у него что-то произошло с телефоном, и вызов оборвался (хотя возможно, он увидел статью в интернете и понял, что нормально так накосячил, и что бы не извинятся, решил таким образом "уйти"). Наш системный администратор узнав причину сбоя, быстро начал восстанавливать сначала нашу сеть, что бы мы спокойно могли отвечать на заявки клиентов, а потом и восстанавливать остальные "циски". В итоге после массовой рассылки, и объяснения клиентам, что проблема скорее всего кроется в этом, звонки почти полностью прекратились, и сейчас (2.00 ночи) ЦОД работает практически в штатном ночном режиме [тишина и спокойствие].
К чему этот пост, спросите вы? Да не знаю. Как минимум хотелось бы, что бы перед тем как наезжать на сотрудников технической поддержки, вы выслушали их и обдумали все, что они говорят, после чего уже спокойно обсуждайте происходящее, а лучше просто поблагодарите за предоставленную информацию, и положив трубку дайте нам возможность выполнять непосредственно свои обязанности. Потому что помимо сбоя оборудования, есть и клиенты, которых это все не затронуло, и им необходимо, что бы с их оборудованием вовремя были выполнены другие работы.
Всем спасибо за внимание, интересна будет оценка поста и конечно же обоснованная критика. Всем удачи и поменьше сбоев с оборудованием :)
