В один совершенно обычный день мне позвонил клиент.
— У нас интернет не работает. Данные не передаются.
Причём речь шла не о дешёвом домашнем тарифе. У клиента была дорогущая выделенная оптоволоконная линия для бизнеса. С серьёзными гарантиями, солидными договорами и таким количеством нулей в ежемесячном счёте, что руководство могло спать спокойно.
Для начала я попросил клиента перезагрузить маршрутизатор и оборудование, к которому подключена оптика.
Всё выключилось, включилось, немного помигало индикаторами и продолжило не работать.
Тогда я попросил перезагрузить ещё и сетевые коммутаторы.
После перезагрузки я вдруг смог к ним подключиться. Остальная сеть клиента по-прежнему была недоступна, зато коммутаторы прекрасно выходили со мной на связь.
Была только одна маленькая странность.
Они подключались с IP-адреса, которого я никогда раньше не видел.
Это был не обычный публичный IP клиента. В нашей документации такого адреса тоже не существовало. Он словно материализовался из параллельной вселенной.
Насколько я понимал принципы работы сетей, вариантов было два: либо оборудование доступно, либо нет.
Но эта сеть, похоже, выбрала секретный третий вариант.
Я проверил оптоволоконное соединение через диагностические инструменты нашего партнёра-провайдера. Результат оказался предельно однозначным: оптического сигнала не было вообще.
Оборудование провайдера на местном узле связи не работало.
Не «наблюдаются временные перебои».
Не «качество связи ухудшилось».
Это объясняло, почему дорогущий оптоволоконный канал умер. Но никак не объясняло, откуда взялись работающие коммутаторы с незнакомым IP-адресом.
В какой-то момент диагностика сети перестала напоминать техническую работу и превратилась в спиритический сеанс.
Прошло около получаса удалённых попыток разобраться. Наш партнёр-провайдер по-прежнему ничего полезного сообщить не мог.
— А у вас поблизости ничего необычного не происходит? Дорогу ремонтируют, электричество отключали, стройка какая-нибудь?
Тем временем сеть продолжала откровенно надо мной издеваться.
В конце концов я пришёл к единственному оставшемуся технически обоснованному решению.
Да ну его к чёрту. Поеду сам.
Собрал оборудование, включил музыку подраматичнее и отправился к клиенту. Ехать предстояло около двух часов.
Дорога, кстати, оказалась довольно приятной. Музыка хорошая, пробок почти нет. Времени достаточно, чтобы поразмышлять, какая именно хитрая ошибка в настройках испортит мне остаток дня.
Через два часа я приехал, рассчитывая увидеть клиента.
Вместо него меня встретили несколько пожарных машин и полиция.
Выяснилось, что, когда клиент уверял меня, будто вокруг всё нормально, он забыл упомянуть одну крошечную деталь.
Примерно в 100 метрах от его здания вовсю горел телекоммуникационный шкаф местного узла связи.
Не в том смысле, что на панели мониторинга всё красное.
Там было настоящее пламя. Настоящий дым. И настоящие пожарные, пытавшиеся спасти дорогостоящее телекоммуникационное оборудование от превращения в металлический мангал.
Я некоторое время просто сидел в машине и смотрел на происходящее.
Отсутствие оптического сигнала теперь было вполне объяснимо.
Но оставалась загадка: как коммутаторы умудрились выйти на связь с IP-адреса, которого вообще не было в нашей документации?
Ответ нашёлся, когда мы начали разбираться с оборудованием внутри здания клиента.
Там обнаружилась резервная система связи через 5G.
О её существовании не знал никто со стороны клиента.
У нас в компании о ней тоже никто не знал.
В документации она нигде не упоминалась. Ни записей, ни настроек, ни объяснений, как вообще должен работать этот резервный канал.
Именно наша компания, которая обслуживала IT-инфраструктуру клиента.
Получается, где-то в нашей бухгалтерии каждый месяц исправно списывались деньги за резервное интернет-соединение, о существовании которого никто даже не подозревал.
Самое смешное, что резервный 5G-канал работал отвратительно.
Его совершенно не хватало, чтобы обеспечить клиенту нормальный доступ в интернет. Но после перезагрузки коммутаторов пропускной способности оказалось достаточно, чтобы они смогли достучаться до интернета и выйти с нами на связь через тот самый неизвестный IP-адрес.
То есть резервное соединение не могло обеспечить работу бизнеса.
Зато прекрасно справлялось с другой задачей: сводило с ума техподдержку и превращало обычную сетевую аварию в какое-то сверхъестественное явление.
Итак, после получаса удалённой диагностики, двух часов за рулём и нескольких разговоров с клиентом и провайдером окончательный диагноз выглядел следующим образом.
Интернет буквально горел.
А внутри здания клиента стояла секретная резервная 5G-система, о которой все забыли, которую никто не задокументировал и за которую мы продолжали платить. Работала она ровно настолько, чтобы запутать техподдержку, но не настолько, чтобы принести клиенту хоть какую-то пользу.
Резервный канал практически не работал.
И только система выставления счетов отработала без единого сбоя.
Если вам нравятся эти истории — подписывайтесь: новые переводы выходят каждый день. При желании можно поддержать подборку и переводы рублём. Переводы остаются бесплатными.