Облака планеты земля, утро
Очень нравятся облака, но гложет мысль что такого контента в сети и так навалом, как и розовых соплей на тему кругом ужасы, а надо постить котиков, облака, вкусняшки и будет все хорошо.
А облака и правда красивые. Люблю небо.
Небесный прибой
«Не держите серверы без согласования». Как скажете
Я работаю в небольшой местной компании, которая плотно сидит на Microsoft Azure.
Для тех, кто не из IT: Azure — это прокат компьютеров. Мы арендуем у Microsoft машины (сами они стоят у них в дата-центрах), удалённо запускаем на них свой софт, а клиенты этим софтом пользуются.
В пандемию мы росли, запускали новые продукты и арендовали всё больше машин — счета за Azure быстро поползли вверх. Руководству это не понравилось, хотя выручка от новых продуктов перекрывала рост расходов с запасом. Один человек из топ-менеджмента, чья единственная работа — смотреть на счётчик расходов, спустил директиву «сдержать затраты на Azure». И вот команду, которая вообще-то занималась поддержкой клиентов, вдруг бросили на проект: автоматически отключать любую арендованную машину, которая простаивает. Что считается простоем — никто толком не определил.
Когда машину отключают, всё, что на ней работает, умирает. То есть наши сайты, инструменты и продукты, которыми прямо сейчас пользуются клиенты, просто ложатся.
Нам сказали: хотите держать простаивающие машины включёнными — получайте согласование. Пока что ни одна не простаивала — клиенты постоянно пользовались нашими продуктами. Но над головой повисла наковальня: любой сервис мог отвалиться, стоило ему по какой угодно причине уйти в простой, и на нас обрушился бы вал жалоб. Поэтому, договорившись с командой, я начал по расписанию заходить на наши сайты, изображая активность. К концу дня у меня был скрипт, который сам постоянно дёргал наши сайты и продукты.
Параллельно мы подали заявки «оставить включённым» на все критичные машины. Месяц на них никто не отвечал, так что команда была очень рада моему скрипту. Но тот самый смотритель счётчика полез в логи активности Azure и нашёл мою маленькую хитрость. Он написал в общий чат в Teams — где были и мой руководитель, и вся команда — и публично меня отчитал: никогда больше не делать таких безответственных вещей, а если машины действительно нужны, подавать заявки.
Ладно, думаю, давайте по-вашему. Я выключил скрипт и заново подал заявки на все машины — на этот раз и на критичные, и на некритичные, — а в поле примечаний процитировал то самое сообщение из Teams. Прикрыть зад — дело святое.
Никто не удивился: на эти заявки тоже не ответили. Машины одна за другой уходили в простой и отключались, и посыпались жалобы клиентов. Большинство наших сайтов лежало. Из продуктов, которые мы поставляли клиентам, работали единицы. А мы почти неделю сидели в офисе, болтали и пили кофе. Работы не было: в Azure крутилась лишь горстка машин, а с повторной арендой всего нужного начались технические проблемы, которые решались сильно выше моего уровня.
По-настоящему счастливого конца у истории нет. Смотрителя счётчика не уволили. Но по итогам разбора инцидента его сняли с руководящей должности и перевели в рядовые сотрудники — где ему пришлось бы работать самому, — официально, в качестве дисциплинарной меры, за неумение расставлять приоритеты и делегировать. Вскоре после этого он ушёл из компании.
UPD от автора: многие в комментах пишут, что мы неправильно пользовались Azure, что нужно было автомасштабирование и мониторинг. Вы правы: мы гоняли виртуалки в Azure так, будто это наши собственные серверы. У нас были скрипты, которые разворачивали всё на своём железе, но руководство, помешанное на облаках, не дало времени на нормальный переезд и велело запускать эти скрипты прямо в облачных виртуалках. Так что сервисы Azure мы использовали совсем не так, как задумано — всё крутилось в виртуалках. В основном посте я эти подробности опустил, чтобы не грузить техникой.







