Как один тупой баг обрушил полАмерики, или почему джуны не должны деплоить по пятницам
Привет, Пикабу! Сегодня расскажу вам ЭПИЧНУЮ историю о том, как один маленький тайпинг (опечатка, если по-русски) в коде привел к падению Netflix, Reddit, Instagram и чуть не обрушил весь американский интернет!
Спойлер: из-за этой истории появилось правило "никакого деплоя по пятницам". А началось всё с одного сонного джуна...
Великий Падёж 2017 года
28 февраля 2017 года. Обычный вторник в офисе Amazon Web Services. Джун-разработчик получает задание пофиксить небольшой баг в системе биллинга S3 (это такое облачное хранилище, где лежит половина интернета).
"Подумаешь, всего одна команда, что может пойти не так?" - подумал наивный джун.
ЧТО МОЖЕТ ПОЙТИ НЕ ТАК, КАРЛ?! 😱
А пошло вот что:
Опечатка в одном символе
Случайная перезагрузка всей системы
Падение ВСЕХ серверов восточного побережья США
4 часа паники и истерики
Миллионы долларов убытков
Как одна буква положила пол-Америки
Знаете, что самое смешное? Джун должен был всего лишь немного замедлить систему. А в итоге случайно вырубил:
Netflix (упс!)
Reddit (двойной упс!)
Spotify (тройной упс!)
Instagram (ой-ой!)
И ещё сотни сервисов
Представьте себе: миллионы американцев одновременно остались без сериальчиков, музыки и фоточек еды! Это был настоящий диджитал-апокалипсис!
Хроники падения
11:35 - джун нажимает Enter 11:36 - первые сервера начинают падать 11:37 - админы бегут к кофемашине 11:45 - падает первый крупный клиент 12:00 - падает вообще всё 12:01 - джун понимает, что он натворил 12:02 - джун обновляет LinkedIn
Спойлер: его не уволили! Amazon решил, что один такой урок стоит дороже любых тренингов по безопасности.
Что же случилось?
Вся эта история произошла из-за ОДНОЙ лишней буквы в команде. Джун хотел написать:
Copy
SERVIC.RESTART()
А написал:
Copy
SERVICE.RESTART()
И эта дополнительная 'E' заставила систему перезагрузить не один сервис, а ВСЕ СРАЗУ!
Последствия
Amazon потерял несколько миллионов долларов
Появился мем "не деплоить по пятницам" (хотя была среда)
Акции компании упали на 2%
Джун получил прозвище "Тот Самый"
Систему переписали так, чтобы такое больше не повторилось
P.S.
С тех пор в Amazon ввели тройную проверку всех команд, связанных с рестартом систем. А джун стал легендой - его история теперь часть обязательного курса по безопасности.
P.P.S.
А у вас были случаи, когда одна опечатка приводила к катастрофе? Или может, вы помните этот день? Расскажите в комментах!
P.P.P.S. Да, я знаю, что некоторые детали утрированы. Но основа истории - чистая правда!
Если вылет в 12:25, в аэропорт нужно приехать к 10:30–11:00
С этой мыслью выселились из отеля после завтрака и поехали к месту, откуда отъезжает трансфер.
а все, что было дальше, хочется удалить из памяти
На минуту опоздали на автобус, ждали другой еще 20 минут. Приехали вроде бы вовремя, но в очереди столкнулись девочкой, которая орала так громко, как будто ее режут. В самолете тоже орала — все 3 часа, а не только во время взлета и посадки — и сидела она, конечно же, с нами.
Прилетели. Впереди огромная очередь, а голова разрывается от боли, иногда даже пульсирует. Давление подскочило + аллергия о себе резко напомнила, а таблетки рядом не было.
Когда покупали карту метро, банкомат выплевывал наши бумажки. Пытались договориться, чтобы кто-то оплатил своей картой, но никому не нужна наличка. Ходили менять повторно раза 3 или 4. Через 2 часа получилось.
В метро узнали, что отель отменил нашу бронь. Уставшие, без жилья, на лютом стрессе искали другой вариант. Ну как искали — я паниковала, мой молодой человек искал. И на паром не успели тоже, но это мелочь, сняли в другом районе.
заселились около 10. съели шаурму, выпили чай и легли спать
Сделали +1 приключение, а хотели оставить вещи и посмотреть вечерний Стамбул. Это в таких случаях говорят «все, что ни делается, к лучшему»?
Кстати, я копирайтер и веду блог не только тут, но и в тг-канале. Переходите и подписывайтесь, там еще больше постов обо мне, контенте и сильных текстах: https://t.me/+XIPXSSreTkhhNGZi
Сюрприз в виде обморока
Записался ко мне как-то клиент. Крепкий, здоровый парень.
Нужно было сделать небольшую надпись в районе рёбер.
Так как работаю на дому и жена тоже (дреды плетёт), мы делим рабочее пространство. И в этот раз я уступил жене место в комнате.
Ну, думаю ничего сложного, за минут 10 сделаю быстренько надпись, клиент даже в положении стоя сможет находиться.
Но не тут то было)) Я пробил первую букву, как клиент спрашивает: - А есть вариант прилечь?
Я говорю - Да, без проблем👌🏻 Сейчас только простыню с подушкой принесу и лежишь на спортивную скамью.
Когда я зашёл обратно на кухню, парень в буквальном смысле шатался как в Mortal Kombat😬.
Какашечная история ! Женщинам , впечатлительным , кто собирается кушать - НЕ ЧИТАТЬ !
Я вчера что то плохое сожрал . Кишки болели . П€рдел . И ощущение как бурление при поносе . И поср@ть дома не мог никак как пробка какая . А идти надо было . Был последний день хранения интернет заказа и вечер уже . Пошел . П€рдел , п€рдел в дороге . Ужасно .
Потом в тц шку зашел , сразу жестко ср@ть захотелось так что забежал и сразу навалил кучу , да ещё жидко ... а бумаги в кабинке нет !
И люди в самом предбаннике сортира не уходили , одни выйдут - новые заходят , сидел в кабинке ждал пока уйдут , потом дождавшись вышел со снятыми штанами и грязной жопой , качал по кабинкам шариться в первой нет , во второй нет ... во всех нет !!!!
Куда деваться мыл жопу под краном над раковиной и человека 3 зашло в это время ... сушил жопу под сушителем рук , надеюсь камер нет там ...(фотографии не прикладываю думаю ваша фантазия уже нарисовала всё во всех коричневых цветах!)
Так с мокрой полу обоср@нной жопой надел штаны пошел в магазин за интернет заказом ...😁
Если читают сотрудники магазина и воняло - простите . Все претензии к обслуживающему персоналу вашего сортира ...
у кого случались подобные факапы - пишите в комментарии .😁
всем спасибо .



