1673

Яндекс Облако - держитесь подальше

Сегодня у меня были удалены продакш сервера в Яндекс облаке. Без предупреждения и объявления войны. Вот ответ техподдержки


«Сегодня мы проводили технические работы в Яндекс.Облаке. К сожалению, из-за человеческого фактора были удалены виртуальные машины пользователей в зоне ru-central1-c, которые хоть раз находились в статусе SUSPENDED. Мы сразу заметили ошибку и остановили удаление. Увы, некоторые ВМ и их boot-диски были удалены.»


Человеческого фактора, Карл! Мы на амазоне за 10 лет ни один раз не столнулись с человеческим фактором. В облаках! Человеческим! Злости не хватает (бекапы есть, да, но часть данных потеряна)


Update: позвонил руководитель направления. Если кратко: у нас говногод, программисты совершают ошибки, из за этого потерялись данные. Просим понять и простить.

Вы смотрите срез комментариев. Показать все
104
Автор поста оценил этот комментарий

Вы точно админ? Слишком много эмоций, не единственный оператор у которого подобное происходит. Вы как ошибка выжившего. За 3 года, лично у меня, с амазоном было штук 5 инцидентов.

раскрыть ветку (28)
23
сделал эту фигню
Автор поста оценил этот комментарий

+1 - у всех провайдеров бывают проблемы. я встревал на hetzner и digital ocean. Бэкапы и репликации нужно делать, и уметь раскатать систему с нуля за минуты, тогда это не проблема.

раскрыть ветку (10)
2
Автор поста оценил этот комментарий

Может почистите карму и напишете как правильно все сделать?

Думаю хотя бы для общего образования будет полезно.

У меня делаются бекапы сайтов/базы через скрипт и скачивается в 2 разных места.

Но все равно, если что-то случится с серваком - то минимум 4-6 часов буду восстанавливать все...

раскрыть ветку (5)
2
Автор поста оценил этот комментарий

Просто держишь рабочий сайт поднятым еще в одном месте доступным для белого списка ip. Mysql на нем в слейве, с бинлогом не позднее последнего бекапа базы, лучше еще в паре версий, с задержкой репликации и нет. Если все очень плохо - быстрее перекинуть всех на уже поднятый резерв, чем ждать, пока бекап раскатается.

раскрыть ветку (3)
0
Автор поста оценил этот комментарий

Зачем перекидывать что-то руками, когда есть Docker Swarm / Kubernetes? Руками это всегда задержка и риск того, что будете недоступны.

раскрыть ветку (2)
2
Автор поста оценил этот комментарий

Ну как то неохота ради того, что без проблем решается скриптом на пол-странички вешать на себя поддержку виртуализации и риски и косяки с этим связанные.

3
Автор поста оценил этот комментарий

Вот любители пихать во все дыры Docker Swarm / Kubernetes... По мухам из пушки.

2
сделал эту фигню
Автор поста оценил этот комментарий

Зависит что на фронте/бэке.
Если фронт - обычный SPA (Angular/React/Vue) - держим его на CDN. Бэкапить его смысла нет, если пользоваться например Gitlab, то даже если текущий CDN забанит роском##зор, сменить адрес заливки и перебилдить - недолго, пара минут.
С базой интересней и сложней - для базы всегда имеет смысл держать readonly-реплику в режиме standby, и несмотря на это не забывать о бэкапе, и главное о проверке сделанного бэкапа (проверять хотя бы раз в месяц, раскатывая бэкап на новую машину). Мониторинг должен быть и мастера и реплики. Если мастер сдох (редко, но бывает), то переводим реплику в режим мастера. Это опять же недолго, не забываем делать внутренние dns короткоживущими. Если это все сложно, можно просто воспользоваться например сервисами AWS RDS - там это все упростили, но стоит дороже DO и товарищей, для пет-проекта не очень.

Бэкенд сервера имеет смысл держать на docker swarm или kubernetes. Есть нюанс "не протерять кворум", вот тогда может быть действительно больно. Но в большей части случаев теряется один сервер, и это не критично - кворум сохраняется, потеря быстро восполняется.

0
Автор поста оценил этот комментарий
Подпишусь на ответ ниже)
раскрыть ветку (3)
0
Автор поста оценил этот комментарий

Выше

раскрыть ветку (2)
4
Автор поста оценил этот комментарий

Блять, как выйти из цикла!

раскрыть ветку (1)
4
сделал эту фигню
Автор поста оценил этот комментарий

break;

3
DELETED
Автор поста оценил этот комментарий

Админы делятся на две категории, кто ещё не делает бекапы и кто уже делает.

раскрыть ветку (1)
1
сделал эту фигню
Автор поста оценил этот комментарий

Те кто делают бэкапы, деляться на тех кто их потом проверяет, и тех кто еще нет

ещё комментарии
Вы смотрите срез комментариев. Чтобы написать комментарий, перейдите к общему списку

Темы

Политика

Теги

Популярные авторы

Сообщества

18+

Теги

Популярные авторы

Сообщества

Игры

Теги

Популярные авторы

Сообщества

Юмор

Теги

Популярные авторы

Сообщества

Отношения

Теги

Популярные авторы

Сообщества

Здоровье

Теги

Популярные авторы

Сообщества

Путешествия

Теги

Популярные авторы

Сообщества

Спорт

Теги

Популярные авторы

Сообщества

Хобби

Теги

Популярные авторы

Сообщества

Сервис

Теги

Популярные авторы

Сообщества

Природа

Теги

Популярные авторы

Сообщества

Бизнес

Теги

Популярные авторы

Сообщества

Транспорт

Теги

Популярные авторы

Сообщества

Общение

Теги

Популярные авторы

Сообщества

Юриспруденция

Теги

Популярные авторы

Сообщества

Наука

Теги

Популярные авторы

Сообщества

IT

Теги

Популярные авторы

Сообщества

Животные

Теги

Популярные авторы

Сообщества

Кино и сериалы

Теги

Популярные авторы

Сообщества

Экономика

Теги

Популярные авторы

Сообщества

Кулинария

Теги

Популярные авторы

Сообщества

История

Теги

Популярные авторы

Сообщества