Как и обещал, делюсь с вами историей на реальных событиях.
Позвонил нам с паникой в голосе Сергей Петрович (имя изменено). Некоторое время назад мы им ставили почтовый кластер. Это была разовая работа, и с тех пор мы о них не слышали.
Сергей Петрович поведал печальную историю: сервера упали, штатный сисадмин Миша в отпуске, на звонки не отвечает. Читает сообщения, но на связь не выходит. Что делать - непонятно, куда бежать - неизвестно. В общем, думайте сами, решайте сами.
Мы подключились к проблеме в 20.00 и обнаружили шифровальщик. Наиболее вероятно, что проник на ПК офис-менеджера через ВПН, потом попал на комп админа, где были сохранены пароли от всего и всех.
Так как админа нет на связи, то алерт от фаерволла на почте никто не увидел (перевод с непонятноайтишного: есть "железка", которая изучает, что приходит из интернета, может найти вирус и отправить предупреждение).
В результате шифровальщик радостно трудился 6 часов, пока кто-то не заметил проблему. Единственное, что смогли сделать - выключить серверы из розетки и пришли к нам.
Загрузили серверы с чистых дисков, запустили виртуальные машины (которые остались живые), отключив их от сети.
Шифровальщик уже успел самоуничтожиться, а антивирус ничего не нашёл. Самое неприятное было в том, что сервер резервных копий был в домене (один пароль подходит ко всем серверам) и резервные копии тоже были зашифрованы.
Тем временем в компании клиента:
На следующий день переподняли сервер телефонии и одну уцелевшую ноду почтового кластера.
Нашли на одном из ПК бухгалтерскую базу от января (а дело происходило в мае). Восстановление бухгалтерии по первичке за этот период оценивалось в пару месяцев адско горящих жоп или полтора миллиона рублей, если привлечь аутсорс, поэтому стали думать дальше.
На некоторых серверах не было антивируса, на некоторых стоял лицензионный Касперский. Попробовали связаться с Касперским, но они ничего толком не ответили.
Связались с Dr. Web. Они попросили пару файлов: зашифрованный и незашифрованный, мы нашли пяток таких пар, отправили. Через пару дней они написали, что данные удалось расшифровать.
Мы ожидали счёт на пол ляма, а они предложили купить лицензию на три ПК за 7 000 рублей. Купили. После чего они прислали утилиту расшифровки с ключами, которая расшифровала 95% всей информации. Причём, как оказалось, было пять разных сеансов шифрования, то есть пять разных ключей. И вот, нам прислали все.
- Не держите бэкапы в домене. Сервер должен иметь свои доступы.
- Делайте офлайн копию. Лучше иметь отдельный аккаунт с уникальным логином и паролем. В этот аккаунт ежемесячно делаем дополнительные бэкапы и сохраняем архивы баз данных 1С.
- Админский пароль. Делаем отдельный админский пароль для административных действий, а работать админу нужно под правами обычного пользователя.
- Ставим Zabbix, чтобы отслеживать внезапные перезагрузки и/или резкое уменьшение свободного места. Помогает видеть нетипичное поведение и выявлять на ранних стадиях проблемы.
- Ставим тикет-системы и алерты в телеграм. Чтобы админ не проёб…пропускал важные уведомления.
Через 5 дней админ (Миша) появился в офисе и удивился, что всё работает. Спросил как так, ведь он рассчитывал выйдя из отпуска приступить к исправлениям. Сергей Петрович спросил:
- Миша, как же так? У нас вся работа во всех филиалах просто встала, убытки, контракты, а ты даже не позвонил, чтобы подсказать что делать!
- У меня законный отпуск 14 дней, имею право.
Миша большой молодец, потому что должность Миши была сокращена в компании, а у нас +1 клиент на ведении, причем вполне адекватный.
