Всех причастных к этой великой пятнице, поздравляю. Вечного аптайма и поменьше глупых пользователей!

Собственно, в заголовке цитата из свежего обращения пользователя. И приписка: придите, посмотрите. И тут моё несдерживаемое воображение сразу выдало то, что я должен там увидеть:

Как и обещал, делюсь с вами историей на реальных событиях.

Позвонил нам с паникой в голосе Сергей Петрович (имя изменено). Некоторое время назад мы им ставили почтовый кластер. Это была разовая работа, и с тех пор мы о них не слышали.

Сергей Петрович поведал печальную историю: сервера упали, штатный сисадмин Миша в отпуске, на звонки не отвечает. Читает сообщения, но на связь не выходит. Что делать - непонятно, куда бежать - неизвестно. В общем, думайте сами, решайте сами.

Мы подключились к проблеме в 20.00 и обнаружили шифровальщик. Наиболее вероятно, что проник на ПК офис-менеджера через ВПН, потом попал на комп админа, где были сохранены пароли от всего и всех.

Так как админа нет на связи, то алерт от фаерволла на почте никто не увидел (перевод с непонятноайтишного: есть "железка", которая изучает, что приходит из интернета, может найти вирус и отправить предупреждение).

В результате шифровальщик радостно трудился 6 часов, пока кто-то не заметил проблему. Единственное, что смогли сделать - выключить серверы из розетки и пришли к нам.

Что делали

Загрузили серверы с чистых дисков, запустили виртуальные машины (которые остались живые), отключив их от сети.

Шифровальщик уже успел самоуничтожиться, а антивирус ничего не нашёл. Самое неприятное было в том, что сервер резервных копий был в домене (один пароль подходит ко всем серверам) и резервные копии тоже были зашифрованы.

Тем временем в компании клиента:

На следующий день переподняли сервер телефонии и одну уцелевшую ноду почтового кластера.

Нашли на одном из ПК бухгалтерскую базу от января (а дело происходило в мае). Восстановление бухгалтерии по первичке за этот период оценивалось в пару месяцев адско горящих жоп или полтора миллиона рублей, если привлечь аутсорс, поэтому стали думать дальше.

На некоторых серверах не было антивируса, на некоторых стоял лицензионный Касперский. Попробовали связаться с Касперским, но они ничего толком не ответили.

Связались с Dr. Web. Они попросили пару файлов: зашифрованный и незашифрованный, мы нашли пяток таких пар, отправили. Через пару дней они написали, что данные удалось расшифровать.

Мы ожидали счёт на пол ляма, а они предложили купить лицензию на три ПК за 7 000 рублей. Купили. После чего они прислали утилиту расшифровки с ключами, которая расшифровала 95% всей информации. Причём, как оказалось, было пять разных сеансов шифрования, то есть пять разных ключей. И вот, нам прислали все.

- Не держите бэкапы в домене. Сервер должен иметь свои доступы.

- Делайте офлайн копию. Лучше иметь отдельный аккаунт с уникальным логином и паролем. В этот аккаунт ежемесячно делаем дополнительные бэкапы и сохраняем архивы баз данных 1С.

- Админский пароль. Делаем отдельный админский пароль для административных действий, а работать админу нужно под правами обычного пользователя.

- Ставим Zabbix, чтобы отслеживать внезапные перезагрузки и/или резкое уменьшение свободного места. Помогает видеть нетипичное поведение и выявлять на ранних стадиях проблемы.

- Ставим тикет-системы и алерты в телеграм. Чтобы админ не проёб…пропускал важные уведомления.

Через 5 дней админ (Миша) появился в офисе и удивился, что всё работает. Спросил как так, ведь он рассчитывал выйдя из отпуска приступить к исправлениям. Сергей Петрович спросил:

- Миша, как же так? У нас вся работа во всех филиалах просто встала, убытки, контракты, а ты даже не позвонил, чтобы подсказать что делать!

Михаил отвечает:

- У меня законный отпуск 14 дней, имею право.

Миша большой молодец, потому что должность Миши была сокращена в компании, а у нас +1 клиент на ведении, причем вполне адекватный.

Если что я в тг: https://t.me/k0stochka