Системное администрирование

Итак, несколько человек под прошлым постом сказали, что им будет интересно почитать про переезд компании.

Сразу скажу - история не про то, как классно все данные и сервисы размещены в облаке или ЦОДе, как у всех макбуки и мы провели сертифицированный тренинг по их правильному отсоединению от зарядки и складыванию в сумочку. Нет. История о большой компании, которая давно отделилась от другой большой компании, с кучей костылей, множеством «так исторически сложилось» и ограниченным бюджетом. Обычная, короче, компания, не модный стартап со смузи.

Вводные – переезжал головной офис. Сотрудников около 170 человек. Две с половиной стойки оборудования (сеть и сервера). На этих серверах крутятся те сервисы, которые централизованы для филиалов (филиалов на тот момент было чуть больше 30, от Камчатки до Калининграда часовые пояса). На тот момент уже появился круглосуточный call-центр, который тоже крутился у нас. То есть, для call-центра перерыва связи быть не должно. Некоторые сервисы, которые используются в филиалах – перерыв может быть с 20:00 до 00:00, всё остальное должно заработать к понедельнику. Ну и конечно, у бухгалтерии был квартальный отчет и им лучше бы к воскресенью всё сделать. Нас команда: четверо айтишников, включая меня и всех начальников, плюс один безопасник, плюс еще двое ребят от принимающей стороны скорее в качестве физической силы. Это был уже второй такой переезд и что-то мы учли, что-то нет.

В филиалах локально есть контроллеры домена, сервер со специфическим ПО, которое нужно для работы. То есть филиал со скрипом, но может работать автономно. Но без почты, документооборота, лицензий на 1с и прочего ему немного грустно.

Про то, что «скоро переезд, морально готовьтесь» мы узнали за месяц. Про точную дату – дней за 10. Переезд был в ночь с пятницы на понедельник.

Подготовка, первый этап:

Как только известно помещение и туда начинают пускать – выдвигается бригада туда на осмотр. Смотрят помещение под серверную – оно есть или его надо выделять и оборудовать. Смотрят на помещение серверной – должна быть железная дверь, кондиционирование, отсутствие окон, либо решетки на них, должно быть место, чтоб влезли стойки, желательно газовое или порошковое пожаротушение, но ни в коем случае не водяное. Смотрят на расположение серверной относительно офиса – от каждого рабочего места не более 100 метров по изгибам потолка, а если больше, то планируется дополнительно кроссовая (под патч панели и свичи). Смотрят на рабочие места – расшиты ли сетевые розетки, сколько на рабочее место, есть ли запас под всякие принтеры и прочее. Завхоз рисует план рассадки.

Мы переезжали с одного на два этажа, соответственно проверяли ещё, что есть пучок проводов с одного этажа на другой.

При необходимости ищутся подрядчики и заключаются договора по прокладке СКС, монтажу кондиционеров и прочей лабуды.

Подготовка, второй этап:

Решение вопроса с интернетом и телефонией. У нас это выглядело следующим образом:

- запрашиваем КП у текущих провайдеров на перенос канала на новое место + еще парочку провайдеров на подключение на новом месте.

- Выбирается одно лучшее из новых и одно лучшее из старых провайдеров.

- готовимся все сервисы ужать в одного провайдера, который остается на старом месте

- Договариваемся примерно по срокам, они начинают протяжку и подключение, но час Х обговаривается позже. Обычно это за 3-5 дней до переезда у старого провайдера и за 7-10 дней до переезда у нового провайдера, чтоб успеть туда съездить и протестировать.

- Договариваемся с провайдером телефонии о переноси, они тоже тянут кабели. Тут час Х обычно в день переезда часов в 14-16.

- У нас 8800 приходит по IP, потому уведомляем Ростелеком, что в цепочку IP добавится еще один адрес (нового провайдера).

Как только известны IP нового провайдера, на них прописываются MX с низким приоритетом, договариваемся, что они на почтовик нам обратную зону пропишут и прочее такое, чтоб при переезде подрубиться частично к новому провайдеру. Также всем филиалам рассылается новый будущий IP для подключения по IPSec, у кого есть возможность (D-Link), он прописывается в адресную книгу. Всем составляется инструкция – как менять самим по отмашке.

Подготовка, третий этап

Выясняем план рассадки у завхоза, едем сверять его с помещением. Обязательно найдутся места, где нет не то что сетевых, а даже электрических розеток. По срокам смотрим: успеют сделать монтаж или нет, и если нет, срочно закупаем пару бухт витухи и удлинители.

Пытаемся понять, есть ли на новом месте стойки в серверной для монтажа. В этот раз 2 стойки ехали с нами и полторы в сумме были свободны у принимающей стороны для точечного втыкания чего-нибудь. Это важно, от этого зависит план переезда.

За неделю начинаем накидывать поэтапный план на день переезда, но об этом дальше.

Уговариваем начальство, что сотрудников перевозят специальные грузчики (Они отсоединяют компы, пакуют, подсоединяют на новом месте по плану рассадки). Поясню – один админ в средне физической форме может распаковать, расставить и подключить в среднем 20-25 рабочих мест за рабочий день без перекуров. То есть, если не тянуть кабели, быстро кроссировать куда попало, то нам на четверых как раз 2 дня не разгибаясь, а, как вы понимаете, сервера сами себя не поставят в стойку и не настроят. Да, у этих перевозчиков куча косяков, но это не ваши косяки, а их. Примерно 20% они подключат не так или не воткнут моник или еще что, но это можно будет решить в понедельник, главное, они всё расставят, снимая с вас физическую работу.

Думаем, что-как распределить в кроссовой и серверной и не надо ли чего купить (нам нужны были гребёнки для проводов и дополнительные розетки в стойку).

Смотрим, что там с электричеством и сколько киловатт надо на наши UPSы. Мы этот этап продолбали и срочно искали электриков за день до переезда, так что советую озаботиться заранее – там ещё и предохранители иногда надо менять. Также для подключения большого UPS может понадобиться электрик на месте – надо озаботиться, чтоб он там в ночь дежурил.

За три дня до переезда

Всем сотрудникам напоминаем, что надо подписать всё своё оборудование – наклейки на комп, монитор, ИБП, телефон, наушники и т.д. Для фирмы-перевозчика еще и номер рабочего места пишут, а у них есть план рассадки с этими номерами – по нему расставляются рабочие места в новом офисе.

Собираем по максимуму личные вещи и всякое со стеллажей. Выкидываем весь хлам (мертвые списанные принтеры «авось пригодится», старые доки на гарантию, разбитые моники и прочее барахло). Иногда можно договориться с фирмой на утилизацию, которая всё бесплатно заберет – мы так делали. Всё, что не хлам – пакуем под переезд (не новое, но рабочее оборудование, которое лежит про запас, для тестов).

Откладываем: консольные кабели ко всем железкам, один удлинитель, пару полутораметровых патчиков, 2 мышки, 2 клавиатуры, 2 монитора, обжимка. Один комплект монитор-мышка-клава можно увезти в новую серверную, провода пойдут вам в рюкзак в день переезда.

Сверяем схему сети с текущим положением вещей – освежаем, если что не так. На схеме должны быть подписаны все транковые порты с указание VLAN в них, порты на всяких криптошлюзах и все неочевидные соединения, а также все порты, куда приходят белые IP напрямую, порты в LACP, зазеркалированные порты. Мы разъезжались на два этажа, а потому я рисовала еще прикидочную схему для нового расположения.

Проверяем, что все сервера подписаны.

Еще раз дублируем филиалам, что скоро мы переезжаем, да, сервисы будут недоступны, можно не звонить, сервер будет в машине ехать. Дублируем им инструкции, говорим, что переключаться после 23:00 в пятницу. Или можно раньше для дальневосточных регионов.

Если что-то требует ребута после установки обновлений – вечерком всё ребутаем. В день переезда сервера должны выключаться быстро.

Проверяем работу провайдеров в новом офисе.

Проверяем наличие всех бэкапов.

Оформляем круглосуточные пропуска в новый и в старый офис на всю команду.

Окончательно формируем план на день переезда.

Договариваемся, кто принесет шуруповерты из дома – необходимо минимум 2 шуруповерта и 2 большие плоские отвертки из фикспрайса (ими удобно поддевать крепления в стойках, а также из них получается отличный рычаг, если что поддеть, поднять и т.д.).

День переезда (пятница)

Приезжаем на работу с ноутбуком, зарядкой к нему. Помним про 2 шуруповерта. Я ещё беру набор фломастеров – рисовать поверх схем. Рекомендую моток малярного скотча.

Проверяем еще раз наличие бэкапов.

На сайт вешаем баннер, что «с 18:00 технические работы, возможны перебои в работе call-центра».

Все инструкции по восстановлению, IP адресацию, схемы сетей, телефонные справочники копируем на ноутбук. Вы же помните, ваша справочная система и шары будут отключены. Еще хорошо бы дистрибутивы серверной винды и live-cd к линуху. А также Putty, tftp32, Wireshark.

Распечатывается в 4 экземплярах текущая схема сети и будущая схема сети. Печатаются все контакты всех поддержек провайдеров, а также то, что они спрашивают: ИНН, номер личного кабинета или что ещё. Печатается телефонный справочник админов филиалов.

К 12 дня выключаются все дублирующие контуры: по 1 серверу из кластеров. 1 контроллер домена, один почтовик, один edge и т.д. Также к 12 ИТ выключает свои ПК и переходит на ноутбуки. Эта первая партия грузится кому-то в машину и уезжает в новый офис.

У организации в пятницу рабочий день до 16, но все всё равно пакуют вещи и трындят, так что основной народ выпинывают по домам в 14. Но бизнес-процессы филиалов завязаны на ГО. Так что грузчики носят мебель, пакуют людей, а мы пока выключаем вторую партию – то, что не нужно для работы филиалов или без чего можно пережить – это сервер антивируса, FTP, мониторинг, сервер видеоконференций, WSUS, все пользовательские коммутаторы и телефония ГО.

Также где-то в 15 у нас назначено переключение городских телефонов. Как только доезжает но нового офиса партия с телефонией – я подключаю и проверяю. Городской телефон – последний резерв для нашего 8800, а значит должен работать хотя бы один аппарат. В новый офис уезжает один из маршрутизаторов и проверяется, что остальные специалисты call-центра из ночной смены смогут подключиться через него по VPN. Эту ночь они будут работать на удалёнке, кроме одного на физическом городском телефоне в самый переезд.

Начиная с 16 стараемся освободить одну стойку и UPS, на новом месте всё ещё некуда втыкать сервера. 2 сетевухи в NIC Team и два блока питания на разных упсах этому способствуют. Сервер можно переставить из стойки в стойку попеременно отключая по одной паре проводов. Часть серверов просто кладем на пол работать. Ребята разбирают стойку, отдают грузчикам. И один UPS (120 кг) тоже.

Кто-то в новом офисе собирает стойку и подключает ИБП, у остальных перерыв до восьми вечера где-то.

В 20:00 выключается всё, кроме call-центра и того, что нужно операторам для работы (а им нужна почта, единая БД с данными, маршрутизатор, коммутатор под это… короче, в сумме серваков 5 + кусок сети). Разбираем вторую стойку. Все грузимся и едем монтировать на новом месте.

Я занимаюсь сетью: первая задача инет, всё распределить, всё связать, коммутаторы под серваки и IPMI. У нас инет получился на одном этаже, а все сервера и большая часть сетевого оборудования на другом, соответственно, всё прокинуть через межэтажные розетки, всё подписать на схеме, потом DHCP, Контроллеры домена, почта. Проверяю каналы с филиалами дальше, чем +5 часов от мск – если не осилили по инструкции, перенастраиваю (да, авто-failover там очень херово отрабатывает, поэтому ручками). Перебиваю вся внешнюю зону DNS под новые адреса.

Все монтируют сервера, проверяют их работу. Это не быстро, так как грузчики их замотали в пупырку, а снаружи они не подписаны, а начать хочется опять же с критичного.

Где-то в 22 прерываемся и едем за call-центром в старый офис. Всё отрубаем, всё забираем – всё, сюда больше не вернёмся в ближайшее время.

Врубаем всё для call-центра на новом месте, проверяем, что операторы могут работать. Параллельно продолжаем монтировать сервера.

Добиваю каналы со всеми филиалами. Попутно разгребаем неизбежные косяки, втыкаем сеть в соответствии со схемой. Проверяем, что всё запустилось. Втыкаем остальные сервера (те, что еще в первой партии – дубли и ненужное). Синхронизируем и реплицируем всё, что рассинхронизировалось. Кроссируем кабинет для операторов контакт-центра. Всё, к 3-4 утра разъезжаемся спать.

В 8 нас будит следующая смена операторов – им косячно перевозчики подключили компы. У двух нет сетевого кабеля, одной не подключили монитор и т.д. Но у них есть пара работающих мест и они пока переживут.

К 10 утра мы снова в офисе. Теперь делимся – один идет проверяет компы по списку приоритеа – у нас это call-центр, бухгалтерия, топ-менеджмент. Потом сколько успеет остальных. Много где надо тянуть кабель, много где наоборот - длинную мотню заменить коротким. Всех нужно скроссировать. Попутно принтеры надо подключить и тоже скроссировать отдельно, проверяем на свежую голову, что всё работает. Рассасываемся дальше спать часов в 18. В Воскресенье все появляемся на пару часов в разное время – подключить свои рабочие места, помочь бухгалтерии, у которой отчет, проверить еще сколько-то компов на местах у юзеров, порешать всё, что не работает.

Понедельник – решаем проблемы по мере поступления – у кого-то умер винт при переезде, у кого-то моник коцнули, у кого-то розетка не туда скроссирована. Часть телефонов попали в сеть другой организации и требую теперь только шифрованный конфиг и прочие мелочи. Ну и начинается месячник "мне дует" и "меня облучает, пересадите".

Итого:

У нас был большой косяк с электричеством, мы про него забыли.

У меня был косяк с тем, что Ростелеом не отрабатывал failover как обещал, а я не проверила заранее.

Еще косяк с контакт-центром, можно было взять ip АТС c десятком номеров на месяц – на время переезда было бы проще, не подумала.

Если у вас есть пустые стойки в новом офисе – всё гораздо быстрее.

Перевозить много юзеров малым составом эникейщиков не стоит, лучше нанять фирму. Фирма косячит, но это лучше, чем самим, просто поверьте (если у вас конечно нет бригады в 4 эникейщика в хорошей физической форме).

Послесловие:

Я не буду как в прошлом посте отвечать на каждый коммент и оправдываться, почему так, а не иначе. С удовольствием почитаю ваши советы и что-то мы возьмем на вооружение в следующий раз. А что-то проигнорирую, ибо на то есть причины.

Цель данного поста – описать переезд глазами админа. Мне бы такой пост очень помог в первый наш переезд, когда у нас был косяк на косяке. Постаралась упомянуть всё, что вспомнила. А на хабре пишут ванильные посты про супер-современные офисы.

Ответ на пост «Эффективный менеджмент на селе»

Было дело, пригласили меня как-то айтишником в "стартап" - в дефолт-сити открывали детский парк аттракционов. При чем тут ИТ? Планировался полноценный офис, по всему парку нужно было видео-наблюдение, вифи, да и система проходов на развлекули представляла из себя одно большое софт-решение с кассами, точками прохода, модулями отчетов и т.д.

Собеседовал меня один из соучредителей. График согласовали аля "завод Форда" - пока всё работает, я могу вообще не появляться. Естественно, первое время я там практически жил - коммуникации уже протянули и надо было всё хозяйство утрясти.

Понятное дело, что парк работает каждый день, особенно в выходные и праздники, поэтому иногда все решалось удаленно, иногда приходилось ехать (благо, недалеко). Особо баклуши не пинал.

За несколько лет учредители меняли гендира несколько раз, последним при мне взяли человека, который рулил северо-западным филиалом одной, в прошлом крупной, компании-продаване компов и остального барахла. Он привёл свою команду - коммерческого, продажников, манагеров, контроль качества. Появились такие вещи, как отчеты о проделанной работе и еженедельные собрания глав отделов, на которых все делились достижениями, провалами и идеями.

Время шло, парк расширялся, инфраструктура обрастала кассами, под моим руководством было написано ПО для пополнения счета проходок онлайн и с автоматизированных точек, серверная составляющая росла, задачи росли, завели даже HelpDesk-систему, всякого монтажа камер и точек WiFi становилось больше, и я запросил себе подмогу. Даже с учётом, что копать траншеи и тянуть питание были отдельные бригады лопатчиков и электриков. Идея была в том, что бы взять студента с горящими глазами и интересом к работе, за минимальный адекватный оклад, что бы на него скинуть эникейство и монтаж - ему денежка и опыт, мне и парку ускоренное решение задач. Когда он профессионально вырастет и пойдёт по своему пути - взять следующего и т.д. Приходили откровенные тупни которые "учусь в колледже по локальным сетям" и не знают порядок жил для обжима обычного кабеля для локалки. В итоге в обход меня взяли толкового дядю под 40, с хвостиком, кольцом в ухе, 3D принтером дома и т.д. Забегая далеко вперед, то в конце выяснилось, что ЗП ему поставили даже больше чем мне, хотя я числился руководителем отдела.

Стали мы уже тянуть вдвоём лямку. И тут руководство начало проявлять неудовольство, мол, я редко появляюсь, на собрания опаздываю и прочее, хотя беспричинно я опоздал раз, может два. В общем, пришлось с напарником придумывать себе график дежурств.

По зарплате - на просьбу повысить предложили метод премирования, посредством подачи отчетов из helpdesk - сколько задач поступило, сколько выполнено в срок. Первые пару месяцев даже все честно платили, потом началось "задачи выполнили, но вот тут касса долго не работала, там терминал глючил", хотя понятное дело, это было не из-за моей или напарника халатности. Премию стали урезать до минимума.

Тут появляются в парке два "аудитора" по ИТ. Их выписал к нам один из соучредителей из своего банка, где сидел топ-манагером. Якобы для взгляда со стороны. Окей - выдал все доступы и пошел по своим делам. Через пару недель меня вызвал гендир и устроил с коммерческим представление в два лица в духе "ты отличный парень, специалист, но танцуешь не в нашем темпе, давай расстанемся друзьями", после чего предложили расторжение трудового договора по обоюдному согласию и компенсацию. Я согласился, особо не думая - за 3 года в парке я нормально в отпуске был только раз, и то с ноутбуком в обнимку, а уж сколько праздничных выходных я в нем провёл... В общем, я неделю отсыпался, неделю страдал херней, и через неделю поисков вышел на новую работу, естественно в лучшие условия и ЗП.

"Эффективные менеджера, потому что тебя поперли, БАНАЛЬНО!", скажете вы? Хм...

Я продолжал общаться с напарником, иногда помогал ему советом или уточнял, что как и где сделано. Тогда и узнал, что ЗП у него было выше на момент моей работы в парке. Вот уже ему взяли аж двух студентов. Далее, со слов других работников парка, с которыми периодически болтаем.

Когда бывший напарник нашел место "потеплее" и ушел, в парк наняли трёх постоянных ребят "с авито" и одного приходящего. Пошла текучка, по некоторым данным, за год поменяли 10 человек.

Буквально после снятия режима ХЗ, проезжал я мимо парка и решил заехать, посмотреть что да как. Бывшие коллеги рассказали, что руководить ИТ поставили менеджера, который раньше занимался контролем качества и аналитикой в целом по парку, и вроде как он довёл последнего сисадмина до того, что тот сменил все пароли, обрезал кабеля во множестве точек и свалил в закат. После чего на него накатали заяву к полисменам и пароли он отдал, теперь новый айтишник сидит и разбирается во всём. Я дошел до руководства и предложил возмездную помощь (всё же свои труды жалко, да и деньга не лишняя), мне сказали "хорошая идея" и направили к этому недоИТ руководителю. Он отправил к сисадмину и сказал что потом свяжется (нет), задавал странные вопросы по моему опыту, хотя всё что он спрашивал, в парке делал я. Парень в серверной мне был не шибко рад, но рассказал, что за всё время моего отсутствия:

1. Сменили систему мониторинга Mikrotik Dude на Zabbix. Который потом сломали с концами.

2. Что-то сделали с Exchange, теперь почта ходит через раз.

3. WiFi в парке не работает.

4. Сеть то работает, то нет, а с ней кассы и проходки на аттракционы.

Так же сказал, что якобы они всё до начала августа починят. Я сильно в этом сомневаюсь, раз они даже помощью человека, который всё сделал, не захотели воспользоваться. Как-нибудь навещу их, ради интереса.

Ласкаво просимо ту зе рыал уорлд!