Как я работал на Вымпелком
Добрый день пикабушники, этой мой первый, навеянный http://pikabu.ru/story/kak_krupneyshaya_kompaniya_razrushaet...
Прочитав, который я зарегистрировался и решил рассказать о том, как я работал на компанию Вымпелком, более известную в народе как Билайн.
Начну с небольшого лирического отступления. Не так давно я закончил ВУЗ по инфокоммуникационной специальности (которая считалась тогда перспективной до ужаса) в довольно крупном городе-миллионнике. Начался неспешный поиск работы и примерно к сентябрю, на известном всем сайте, появилась вакансия от конторы Huawei – обещали приличные для недавнего выпускника деньги + в моей голове все еще была иллюзия о том, что в сфере коммуникаций остались перспективные места.
Придя на собеседование мне объяснили, что Huawei обслуживает Вымпелком по аутсорсу.
У Билайна практически нет своей какой-то обособленно IT службы, практически все регионы обслуживают сторонние компании. Дальний восток и Привольже – Хуавей. Северо-запад, Санкт-Петербург и Сибирь – Нокия. В Москве все довольно сложно, но в основном Нокия. Про южные регионы сказать ничего не могу – взаимодействовал мало.
Работал я в NOC (Network Operation Center), т.е в понятной большинству связистов терминологии – Центр Управления Сетями. Идея за всем этим стояла достаточно красивая, как и в Мегафоне. Есть НОК, который состоит из высококвалифицированных специалистов, которые анализирует различные аварийные ситуации и координируют специалистов на местах. Есть, так называемая, местная эксплуатация – по большей части выездные инженеры. Как и во всех компаниях такого масштаба у Хуавей есть жесткий SLA по срокам решения различных инцидентов, о категориях которых я поговорю чуточку позднее. Так же для решения некоторых проблем в различных регионах привлекаются подрядчики (в основном это Ростелеком).
Сам НОК разделен по сути на 3 части – Мобильная сеть(Базовые станции, мобильные коммутаторы и т.д), Транспортная сеть(DWDM, RRL, мультиплексоры и т.д) и Фиксированная сеть (Коммутаторы, маршрутизаторы, rc, wi-max, телефония и т.д + инциденты, которые заводят юр.лица). В мобильной сети на момент моего ухода работало 5 человек (занимаются оперативным мониторингом базовых станций) + ведущий инженер+ инженер, который отвечает за работу мобильного коммутатора. В транспортном отделе в смену сидело 2 человека, которые оба занимались оперативным мониторингом. В фиксированный сети так же 2 человека – оперативный мониторинг + решение инцидентов от юр.лиц, 5 человек, которые работают не в смену и занимаются решением инцидентов по специфическим городам – Казань, Нижний Новгород, Уфа (Связано со спецификой построения сети в этих городах). Так же, безусловно в каждой смене присутствовал Старший смены –наиболее опытный сотрудник, который координирует работу между отделами и контролирует решение проблем, которые могут возникнуть на сети.
Все инциденты делятся на клиентские (которые создаются по обращению юр.лиц) и инфраструктурные ( проблемы на сети).
Теперь немного про SLA, для тех, кто мало знаком с этим термином объясню. SLA – соглашение об уровне предоставления сервиса (услуги). Любой инцидент, который рассматривает компанией имеет 5 приоритетов, я постараюсь примерно описать по памяти с примерами:
5-ый приоритет – срок решения инцидента 7 дней. В эту категорию попадают в основном инциденты о нарушении качества абонентов мобильной сети, которые возникают в определенный промежуток времени (например, абонент жалуется на то, что пару дней назад у него фиксировалось кратковременное пропадание связи). Еще одним примером являются потери на фиксированной или транспортной сети опять таки, носящиеся кратковременный характер.
4-ый приоритет – срок решения инцидента 3 дня. В эту категорию попадают инфраструктурные инциденты по базовым станциям связанные с Э/питанием (если отключилось небольшое количество базовых станций), т.е те случаи, когда вмешательство местных инженеров не требуется и все наладится тогда, когда вернется э/питание. А так же клиентские инциденты связанные с постоянным нарушением качества – например абонент слышит шумы в трубке, потери на канале и т.д.
3-ый приоритет – срок решения инцидента 1 день. В эту категорию попадают инфраструктурные инциденты, связанные в связи с недоступностью элементов сети – для фиксированной сети, например, недоступен 1 коммутатор или маршрутизатор, для транспортной сети – RRL пролет. Так же в эту категорию входят клиентские инциденты различного пошиба – от нерабочего интернета до недозвона на определенные номера.
2-ой приоритет – Срок решения 12 часов. Эта категория довольна сложна для восприятия, но я попытаюсь объяснить. Как вы понимаете, не все клиенты имеют одинаковые договоры с Вымпелкомом, соответственно, те кто платят больше – получают лучшие условия по SLA. А значит если у важного клиента не работает интернет – то это будет 2-ой приоритет. Если не работает инфраструктурный коммутатор или маршрутизатор, который стоит у клиента – это будет так же второй приоритет. Т.е это категория для тех, кто платит много – Спортмастер, H&M, М-Видео и т.д. Т.е это сетевые клиенты как минимум регионального масштаба, а обычно так и федерального.
1-ый приоритет – Срок решения 4 часа. В эту категорию попадают крупные инфраструктурные аварии – не в работе большое количество узлов сети, влияющие более, чем на 30 клиентов или более, чем на 20 базовых станций (могу чуток с числами ошибиться, не работаю уже давно).
Подводя итог, на словах все выглядит замечательно. НОК – голова, мозг, который анализирует сложившиеся проблемы и предлагает пути решения. Местные инженеры – руки, который эти решения воплощают. По SLA вашу проблему решат максимум в течении суток, а обычно даже быстрее. Но на деле…
Начнем с того, что 2 человека, которые отвечают за весь интернет по Поволжью и Дальнему Востоку, это охренеть как мало. Как вы думаете, сколько крупных аварий бывает у таких контор? Сколько так называемых «перваков»? Я спрашивал у своих друзей, и все отвечают – ну наверное 1 или 2 в месяц. Фиг там, крупные аварии с большим влиянием случаются в среднем 1 раз в смену, а иногда бывало и по 5 раз за смену. Т.е это крупные аварии, с большим количеством сопутствующей работы. Для тех, кто работал в любой техподдержке по юр.лицам примерно представляют объем работы и насколько тяжело с ними работать – «Клиент всегда прав», «Я вам плачу мильены рублей и вы мне обязаны», и т.д и т.п. А так же все IT специалисты знают, что более чем в 80% процентов случает виноват то сам юзер, но не признается в этом никогда. Сколько раз местные инженеры выезжали только потому, что клиент не мог проверить работает ли у него пилот не пересчитать. В среднем за смену (12 часов), у меня набегало порядка 150 обработанных инцидентов, т.е в среднем инцидент уходило около 5 минут, что очень и очень немного, учитывая, что есть инциденты, которые тянутся годами, и есть инциденты которые отнимают намного больше времени. И учитывая специфику обслуживаемых регионов (Регионы живущие по Московскому времени заснули – Сахалин проснулся и наоборот) – работа была постоянная и ее было много.
Теперь все таки перейду к тому, что побудило меня написать данный пост. К сожалению, как и в посте про Мегафон – в Вымпелкоме подкованные технически специалисты сменились менеджерами различного пошиба, которые принимают решения основываясь не на чем. За то время, что я работал на Хуавей, штат местных инженеров сократился в среднем на 10%. Цифра выглядит достаточно незначительно, а теперь представьте, что большинство инфраструктурных инцидентов по Казани обсуживает 4 человека. Четыре, Карл. Это меньше, чем уборщиц на моем новом месте работы. Они только и делают, что мотаются из одного конца в другой без перерыва. По Тольятти один. По Владивостоку – 4. По некоторым городам, как Нижний Новгород или Самара – местные давно спрятались за бюрократические проволочки и вместо них выезжают подрядчики.
К сожалению, механизм, который должен был работать как часы, регулярно ломается. И проблема тут вот в чем, вместо подкованных технических специалистов начальниками становятся менеджеры и управленцы. Например, мой непосредственный начальник заявлял, что в среднем мой отдел практически не работает, потому что видите ли в среднем(!), учитывая праздничные дни и ночи – у нас не 150 обработанных инцидентов на смену, а допустим 60, а значит и работаем мы в 2 раза меньше и вообще получаем деньги не за что. А то что работа плавающая и за час может быть хоть 30 обращений, который надо решать быстро – иначе клиенты впаяют штраф, а за следующий час 5, его не волнует. Как в том анекдоте, что кто-то ест мясо, а кто-то капусту, но в среднем все едят голубцы. В одном из филиалов Дальнего Востока, главным по филиалу со стороны Билайна по технической части стоял некий К. – человек который мне открыто заявлял, что в технических штуках он не понимает ничего и вообще, его хата с краю.
Учитывая количество инцидентов, сложилась следующая система работы. Задача НОКа не анализировать инциденты и находить ответственных, а просто быстренько спихнуть хоть на кого – угадал с ответственным – молодец, не угадал – кидай на другого, и так пока не найдешь нужного. Если сесть и разбираться с инцидентом, то можно обнаружить через час, что у тебя висит 40 обращений, который тоже надо обрабатывать. Поэтому сложилась следующая система работы – 5-ые и 4-ые приоритеты никому не нужны вообще, если у вас была проблема – вам напишут отмазку в стиле – В ходе проверки выяснилось, что была солнечная интерференция, и вообще виновата природа (кто работает с Дальним Востоком, тот поймет, как нелепо это выглядит).
Если вы заплатили Билайну тонны денег и считаете, что вы купили офигенное обслуживание, то вы глубоко заблуждаетесь, ни для кого нет разницы – Адидас ли вы или какой-то ИП с одним офисом, обслуживать вас будут одинаково – уж поверьте мне, именно я вас и обслуживал. Нет разницы и для местных инженеров.
Единственный ваш шанс, получить от билайна хорошее и грамотное обслуживание это платить не тонны денег, а сотни тонн денег – как это делает Газпром, вимм билль данн и некий Банк Шотландии на Сахалине.
Как я узнал уже после, Хуавей выиграл тендер еще и на Северо-Запад, Санкт-Петербург и Сибирь. Т.е все те же 2 несчастных человека будут обслуживать в 2 раза больше клиентов и регионов, а значит и качество упадет примерно в 2 раза.
Что я хочу резюмировать своим длиннопостом – мы живем в том мире, когда грамотных специалистов сменяют на менеджеров, которые ничего не понимают в работе. И все это приводит к таким авариям, какая была на днях у Мегафона. Что бы вам не втолковывали люди, которые уговаривают вас стать клиентом Билайна помните – вас обслуживает совершенно другая компания, которой вообще насрать на вас. Моя зарплата не зависела от того, качественно я работаю или нет, хорошо обработал я инцидент или нет, доволен клиент или нет – главное, чтобы на НОКе не было инцидентов. А значит плевал я на проблемы Адидаса в нижнем Новгороде, и плевал я на то, что у 1000 абонентов в Альметьевске нет связи, у меня нет личной заинтересованности, а значит и работать я буду как в популярном нынче ролики – на отъ*бись.
PS1: По моему опыту работы могу сказать, что очень многие провайдеры интернета в частности очень и очень адекватные. Могу отметить Virgin connect в НиНо, Уфанет в Башкортостане и т.д. Конторы, которые не вышли или только начали выходить на федеральный уровень очень и очень хорошо относятся к клиентам и обычно все у них построено по уму, по крайней мере так выглядит со стороны.
PS2: Работая на Вымпелком, мне естественно приходилось по рабочим моментам общаться и с Мегафоном и с МТС, и могу сказать, что главной причиной по которой я написал это пост послужило то, что я всегда думал где-где, а в Мегафоне все сделано на очень высоком уровне и адекватно. А оказалось вот так.
PS3: Чукча не писатель, писал быстро и много, поэтому уж сильно не ругайтесь. Если есть какие-то вопросы, то постараюсь ответить на них в комментариях.