oldstrib

Ночные смены. Часть 2

Начало тут https://pikabu.ru/story/mobilnyiy_operator_nochnyie_dezhurst...

Немного пообвыкнув дежурный начинает делать свою работу быстро, и если не происходит ничего выдающегося, все работает, то бывало что кроме как пялиться в логи делать нечего. На этаже кроме дежурного сидел охранник, разговаривать с ними надоело быстро. Да и они не особо рвались общаться. Техническая смена сидела на технической площадке, колл-центр тоже в своём здании, мирное население спит.

Интернет был сурово ограничен, времена были такие. Пока не защитил диплом — писал его, потом стало совсем скучно. Нашел пару дыр в толстом клиенте, (web интерфейсы были глючной экзотикой), за счет чего получил доступ к таблицам к которым было чуточку нельзя. Это было неожиданно. Там была нужная связка данных, которая позволила написать скрипт и избавить меня от пары нудных ручных операций. В результате стало еще скучнее. Гениального меня начальница поймала где-то через неделю, покачала головой, погрозила пальцем, но доступ легализовала. После пары случаев видимо посчитали что лучше со смены меня убрать, наделить полномочиями и связанными с ними обязанностями, чтобы на глупости и изыскания времени не было.

Не всегда все проходило гладко.

Дежурили мы по 12 часов. Изредка менялись сменами, и получалось что для того чтобы отдать долг приходилось дежурить 2 смены подряд. Что в целом казалось терпимым. Но так только казалось. Ночью мы делали ручную операцию с приложением интеллекта, автоматизировать её получилось только через пару месяцев. В результате получался набор данных, которые загружались на обработку. Придя на работу после суток я огрёб, вместо суточного набора данных сгенерировал месячный, поставил на обработку и пошёл спать. Бизнес процесс был слегка поломан...

Угадайте кому потом отдали этот процесс для эксплуатации...

На смене очень хотелось спать, особенно часа в 3 утра. Мы невольно освоили методику сна на всем чем угодно, и на любых типах стульев. Все события попадали к нам в почту, и я как-то взял и настроил громкий звук на приход письма. Скорость реакции увеличилась, но это и позволило дремать в случае спокойных ночей. Перед приходом коллег звук отключался... Опыт был передан по смене... Прошло время, я перестал быть дежурным, пришли новые люди. И они нервно дёргались когда я выходил поработать ночью, а этот самый звук, выбранный мной в ночи забывали выключить. Спать то было нельзя...

Продолжаем графоманить...

Работа в операторе началась с дежурной смены биллинга. Пару недель днем, под зорким контролем старшего инженера дежурной смены, потом в ночь. Оператор на момент моего трудоустройства только запустился и было это похоже на горящий цирк. Это мне сейчас так кажется, тогда было просто страшно.

Первый ужас прошел через пару недель, вернее на него просто не оставалось времени. Новые системы, множество проблем, заявок, круглые сутки кто-то был в офисе, потому что многие действия можно делать только ночью. Но это было очень интересно, ведь когда еще посмотришь на создание с нуля такой махины как мобильный оператор?

Дежурная смена разбиралась с заявками от абонентов, с которыми не мог справиться абонентский отдел. Днем заявок было много, и первыми решались самые простые, но все равно, вечером оставался ворох задач, который передавался по смене ночному дежурному. Со сложными проблемами было интересно, часто приходилось привлекать вторую смену, которая следила за сетью и сидела в другом здании. И если наших прав доступа и полномочий совсем не хватало, проблема передавалась на Администраторов.

Раз в месяц была ночь "лизинга и конвертации". Днем производился расчет месячных счетов, и множество абонентов получали бумажные счета, детализации. Запуск упаковочной машины как-то откладывался по разным причинам, и автоматизировать решили силами ночной смены. Бумаги печатались и неудачник занимался художественной упаковкой конвертов. С утра вызывался курьер и несколько коробок писем увезлось из офиса. После того как я попал на такую ночь второй раз я вызвался настроить упаковочную машину. Оказалось, что она считывает метки на бумаге, и потребовалось вносить изменения в шаблоны генерации счетов. В большом коммерческом, неповоротливом, дорогом и глючном биллинге.

Раз-два в неделю на работу в ночь выходили нормальные инженеры и делали с сетью интересные штуки. Перед работами было информирование о сути работ, перечислялись функции которые не будут работать, и то что может пострадать если что-то пойдет не так. Мы напоминал об этом колл-центру чтобы не дергали всех лишний раз и начиналось таинство. Периодически нас озадачивали нестандартной работой, тестами, дополнительными операциями. Ночная смена при правильной работе давала гораздо больше возможностей для развития и обучения. Днем надо было просто херачить.

Рассветы. Из нашего окна открывался потрясающий вид, за работу в смене насмотрелся рассветов. На время рассвета делался перерыв на 15 минут созерцания. После этого оставалось дождаться смены.

Дальше лень. В следующей части про мониторинг, аварии, ошибки, ночные звонки и темные стороны ночной смены :)

PS: Если говорить о количестве заявок, то только единицы обращений долетали до смены, и доли процента уходили в сторону администраторов. За что отдельное спасибо абонентскому отделу. Не понимаю, как девушки (а в основном там работали девушки) сохраняли веру в людей на такой работе. Впоследствии меня занесло к ним в гости, и я послушал абонентов, они разу не зайки в массе своей. Огромная часть обращавшихся просто самоутверждающиеся м@даки, зэки, пьяницы, городские сумасшедшие. Может быть потом расскажу, а может и нет.

PPS: Да, упрощено и несколько утрировано. Но мы же не на хабре.

Работал я в биллинге мобильного оператора, т.е. в том отделе, который считает стоимость разговоров и снимает деньги со счета. Само собой, не вручную, а при помощи ряда систем. Оператор в котором работал был на тот момент небольшим, и как следствие со всей работой биллинга справлялись силами трёх человек и дежурной смены. Ну как справлялись, на ногах держались на одном энтузиазме и ладно. За каждым администратором был закреплён ряд систем, и в приоритетном порядке ими и человек и занимался. Было много интересного, сложного, весёлого и неоднозначного.

В мои обязанности входило в том числе приглядывать за картами оплаты, теми на которых печатался секретный код за стираемой панелью. При его вводе баланс телефона пополнялся. В то время это был основной способ оплаты и работа с этим хозяйством занимала значимое количество времени. Чего только стоили попытки мошенничества по которым приходилось давать заключения в абонентский отдел.

Маркетинг как-то придумал рекламную акцию, суть не помню уже, но за оплату картой абонентам давали какие-то ништяки. Логику активации карт перепилили... В один прекрасный день ошибка в софте и действия дежурного наложились, в результате после ввода секретного кода с карты деньги на счет попадали, но сообщение об этом не приходило. Нашлись люди которые ввели ещё раз и на счёте оказалась уже двойная сумма, карты перестали отмечаться как использованные. Новость эта разлетелась моментально без всякого твиттера. Народ ринулся пополнять счета. За то время пока ошибку заметили и я доехал до офиса количество таких абонентов превысило несколько сотен. Некоторые коды были введены больше сотни раз. При том, я потом посмотрел, были трубки которые не позволяли повторно вводить предыдущие ussd команды, т.е. люди реально вбивали многозначный номер десятки раз.

Ошибку нашли и исправили быстро, ещё быстрее лишние деньги на счёте были обнулены. Ряд особо деятельных успел позвонить на виртуальные деньги и ушёл в минус, но итоговая сумма ущерба была небольшой, коммерсанты решили простить минус и второй итерацией я привёл счета в порядок.

Потом был разбор полётов с производителем и дежурным, поиски крайнего, выработка мер по ускорению выявления таких сбоев и предотвращению.

А некоторые отчаянные личности звонили в колл-центр и требовали вернуть им космические суммы на счёт.