Как я возил робота, чуть не поседел и залил кровью сервернуюБлог компании КРОК
Это история одного из самых запомнившихся случаев в моей инженерной практике. По понятным причинам я поменял имена, места и некоторые узнаваемые детали, чтобы нельзя было точно определить заказчика и других участников истории.
Часть 1. Коробка
Помню, стояли последние дни ноября. Уже думая об окончании рабочего дня, я планировал свой вечер, когда вдруг мне сообщили, что в славном сибирском городе N у нашего заказчика сломалась ленточная библиотека. Запчасть сразу же отправили транспортной компанией, но вот уже 3 дня, как она все еще была в пути. Транспортная компания невнятно объяснялась и хмыкала в телефон, а заказчик стал не в шутку нервничать. Прогнозы были неопределенные, поэтому было принято решение везти еще одну запчасть своими силами на самолете. Сотрудник склада вручил мне габаритную коробку весом килограмм десять, обклеенную штрих-кодами и стикерами, и радостно хлопнул меня по плечу со словами: «Только не вздумай в багаж сдавать — помнут».
Коробка меня, безусловно, беспокоила, но не меньшее беспокойство мне внушал пакет с сухим молоком, который в последний момент мне вручил менеджер проекта. «У них там какие-то траблы с молочкой сейчас… из-за непогоды что ли… ребята местные просили 2 кг им привезти. Тебе ж не сложно?» — сказал он. По выражению его лица и характерному жесту ладони, как бы прикрывавшей мне рот, было ясно, как он сейчас хотел, чтобы я оказался сговорчивым или даже немым.
Важное отступление
Эта история произошла несколько лет назад, в мою бытность инженером, когда я много летал по стране, и, просыпаясь в очередной гостинице, иногда не мог сообразить, в каком я сейчас городе. 4-5 командировок в месяц накладывали свой отпечаток на уклад жизни. И олицетворением этого уклада был мой всегда готовый к очередному путешествию рюкзак.
Часть 2. Библиотекарь
Я вылез из такси, и неожиданно у здания аэровокзала меня остановил сотрудник милиции. «Ваши документы!» — выплюнул он, и чувство глубочайшего удовлетворения почему-то разлилось по его лицу. Дул злой промозглый ветер, мешая мне разобраться с карманами и сумками. Я, как смог, извлек свои документы и протянул блюстителю правопорядка. По идее, молодой человек, который путешествует только с ноутбуком, большой коробкой и пакетом с белым порошком, не должен вызывать каких-то подозрений, поэтому я изобразил на своем лице искреннее недоумение. «Что у вас в коробке?» — спросил он равнодушно. Видимо то, что в пакете было не что иное, как сухое молоко, он уже своим профессиональным чутьем определил, и поэтому пакет его больше не интересовал. А вот коробка пока не поддавалась его проницательности. «Это робот», — сказал я.
В этом момент у меня возникло ощущение, что его равнодушное лицо подменили, ибо оно осветилось изнутри неподдельным интересом, как будто в недрах его шапки с кокардой дополнительно подключился модуль с функцией человеческого любопытства. Я понимал, что поторопился с ответом и надо было как-то ситуацию скорее исправлять. «Это робот… для библиотеки», — добавил я еще менее уверенно, продолжая наблюдать за подключением остальных модулей ехидства, злорадства и алчности. «Говорите, робот для библиотеки… Робот-библиотекарь что ли?»
Часть 3. Досмотр
Я продвигался к зоне посадки, вспоминая, как только что разделался с кокардой. «Обошлось, — думал я, — а мог бы и на самолет опоздать».
«Багаж на ленту, куртки, ремни и обувь снимаем, телефоны выкладываем…» — властно и бездушно командовала женщина в униформе. Водрузив свой скарб на ленту, я сам без звука и писка прошел через рамку металлоискателя. Было видно, что коробка с роботом не дает покоя сотруднице службы безопасности аэропорта, которая гоняла ее туда и обратно через рентген. «А что это?» — наконец вымолвила она, когда все сравнительные образы в ее голове иссякли. Я мял в руках пакет с молоком, обдумывая свою тактику, чтобы сейчас не повторить эпизод с кокардой. Но вдруг ее коллега, сидящая с ней по соседству, бегло глянула на монитор и произнесла: «Да это же робот для библиотеки L200. За эту неделю уже третий раз везут, сезон поломок у них пошел. Проходите, молодой человек!». Моему изумлению не было предела, но вместе с тем я был страшно благодарен благоволившему мне провидению, а также технической грамотности сограждан, работающих в аэропортах.
Часть 4. Усадьба
Ржавая «Волга» со скрипом мчала меня из аэропорта в гостиницу. Из тридцати человек сомнительного вида таксистов, встречавших ночной рейс перед зданием местного аэропорта, этот показался мне самым сдержанным. Во всем его сутулом и прокуренном облике чувствовалось какая-то добропорядочность и даже благородство. Впрочем, облик таксиста часто бывает обманчив, и он всю дорогу недоумевал, почему я живу в Москве, но так и не знаю, как дела у Аллы Борисовны Пугачевой. «Ты живешь с ней в одном городе, и не знаешь?!» — не унимался мой таксист. Он недолюбливал меня за невежество, но вместе с тем не хотел ударить в грязь лицом перед столичным гостем. К дверям отеля мы подкатили лихо и с визгом тормозов, завершив крутой пируэт, непозволительный для автомотоагрегата с таким почтенным возрастом. Дверь машины, казалось, распахнулась сама, или просто отвалилась. Услышав мой вопрос: «А вы мне дадите чек?», таксист замахал руками и напрочь забыл разговорные навыки.
Я вошел внутрь здания, озираясь на безвкусно украшенные стены и колонны, все с каким-то серым налетом, словно пыли. Здание было старинной постройкой, возможно, бывшей усадьбой. На ресепшене девушка безучастно красила ногти. Уверенный в своей, как клиента, правоте, я решительно достал свой паспорт и шлепнул его на стойку. Мадам нехотя отвлеклась от ногтей, презрительно глянула на мой паспорт и буркнула: «В долг не даем». «Чего… ?» — в голове моей понеслись междометия и прочие признаки крайнего негодования. «У меня здесь номер забронирован», — старался быть вежливым я. «Это казино! Вход в отель с другой стороны двора». Кто же знал, что оба заведения имеют одинаковое название? И еще я успел тогда подумать, что все это время таксист вез меня, видимо, думая, что я прилетел из Москвы в этот неприветливый зимний край прокутить содержимое коробки за картами и рулеткой.
Часть 5. Спать или не спать?
Гостиничный номер встретил меня шикарными гардинами до пола и затхлым запахом сырости. Я присел на край кровати, располагавшейся в нише стены, нежно опустил перед собой заветную коробку с роботом и от неожиданности поздоровался с пауком в углу. Работы у заказчика были намечены на 9 утра, на часах было 6 местного. В голове моей все еще гудели двигатели Ил-62 и другие прелести многочасового перелета. Я мысленно прикинул перспективы поспать пару часов и проснуться свежим, и принял правильное решение просто не ложиться. Физиологически у меня дело клонилось к позднему ужину, даже ночному кефирчику, поэтому я поправил на коробке наш фирменный зеленый скотч и пошел в душ.
Часть 6. Семен
Когда к 9 утра я прибыл с роботом и сухим молоком к заказчику, на проходной меня встречал представитель ИТ-отдела, который сказал, что его якобы зовут Семен. Семен без умолку говорил обо всем вокруг, то и дело вытирая рот рукой. По его виду и простоватым манерам было понятно, что в отделе роль встречающего ему достается чаще других, как самому малограмотному специалисту, но очень общительному человеку. Без сомнения, Семен вызывал доверие у людей, и, как позже выяснилось, обладал прекрасным, почти неукротимым аппетитом.
На этаже творилась суета, и пахло краской. Бурно жестикулируя, Семен объяснял, что это новое здание и сейчас здесь оборудована вторая площадка. И тут у меня зазвонил мобильный телефон. Это был менеджер проекта. «А ты уже добрался до заказчика? Слушай, помоги им там. Мы им сейчас кластер настраиваем. Наш Леша у них уже неделю. Что-то не получается. Тебе ж не сложно?»
Часть 7. Кластер
В сопровождении Семена я вошел в машзал. Повсюду были расставлены коробки разных размеров с надписями Dell, Cisco, EMC. Многие из них уже были вскрыты, вокруг лежали провода, рельсы для монтажа оборудования в стойки, кипы документации и электрики. Электрики не просто лежали, они копошились с проводами под фальшполом и негромко переругивались. В центре этого творческого хаоса возвышался старший специалист отдела Николай. Он проводил рабочее совещание. Скрывшись от совещания, за грудой коробок томился наш Алексей, щурясь в монитор своего ноутбука и тайком завтракая булкой. Семен тоже захотел булку, но ему надо было участвовать в совещании, поэтому он просто пыхтел.
С первых слов Николая я понял, что времени на запуск комплекса оставалось в обрез, меньше суток. С появлением второй площадки руководство поставило задачу реорганизовать одну из самых важных информационных систем. База данных — ядро этой информационной системы — должна была стать кластеризованной. Теперь она хранилась на двух системах хранения, между которыми осуществлялась синхронная репликация данных. А кластерное ПО отслеживало состояние всего комплекса и могло автоматически отреагировать на сбой, случись что-либо нехорошее на основной площадке. Подготовительные работы были почти закончены, но много времени было потеряно на поиск и устранение битых оптических линков между площадками, которые прокладывала подрядная организация. А еще предстояло закончить монтаж серверов, обновить на них операционную систему и микрокоды, а также все протестировать. Запуск комплекса в промышленную эксплуатацию был намечен на ночь — единственное время, когда можно останавливать ответственные финансовые системы.
Часть 8. От рассвета до заката
Я плохо помню, как прошел этот день. Помню только, что коллеги мне сразу заявили, что ленточная библиотека в свете сложившихся обстоятельств подождет, и сейчас мои руки важнее в другом деле.
Целый день мы монтировали серверы, крутили гайки, прокладывали кабели, подключали адаптеры. В перерывах мы вроде даже обедали и ходили гулять в лес. Затем я ставил операционные системы, накатывал патчи, колдовал с микрокодами. Иногда микрокоды колдовали со мной, и чтобы не дремать, я вспоминал, как в самолете стюардесса мастерски жонглировала чайником, сетуя на турбулентность, и раздавала чай опасавшимся кипятка пассажирам. Наступала ночь, из окна было видно, что над лесом взошла большая оранжевая луна.
Часть 9. Час Х
«Час Х настал» — бодро сказал, зевая, Николай, коротко посовещавшись с кем-то по местному телефону. «Настал, настал», — повторили ему из трубки, которую он еще не успел положить, и захихикали. Это были «прикладники», которые тоже дежурили в эту ночь и по завершении наших работ должны были убедиться, что все заработало.
На часах стрелки показывали полночь. Мы подошли к самому ответственному моменту, когда должны были переключить репликацию данных на другую систему хранения, дождаться завершения синхронизации и поднять кластер на второй площадке. Этим процессом полностью командовал Алексей, известный в наших кругах специалист по системам хранения. Еще некоторым было известно о его иррациональных повадках… Он, причмокивая, копировал в скрипт идентификаторы томов, сверяясь со списком, который ему предоставил заказчик. Через полчаса, когда эта кропотливая работа была закончена, Леша потрогал для верности клавишу enter, и убедившись, что она настоящая, нажал ее. Все тревожно чего-то ждали, и всеобщее молчание нарушал только треск люминисцентных ламп. Меня клонило под фальшпол и я наяву видел сон, но не помню, про что.
Часть 10. Без названия
Я очнулся, потому что синхронизация закончилась, но все были почему-то не рады. Кластерные службы не поднимались. Меня призвали из страны грез, чтобы я посмотрел в логи. Сквозь туман в моем сознании до меня стало доходить, что проблема была с дисковой подсистемой. Группа логических томов импортировалась с ошибкой и данные были недоступны. Причины были пока не понятны, зато начинала вырисовываться перспектива отката на старую конфигурацию, т.е. план «Б». В семь часов утра система должна была быть работоспособной, поэтому на раздумья времени не было. Тогда я еще и предположить не мог, что трагические события той ночи только начинали разворачиваться.
Я помедитировал еще пять минут и предложил делать откат на старую систему. Нехотя мои коллеги согласились, удрученно думая, что утром будут докладывать начальству. Мы переключили направление репликации и дали команду импорта дисковой группы на старом сервере. Я уже успел успокоиться и мечтал добраться до гостиничной кровати с чувством исполненного долга. И вдруг я услышал возглас: «А тут оно тоже не стартует». И внутри у нас все оборвалось…
Часть 11. Акелла промахнулся
Туман окончательно развеялся в моей голове. Говорят, что в экстремальной ситуацию организм человека мобилизуется. Я бешено соображал, что можно предпринять. Со стороны систем хранения все было в порядке. Убедившись в этом, мой коллега Алексей махнул рукой, расписавшись в своем бессилии, и пошел смотреть фильм на ноутбуке. Я уже говорил про его иррациональные поступки. Но формально к нему придраться было не за что.
Причина проблем вырисовывалась довольно четко. В дисковую группу ранее заказчиком были добавлены дополнительные тома, однако их забыли добавить в список дисков, которые реплицируются. При старте кластера дисковая группа была импортирована, но метаданные были обновлены только на части дисков, а новые оставались в режиме «только чтение». Теперь конфигурация дисковой группы была окончательно рассогласована, а данные недоступны ни с новой СХД, ни со старой.
Когда речь идет о финансовых данных огромной организации, их потеря равносильна катастрофе. Я сразу вспомнил похожую историю, когда на заре своей инженерной карьеры оказался с ремонтом у одного заказчика — серьезной структуры, легализовавшейся в 90-е. Они обсуждали, что их админ что-то по неосторожности удалил. «И что с ним случилось?» — между прочим спросил тогда я. «Ну, он пока сидит здесь в подвале, третий день уже. Ждем генерального, он решит, что с ним делать», — на полном серьезе отвечал мне бритоголовый сотрудник с тяжелой цепью на бычьей шее.
Часть 12. Хинди
Вы когда-нибудь чувствовали, как на голове шевелятся волосы, собираясь поседеть? Прикидывая, что мы потеряли базу данных, я даже думать не хотел, что будет утром.
В таких ситуациях, как наша, положено немедленно звонить в техподдержку производителя. Она, в такой час, понятно, англоязычная. Я примерно набросал для себя ключевые слова и набрал номер. Два гудка и мне ответил английский баритон. Я сходу рассказал, кто мы и что у нас случилось. Баритон терпеливо выслушал мой монолог и спросил: «What is first name?». Я оторопел, но, собравшись, с мыслями, ответил. Затем последовали вопросы про last name, customer name, city, location, serial number и так до бесконечности. Время неумолимо убегало. Закончив анкетирование, баритон попросил меня записать номер обращения и сказал ждать звонка специалиста. Специалист мне не звонил, он через 5 минут мне написал на электронную почту. Он написал, что он принял в работу мою заявку, но его смена закончилась, поэтому мне надо снова перезвонить диспетчеру и попросить назначить заявку на другого специалиста. Не понятно, почему некоторые считают, что работать не любят именно в России. Кажется, это заблуждение.
И вдруг случилось чудо. Мне перезвонил другой специалист, но он оказался из Индии. Второй глобальный центр технической поддержки был там и они сами приняли мою заявку. Я был рад ему как родному папе, но радость моя длилась недолго: мы друг друга не понимали. Было ясно, что он вроде говорит по-английски, но легче от этого не было. Иногда некоторые звуки его речи наводили меня на отдаленную мысль, что он имеет ввиду. Но в конечном счете наше общение свелось к переписке. Я напрягал память, вспоминая все лучшие моменты из индийского кино и пытаясь дать ему прочувствовать глубину нашего горя. Время шло. Индия, как и положено, пела и плакала, но помочь нам тоже не могла.
Часть 13. На рассвете казнь
В 4 часа утра мы поняли, что других вариантов не остается, кроме как восстанавливаться из резервной копии. Все взгляды устремились на ленточную библиотеку. Николай даже ползал перед ней, вытирая пол галстуком. «Сколько будет база с ленточки разматываться?» — спросил я местного бакапщика. «Часа три, наверное, — неуверенно ответил он, — но мы никогда не проверяли». Нам срочно нужно было заменить в библиотеке робота, потому что три часа у нас были с большой натяжкой. Никогда я еще так быстро не вскрывал упаковку и не завинчивал винты. С роботом, залитым кровью, было покончено, он встал на место. Кровью его залил я, поранив палец из-за спешки, но на перевязку времени не было. Шелкнул тумблер и библиотека осветилась изнутри светом, робот пришел в движение и начал калибровку. Мы столпились около библиотеки и глядели через окошечко, мысленно помогая ему двигаться и считывать баркоды с кассет. Он делал это медленно, с наслаждением, а мы, прижавшись, к стеклу, скрежетали зубами. «Проинициализировалась!» — сказал бакапщик, имея ввиду библиотеку. И добавил: «запускаю восстановление». Робот подумал секунду, потом резво метнулся к нужному ряду кассет, уверенно выхватил нужную, повернулся вокруг направляющей оси и поехал в сторону драйва.
В это время Алексей в углу за коробками восхищался фильмом и очередной булкой. Фильм шел без звука, но волнение на лице моего незадачливого коллеги было неподдельным. Инженеры часто возят с собой по длительным командировкам подборку любимых фильмов, которые хороши даже без звука. Ибо настоящее искусство, как, например, фильмы с Чарли Чаплиным можно смотреть и так.
Вдруг из библиотеки послышался звук глухого удара. Робот довез кассету до драйва, но не смог определить, где у драйва отверстие, и стал биться об его стенку, пытаясь ее куда-то вставить. Это было полное фиаско, и отчаяние охватило вас. К сожалению, механические запчасти крайне чутко реагируют на транспортировку, поэтому бывают случаи, когда новая запчасть сразу классифицируется как DOA (dead on arrival).
Часть 14. Надежда
Холодный пот катился градом по моему лбу и застилал мне взгляд. Я медленно нажимал на клавиши, перепроверяя каждую. У нас оставалось меньше часа до начала рабочего дня, и все наши попытки уже казались тщетными, как вдруг меня осенила мысль. «А вы давно последний раз диагностику со старого сервера собирали?» — спросил я у коллег. «Вчера вечером, а что?» — отвечал мне добродушный проголодавшийся Семен. «Там может быть есть вывод команды, которая отражает конфигурацию дисковой группы до изменений, и по этому выводу мы ее можем попробовать руками пересоздать».
И сейчас я занимался тем, что руками запускал команды, которые заново размечали диски на служебную область и область данных». «Ты это делал раньше когда-нибудь?» — спросил меня, выползая откуда-то Николай. «Нет, только статью читал, это шаманство, но надо пробовать», — ответил я. В другой раз мне бы сразу отсекли руки, если бы узнали, что я только что грохнул всю дисковую группу. Но сейчас это был единственный наш шанс, поэтому возражений не было. Мы все, находившиеся в этой комнате, были одновременно и приговоренными, и заговорщиками. Надежда в человеке не умирает никогда.
Я закончил с разметкой и набрал команду, которая согласно документации должна была заново создать дисковую группу, но не инициализировать пространство, т.е. не затирать имеющиеся данные. «Делаешь — не бойся, боишься — не делай», — вспомнил я Конфуция и запустил команду. Она, к моему удивлению и радости, выполнилась и не выдала ни одной ошибки. Я вывел конфигурацию, все логические тома были на своих местах, с нормальным статусом. Осталось проверить наличие данных. В нашем запасе было еще 15 мин. В помещении уже минут 40 трезвонил телефон, но на него никто не обращал внимания. Кто бы это ни был, ответить им пока было нечего. «Давайте запускать кластер» — предложил я, и сам удивился своему голосу.
В библиотеке робот неистово колошматился об драйв, видимо, надеясь его рано или поздно взять измором. Алексей поглаживал ноутбук, впечатлившись концовкой фильма. Семен терпеливо скучал, размышляя о том, правильную ли профессию он выбрал, а в перерывав мечтал о шоколадке. Кто-то еще храпел за стойками, то и дело подергиваясь во сне. Остальные действующие лица сосредоточено смотрели в монитор, на котором, без прикрас, была отражена вся наша жизнь. «Запустилось!» — выдохнул Николай и схватил трезвонившую трубку. Это были «прикладники», они уже мылили веревки и звонили прощаться. «Проверяйте приклад!» — гаркнул Николай и отряхнул галстук.
Часть 15. Коробка
Я сидел на коробке и счастливо улыбался, думая, как сейчас из всех жилых домов этого прекрасного города ручейками тянутся люди в бушлатах, ушанках и валенках. Они собираются в очередь к банкоматам, а те также радостно и надежно их обслуживают. И во всей этой картине было какое-то правильное человеческое счастье.
У нас все заработало, и за 2 минуты до начала рабочего дня система была запущена. Коллеги молча благодарили меня, пожимая руку и качая головой. Все, что произошло той ночью, мы собирались унести с собой, не выдавая никому.
Мне еще продолжал писать индус, все еще предлагая какие-то безумные идеи. В это время в машзал открылась дверь и просунулась чья-то заспанная физиономия. Это был охранник с проходной. Он молвил: «Там курьер приехал. Говорит, робота какого-то привез. Робота-библиотекаря вроде...».
Начинался новый прекрасный рабочий день.
Резервное копирование сервера
Было решено сделать резервное копирование (именуемое в дальнейшем "BACKUP") очень старого сервера (именуемый в дальнейшем "ZALP" ). Общий объем BACKUP'а 600Gb. Создал задание, которое ночью по сети передаст BACKUP на сервер резервных копий (именуемый в дальнейшем "ZORG" ). Вроде проще не куда, все проверил и пошел с чистой совестью до дому, до хаты.
Утром ехал на работу, звонят филиалы, которые из-за разницы во времени пришли (относительно меня) очень рано работу. Разговор был коротким:"Ни х..ра не работает, комп 15 раз перезагружал........(короткие гудки)". И примерно всё те же слова от других филиалов.
Добрался до работы и в первую очередь перезагрузил ZALP, т.к. он был не в сети, но при этом операционная система работала штатно. После перезагрузки все заработало. Стало интересно, создался ли BACKUP? Зашел на ZORG, а там BACKUP весит всего 112Gb. На ZALP в логах указано "BACKUP выполнен на 21%", копаюсь далее и узнаю, что из-за сильной нагрузки сетевой адаптер не выдержал и решил отдохнуть до следующей перезагрузки, пропав из устройств.
По сети значит не вариант. Жесткий диск на горячую не подключить, т.к. древняя материнская плата, а отключать сервер нельзя. Немного подумав, стал изобретать флешку на 1TB (1 Терабайт).
И вот кто получился
А вот небольшое описание его анатомии
Подключил его, изменил немного задание и ушел домой. Утром ни кто не звонил. Думаю наверное все хорошо. Приехал на работу, и что я вижу??? И правда все хорошо, а BACKUP создался на 100%
СПАСИБО ЗА ВНИМАНИЕ!!!
1С: Лучше перестраховаться
Рассказал коллега:
Дело было прошлой зимой. Машину сдал в ремонт, так что к клиенту добирался пешком и на автобусе. Работы было невпроворот: приходил по будням с утра и сидел до позднего вечера, обедал в том же здании – солнца, в общем, почти не видел.
Тем утром представитель заказчика встретила меня с огромными от ужаса глазами: «Всё пропало!» - и в спешке отвела меня к компьютеру. Монитор показывал ошибку при запуске 1С – база «навернулась». Каждую пятницу она делала резервную копию, но все копии за последние 4 месяца куда-то исчезли из папки…
Как же хорошо, что я сам делал «бэкапы» и чуть ли не каждый день скидывал их на «облако», так что мы быстро привели всё в порядок. Восстанавливать с нуля было бы нереально – база довольно большая, выгружалась она около получаса.
Под конец недели была установлена причина пропажи резервных копий. Каждую пятницу Светлана ставила базу на выгрузку и уходила домой, чтобы не терять время. К слову, в компании было жёсткое правило: на выходные вся техника должна быть выключена. Поэтому Светлана предусмотрительно настроила ПК на автоматическое завершение работы через несколько часов после её ухода.
Но она была не единственным сотрудником, который строго соблюдал установленный закон: Вера Павловна, местная уборщица, регулярно и добросовестно выключала «компутеры» за всеми, кто это делать забывал. Устроилась она сюда как раз 4 месяца назад.
Женщины решили всё полюбовно, договорившись не распространять информацию о случившемся. А мне был подарен коньяк : )
Автоматизация бэкапов.
Может и не совсем интересно, но кому-то может понадобиться такой мануал (ни в коем случае не реклама, только в ознакомительных целях). Мне руководитель поставил задачу на работе и вот так я ее решил....
Представим ситуацию, когда, у нас появилось слишком много филиалов и в каждом стоит роутер "Mikrotik" (в моем случае их 50+), Вы всегда делали бэкапы и сливали конфигурацию...., НО! К примеру, работаете Вы не один - это раз, надоело вручную заходить и делать бэкапы - это два, даже если уверены в своих коллегах - нужно страховаться - это три. При всем этом роутеров много и количество будет рости. *Нужно автоматизировать это дело* - подумаете Вы, этим собственно и займемся.
Нужно:
- UNIX-подобная система (в моем случае FreeBSD)
- Пара роутеров "Mikrotik" для проверки скрипта
Принцип работы скрипта:
- Скрипт будет заходить на каждый роутер указанный в массиве по SSH, под каким-либо пользователем
- Давать команду на создание бэкапа в двоичном и текстовом виде, а именно в расширениях *.backup и *.rsc
- Сливать файлы на наш сервер по SCP
- Удалять созданные бэкапы на самом роутере
- Проверять в папке с бэкапами, чтоб файлы были не старше трех дней, если старше - то удаляем. Другими словами у нас будут бэкапы за последние три дня.
Поехали....
1: Создадим сначала пользователя, с нужными на правами. Заходим на наш микротик, в меню жмакаем System -> Users и переходим в открывшемся окне на вкладку Group, нажимаем на "+", чтобы добавить новую группу (я назвал ее script) и назначаем права как на картинке:
Далее переходим в вкладку Users и там жмем снова "+" вбиваем название пользователя, назначаем нашу созданную группу и пароль. Пусть будет у нас "Валли"
Должно получиться так:
2: Теперь нам нужно сгенерировать публичный ключ - для того, чтобы, скрипт подключался к микротику по ssh не спрашивая пароль т.е. автоматически. Заходим на наш FreeBSD под root'ом (для не знающих команда sudo su) и генерируем ключ командой: ssh-keygen -t dsa.
Будет вопрос в каком каталоге сохранять? я оставляю по дефолту, поэтому Enter, так же будет вопрос о пароле на ключ, оставляем пустой т.е. тоже нажимаем Enter.
Должно получиться так:
Проверить наличие сгенерированного ключа можно так: ls -lh /root/.ssh/ и увидите в списке свой файл, с названием id_dsa.pub.
3: Следом надо залить ключ на микротик. Возвращаемся к микротику, нажимаем IP -> Services и там есть сервис "ftp", если он выключен, то включите.
Возвращаемся на сервер и переходим в каталог с нашим ключом: cd /root/.ssh/.
Подключаемся на микротик через FTP командой: ftp 192.168.88.1
Спросит имя пользователя, вводим нашего: walle, следом пароль от него и увидите приветствие микротика:
Вводим команду передачи ключа: put id_dsa.pub и ....
Это говорит о том, что передача успешна и завершилась, вводим: exit.
4. Теперь надо назначить ключик нашему пользователю, переходим на роутер.
Откройте Files, там увидите свой ключик:
Нажимаем в главном меню роутера New Terminal и вводим такую строку: user ssh-keys import public-key-file=id_dsa.pub user=walle. Команда выполнится молча. Проверяем импортировался ли ключ, переходим System -> Users в вкладке SSH Keys увидите ключ импортированный для пользователя walle.
Ключ мы успешно импортировали и он будет работать.
Переходим на наш FreeBSD и пробуем подключиться по SSH с использованием ключа: ssh walle@192.168.88.1.
При первом подключении вам зададут вопрос: Are you sure you want to continue connecting (yes/no)? - отвечаем: yes. Больше спрашивать не будет.
После увидите приветствие роутера.
5. Необходимо на нашем FreeBSD создать папку для бэкапов, сделал я вот такой командой: mkdir /var/mikrotik_backups/.
Назначил полные права папке chmod 777 /var/mikrotik_backups/.
6. Необходимо создать сам файл скрипта: перехожу в свой каталог cd /usr/home/Dopelngager/ и создаем файл скрипта: touch backup_mikrotik.
Назначаю точно так же полные права chmod 777 backup_mikrotik.
7. Пришли теперь к основному, а именно к написанию скрипта.
Открываем файл скрипта командой: ее backup_mikrotik
и записываем в файл вот это:
#!/usr/local/bin/bash
routers=( 192.168.88.1 )
backupdir="/var/mikrotik_backups/"
privatekey="/root/.ssh/id_dsa"
login="walle"
DATE="`date '+%Y-%m-%d'`"
for r in ${routers[@]}; do
cmd_backup="/system backup save name=${r}.backup"
ssh ${login}@$r -i $privatekey "${cmd_backup}" > /dev/null
sleep 2
cmd_backup="/export file=${r}"
ssh ${login}@$r -i $privatekey "${cmd_backup}" > /dev/null
sleep 5
scp -i $privatekey ${login}@${r}:${r}.backup ${backupdir}$r-$DATE.backup
scp -i $privatekey ${login}@${r}:${r}.rsc ${backupdir}$r-$DATE.rsc
ssh ${login}@$r -i $privatekey "/file remove \"${r}.backup\""
ssh ${login}@$r -i $privatekey "/file remove \"${r}.rsc\""
done
find $backupdir* -mtime +3 -exec rm {} \;
Если у вас не один роутер, то, шаги с 1 по 4 нужно сделать с каждым и в скрипт добавить роутеры в строку "routers", между скобок. ОБЯЗАТЕЛЬНО!: добавлять роутеры через пробел и пробелы около скобок тоже должны быть! Для примера добавим еще один роутер:
routers=( 192.168.88.1 192.168.88.2 ).
Проверим наш скрипт, вводим команду: ./backup_mikrotik
Должен пойти процесс скачивания и сохранения файлов.
8. Остался последний шаг - это добавить скрипт в планировщик.
Вводим команду открытия планировщика Cron: ее /etc/crontab
Добавляем строки:
#backup Mikrotik routers
* 21 * * * root /usr/home/Dopelngager/backup_mikrotik
Сохраняем и необходимо перезапустить cron: /etc/rc.d/cron restart.
Таким образом я запланировал работу скрипта ежедневно в 21 час, еженедельно, ежемесячно, ежегодно. ВАЖНО! Соблюдайте пробелы и табуляции при добавлении записей в файл, cron чувствителен к этим вещам. А лучше про него подробнее почитайте в интернете.
У меня все, надеюсь было полезно. За ошибки и шакальные картинки простите. Unix-подобные системы знаю плохо, только учусь - так что сильно не придирайтесь. Если у кого есть вариант улучшить скрипт или его работу - обязательно приму во внимание.
А вот кстати результат работы срипта:
Что поставить на компьютер
В свете прошлого поста решил публично ответить на очень часто задаваемый вопрос о том, какой набор софта нужно "обязательно" ставить на ноутбук/компьютер.
Ответ - ничего. Чем меньше софта установлено на устройстве, тем меньше потенциальных угроз безопасности, следовательно ставьте только необходимый для работы/учебы/хобби софт и больше ничего. Теперь поедем по наиболее распространенным мифам и софту который раньше был, но уже перестал быть обязательным:
1. Антивирус (сторонний). В настоящее время антивирусы себя дискредитировали настолько, что из основного элемента защиты стали скорее мелким неудобством для взломщиков. Борьба антивирусов и брони во многом напоминает борьбу брони и снарядов на флоте в 20-м веке, рост мощности пушек увеличивал броню, но в середине 1940-х на смену пушкам пришла авиация, мощность и точность торпед и бомб сбрасываемых которой броня уже не могла помешать в принципе, в результате "бронёй" современных кораблей служит ракетно-пушечное вооружение... Применимо к сфере информационной безопасности антивирус, без правильной настройки механизмов защиты ОС, сетевой инфраструктуры, бэкапов и т.д. и т.п. ничтожен и может защитить исключительно от всякого шлака. При этом рынок бесплатных антивирусов и встроенный антивирус Windows против шлака достаточно эффективны. Когда читаешь книги или статьи людей занимающихся взломом, то первый совет - прогнать "продукт" через антивирусы. Это гарантирует несколько суток "работы" зловреда - пока будет получен экземпляр вируса, вычислена сигнатура, дополнены базы данных и пройдет обновление баз данных на устройствах. Эпидемия WannaCry (и не только его) этот тезис со всей очевидностью доказала.
2. Просмотр PDF. Любой браузер поддерживает чтение PDF и в дополнительном софте нет нужды.
3. Архиваторы (если рядом нет фанатов rar). Антивирусы уже встроены в ОС (zip), более того все сжатые форматы файлов его используют "по-умолчанию" (поменяйте расширение docx файла на zip и убедитесь). То есть архиватор уже встроен в ОС и установка дополнительного просто добавит лишний софт и потенциально лишние уязвимости в систему.
Что нужно обязательно делать после установки:
1. Перенести пользовательские данные на отдельный раздел. В Linux это делается при установки системы (отдельный раздел для /home при "домашнем" использовании и /var для "серверного"), а в Windows 10 для этого нужно создать временно учетку администратора и вырезать-вставить папку пользователя с диска С (C:\Пользователи\[Имя пользователя])
2. Настроить бэкап данных. Бэкап с "облаком" - только тех данных, которые вы бы готовы были опубликовать. Все то, что может скомпрометировать должно быть зашифровано. Для параноиков - дважды-трижды-четырежды (от степени паранойи).
3. Сразу после установки нужного для работы/учебы софта сделать снимок системного диска, который желательно перенести на другую машину/съемный диск.
4. Составить расписание бэкапов на съемный диск/другое устройство и строго ему следовать.
Что нужно ставить помимо рабочего/учебного софта:
1. Офф-лайн менеджер паролей. Генерировать и использовать пароли со всем набором символов (не менее 15) уникальные для каждого сайта. При взломе сайта стараются слить базу паролей. При обработке базы основная часть паролей дешифруется, и автоматом запускается атака на все распространенные ресурсы используя логин/e-mail и пароль. Если использовать один и тот же пароль на нескольких сайтов взлом одного из них для вас == взлому всех.
2. Клиент средства для создания бэкапов. Без автоматизации данное средство слишком ненадежно, можно просто забыть делать бэкапы.
3. Желательно: сторонний диспетчер задач т.к. вирусы могут успешно "гасить" встроенный или обманывать его.
4. Желательно: сторонний монитор сетевой активности.
5. Желательно: клиент электронной почты с возможностью хранения копии переписки (бэкап почты на случай взлома).
Да и последнее: я часто слышу (и на Пикабу в том числе) истории типа: "начальник не дал денег на сервер для бэкапов, бух открыл письмо из налоговой, все зашифровалось - было выгоднее бабки заплатить, чем восстанавливать". Так вот это - однозначное признание своей полной профессиональной непригодности. Сервера для бэкапов ("бытовые") сегодня настраиваются эникеями за пол-часа, сетевые хранилища/съемные диски стоят копейки, гораздо дешевле выкупа за данные. Обычный объем данных для офисного компа (без хранения фильмотеки, "любимой музыки" и семейного альбома) не более 20-30 Гб, на хард объемом 1 Тб и стоимостью 3к легко кладется образ системы и 3 бэкапа (суточный/недельный/месячный) как минимум 10 компов. При инкрементальном бэкапе на диск того же размера влезет "история" примерно 30 компов. Ваш ноутбук (а админ без личного "инструмента" - это совсем не админ) + 3-4к денег и при очередном "все пропало" Вы просто тратите максимум день-два на восстановление систем и данных.
Истории фотографа. Часть 82. Еще не делаете бэкапы?
У многих закончился свадебный сезон и я напомню популярную народную мудрость: "Есть люди которые еще не делают бэкапы и люди которые уже делают". В идеале у фотографа-параноика должно быть четыре сохранения свадьбы: на компьютер, на облако, на жесткий диск, который храним в квартире и на жесткий диск, который храним на нейтральной территории (носим с собой, оставляем в офисе, доверяем Сбербанку, отправляем себе же через Почту России и т.п.).
В этом вопросе на меня оказали влияние две жестких истории. Обе с коллегами. Разумеется ни в одной не было бэкапа фотографий. Первая случилась после скачка напряжения, когда у человека сгорел винт и он приложил громадное количество времени, а также денег, на его восстановление. Вторая произошла вследствие обычной кражи. У человека вынесли оргтехнику из офиса, на которой хранились все свадьбы с сезона. Ему удалось закрыть долги перед клиентами только после продажи большей части фототехники и машины.
Поэтому совет всем, не важно фотограф вы или хотите стать его жертвой. Одним важно бэкапить снимки, вторым не менее важно требовать от исполнителя это сделать. Деньги вам вернут, а вот воспоминания уже вряд ли.
И еще, давно не писал, что вы можете задавать мне вопросы в директ моего Instagram. Отвечаю бесплатно, внутри нет впаривания товаров и прочей коммерции, так что не бойтесь.
Что для тебя важно, если ты Linux администратор.
У меня появилось 5 подписчиков и вы наверное хотите почитать что-то про DevOps? Но начать я решил с более общей темы.
Я не претендую на то что эти вещи являются какими то универсальными, а хочу обобщить то к чему пришёл на своём опыте.
И так, если я прихожу в новый проект в котором уже есть какая-то инфраструктура, то первоочередными для меня являются 3 вещи.
Самая первая вещь по значимости - это мониторинг. С помощью хорошо настроенного мониторинга можно предотвратить 70% проблем и оперативно среагировать на оставшиеся 30%. Основные вещи, такие как состояние дисков, файловых систем, доступность ресурсов и сервисов, замониторить достаточно быстро, но допиливать проверки по разным тонким параметрам можно бесконечно. Есть у мониторинга начало, нет у мониторинга конца).
Вторая, не менее важная вещь, это резервное копирование. Сюда я отношу такие банальные вещи как бэкапирование файлов, виртуалок, дампы баз данных, так и создания реплекации данных и во втором приближении, сюда же можно отнести построение конфигураций высокой доступности. Эта тема тоже довольно обширна и всегда зависит от конкретной инфраструктуры.
И последняя по важности, но первая по порядку - это система оркестровки конфигурациями. Это то, что помогает в развертывании двух первых пунктов и в целом упрощает и ускоряет управление серверами и сервисами, помогает держать их в актуальном состоянии и контролировать единообразие конфигурационных файлов там, где это требуется.
В данном контексте у нас 2 большие задачи. Разовое распараллеленное внесение изменений сразу на нескольких серверах. Например развертывание различных кластеров, управление пользователями и прочими настройками. И выполнение задач систематически. Например периодическое обновление пакетов влияющих на безопасность, синхронизация конфигурационных файлов, чистка временных файлов или контейнеров и т. д.
Выполнив эти, обязательные для меня, пункты можно дальше жить и постепенно переходить к прочим изменениям связанным и не связанным с DevOps.
Написал я конечно очень общо и во многом скапитанил, но с чего-то же нужно начинать :)
В дальнейшем планирую пройтись по инструментарию и подходу DevOps и тому что сейчас модно использовать в it стартапах.
P. S. Я специально не указал продукты которые я использую для этих трёх пунктов, так как это тема для отдельного холивара.
7 простых правил как избежать взлома сервера и шифровальщиков
Привет всем!
На волне "Как нас взломали и защифровали" и других постов по ИТ-безопасности хочу просто поделиться своими простыми правилами, которые доступны всем и помогут уменьшить вероятность подобных граблей.
1. Учётка Админа только одна, и только я знаю пароль, копия с паролем в запечатанном конверте хранится у босса в сейфе (на случай, если я умру :-)).
2. Учётки пользователей блокируются при вводе пяти раз неверных паролей и меняются каждый месяц.
3. Порт роутера, через который подключен сервер к Интернету, поменял на хитрый 4-х значный.
4. RDP-порт сервера поменял на хитрый 4-х значный.
5. Правило проброса (например, на Зикселях имеется простой интерфейс) RDP-порта на роутере работает по расписанию, т. е. по необходимости когда пользователям надо удалённо работать, например, в рабочее время они все на работе, а вечером с 19-00 до 22-00 могут поработать удаленно.
6. Самое ценное, это конечно, базы 1с, бекапы, которых делаются не только на другой комп в локальной сети, но и на флешку, у которой есть ответственное лицо: каждый день после архивации меняет с флешкой местами, которая лежит в не сгораемом сейфе в Организации.
7. Еще совсем недавно настроил Гугл.Диск, архивный бекап шифруется (например, PGP) и сливается на него.
P/S. За истину не претендую.
Всем добра, смышленых юзеров, адекватного начальства и отличного пинга!
Как обезопаситься от вируса-шифровальщика или настроить простенькие резервные копии.
В силу нашумевшего бестселлера http://pikabu.ru/story/kak_nas_vzlomali_ili_unosite_byekapyi... и моего обещания запилить пост #comment_85817561 выполняю его:
Здесь будет рассматриваться наиболее простенький и более ли менее надёжный способ защиты от вируса-шифровальщика, да и вообще резервного копирования важных данных пользователя, которым является например маленькое ИП с всего одним ноутбуком. Я бы даже сказал, что это несколько ключевых моментов и концепт, вы можете использовать любое другое программное обеспечение и т.д. т.п.(естественно никакой рекламы) , если у вас возникли какие-нибудь вопросы касательно изложенного ниже, например как создать пользователя или добавить ему права администратора, вы можете смело набрать свой вопрос в любой поисковой системе аля гугл/яндекс. Также подразумевается что вы умеете делать такие банальные вещи как создать папку, щёлкнуть правой кнопкой по папке ну и т.д.
Заранее отвечу на разного рода кАмменты касательно «да всё это можно сделать по-другому /всё это не так уж и секьюрно/и т.д. т .п.» - таргет сего поста не рассуждать о дата-центрах и кластерах виртуальных хостов на bladecenter, таргет объяснить рядовому пользователю как избежать неприятностей с потерей всего и всЯ.
Бонусом в конце будет куллстори о мамкином ОЙтишнеге, с которым как то я столкнулся, в период начала своей карьеры.
Далее повествование будет идти в качестве пошагового руководства:
1. Создаём в операционной системе нового пользователя, в моём примере это Уася, задаём ему хороший пароль и добавляем его в группу Администраторы
2. Это ключевой момент, описание которого я буду делать на примере Windows 8, но в любых других редакциях Windows всё почти также, по крайней мере, можно двигаться по наитию:
Создаём на диске С(или любой другой диск, не суть дела) папку с любым именем, например «архив» > щёлкаем по ней правой кнопкой > свойства > Безопасность > Дополнительно.
Далее отключаем наследования во вкладке «разрешения» > полностью удаляем всех пользователей > добавляем нашего созданного пользователя > проставлением галочек даём ему полный доступ на папку и всё что в ней есть и будет
Аналогично даём проставлением галочек доступ на «чтение и выполнение», «список содержимого папки» и «Чтение», пользователю «Все» или группе «Администраторы» .
Также особым параноикам можно поменять во вкладке дополнительно «владельца» на нашего созданного пользователя. Должно получиться что-то вроде этого.
Поясню суть происходящего: сейчас мы создали папку и назначили ей права таким образом чтобы писать что-либо в неё или менять файлы в ней мог только наш служебный пользователь, а просто прочитать/открыть файлы в ней мог кто угодно. Это и есть один из моментов нашей защиты от шифровальщика, поскольку шифрует он все доступные для записи файлы пользователю, из под которого запущен.
3. Скачиваем и устанавливаем программку effector saver – выбираем бесплатную редакцию, функционала нам будет достаточно.
Запускаем effector saver > заходим «Сервис – параметры программы»
Выбираем пункт «запустить агент как сервис» > прописываем созданного нами пользователя, как на картинке, точка и слэш обязательны, только вместо Уася, ваша созданная учётная запись и пароль от неё > щёлкаем «инсталлировать NT-сервис».
Также ставим галочку «добавить монитор …» для всех или для одного пользователя, суть сего действия: на панели задач рядом с часиками появится значок, в котором будет отображаться активность нашей программульки или её можно будет вызвать > жмакаем «сохранить».
4. Заходим в «Задачи» > «добавить задачу» > ставим галку «выполнять задачу» > набираем наименование, например «архивирование 1с» > ставим галочку «Включить в архив файлы» > переходим на вкладку «файлы» > нажав многоточие, выбираем путь к нашим базам 1С, которые нужно архивировать, в моём случае, это папка D:\1c_base
Переходим на вкладку «настройка архивов» > выбираем созданную нами папку с правильными правами, в моём примере C:\архив, также здесь можно настроить дублирование, например, в аналогично настроенную папку. > выставляем количество одновременно хранимых копий, подразумевается, что более старые копии будут перезаписываться, например 5 копий.
Переходим во вкладку расписание и настраиваем его как удобно, например раз в день, в 21.00.
Опционально, если есть желание ваши резервные копии можно зашифровать, на вкладке «параметры упаковки», задав пароль своим архивам.
Сохраняем всё это дело и видим в списке созданную нами задачу.
Важное замечание, если вы действительно собрались таким образом архивировать вашу файловую базу данных 1с, то нужно помнить что с базой никто не должен работать на момент её архивирования, иначе вы получите нерабочий архив базы, поэтому нужно настроить расписание, например на ночь, когда гарантированно с ней никто не работает.
Теперь стоит протестировать нашу работу, в списке задач, выбираем нашу, щёлкаем правой кнопкой и жмём «выполнить сейчас», дожидаемся окончания > идём смотреть в нашу папку Архив, видим заархивированный файл > попытаемся его переименовать > увидим сообщение об ошибке, ровно таким же образом вирус-шифровальщик не сможет ничего поделать с нашими архивами. Для полноты теста, распакуйте архив в другую папку и убедитесь в наличии ваших файлов.
5. В нашем примере, у несчастного ИП, есть всего один ноутбук и так как помимо вируса-шифровальщика нас может одолеть такая печаль, как сломавшийся жёсткий диск, можно и нужно озаботиться дублированием архивов на флешку/в облако/синхронизацией куда-либо. Тут уж дело фломастеров и вкуса, я например в таких случаях рекомендую важные архивы(конечно жутко запароленные) дублировать на гугл-драйв/яндекс-диск/майл-диск(кстати печальный сервис у майла, был опыт что они без предупреждения просто удалили всё моё файло – больше не пользуюсь)/ а лучше любой другой облачный сервис. Как это делается – можно почитать в интернетиках, в двух словах: скачиваете клиента, добавляете в папки синхронизации нашу папку с архивами, profit. В случае наступления «страхового случая» с поломкой жёсткого диска, на новом компьютере забираете все данные из облака.
Только клиента для облака придётся выбирать исходя из объёма ваших бекапов, например если ваши бекапы занимают места на 20 гигабайт, то естественно дублировать в облако гугл, имеющего ограничение в 10-15 гигабайт не получится.
Подобным же образом вы можете добавить ещё несколько задач для архивирования рабочего стола, моих документов или любой другой папки – ограничивает вас лишь место на вашем жёстком диске и фантазия. Конечно при наличии нескольких компьютеров и сети, можно бекапить данные друг на друга. Но это уже совсем другая история.
Резюме: таким образом вы имеете, если делать всё согласно примера, 5-ти дневную резервную копию важных данных, не подверженную вирусу-шифровальщику, а в случае дублирования их в облако или на флешку, ещё и защищённую от краха жёсткого диска.
Прочитав сию статью, вы я думаю уже имеете некое представление о разграничении доступа к папкам на уровне пользователей.
Да, почти забыл, дабы избежать вредного воздействия разного рода шифровальщиков в корне, рекомендую поставить бесплатный(в том числе и для коммерческой деятельности) продукт Comodo Internet Security.., да - он задаёт вопросы, да – сложноват, зато вы будете под хорошей защитой. В качестве эксперимента я на виртуальной машине запускал шифровальщик, который успешно был автоматически запущен песочницей комодо виртуально, соответственно совершенно не навредив.
з.ы. Бонусная стори:
В далёкие времена открыл мой друг свою франшизу 1с и подтянул меня как админа.., как то к нам в сервис поступила заявка, мол помогите настроить сеть. Ну ок, едем вдвоём с другом в контору, на входе нас встречает мамин-парень-погромист
и вещает: «ребята, короче не могу настроить роутинг на DeviceName, давайте так, вы щас молча заходите и делаете, а я с вами расплачиваюсь, если кто чего спросит, скажите что мы вместе работаем», мы в непонятках: «ну ок».
Заходим и по ходу разговоров-пьесы понимаем, что парниша то пришёл по авито когда-то и держит контору на обслуживании.., но сам является клиническим идиотом. Тут нежданчиком залетает директор конторы, и начинает орать на ОЙтишнега что-то типа: «сам дебила кусок и друзей поди таких же пригласил». В общем, не выдержали мы такой несправедливости и послали мамкиного хакера подальше, всё объяснили директору и ещё долго держали эту контору за нормальную деньгу.
Прошу прощения, но чукча больше читатель, чем писатель.., надеюсь разложил всё доступно. Если будет интересно распишу в следующий раз как избежать взлома rdp-сервака, упомянутого в посте-бестселлере, хотя чего там писать-то, всего то нужно перенаправление портов и соблюдение пользователями уровня сложности паролей.
Всем удач и успехов.
Готовы принять вызов и засветиться в рекламе? Тогда поехали!
Признайтесь, вы хоть раз, но заходили на Авито. Возможно, продавали старые книги, детские вещи или старинные, но совсем ненужные вам вазы или статуэтки. Когда звезды сходятся, покупка или продажа выходит крайне удачной. Как у наших героев.
1. @MorGott
Почти открыл свой магазин на Авито из детских вещей, из которых вырос его ребенок.
2. @Little.Bit
Привел с Авито третьего в их с женой уютное семейное гнездышко, и теперь они счастливы вместе.
3. @MadTillDead
Собралась с силами и продала на Авито все, что напоминало ей о бывшем.
4. @Real20071
Его жена доказала, что в декрете тоже есть заработок. Причем на любимом деле и Авито.
Своим удачным опытом они поделились в коротких роликах. Теперь ваша очередь!
Снимите видео об успешном опыте продажи, покупки или обмена на Авито, отправьте его нам и получите шанс показать свой ролик всей стране. Представьте, вы можете попасть в рекламу Авито! А еще выиграть один из пяти смартфонов Honor 20 PRO или квадрокоптер. Ну что, готовы принять вызов? Смотрите правила, подробности и ролики для вдохновения тут.
