Как программист квартиру снимал продолжение или ...
Друзья! Я очень рад и удивлен одновременно, что моя первая статья навела шороху здесь, на Пикабу)
Для тех, кто не в курсе, советую ознакомиться с первой частью, про то, как я и мой сосед по маёвскому общежитию, вчерашние студенты, невольно встали на путь борьбы с посредниками по аренде недвижимости и что из этого получилось
http://pikabu.ru/story/kak_programmist_kvartiru_snimal_ili__...
А теперь к делу.
В первой части был рассказан общий принцип работы недобросовестных риелторов и мошенников на досках объявлений.
В этой части речь пойдет о реальных методиках, которые применяются для того, чтобы сбить честного квартиросъемщика с толку, и как мы с такими "трюками" боремся, дабы выявить честных собственников из общей массы посредников.
В общем случае, агентские объявления и объявления мошенников оформлены нарочито качественно: у объявления есть фотография и не одна, заполнены все необходимые поля параметров, описание объявления очень подробное и на первый взгляд кажется, что публикующий приложил не мало усилий для этого, подошел к делу с толком.
Если не знать одно "но": в случае с мошенниками и агентами, оформляет объявление, как правило, специальный робот, по заранее подготовленному шаблону.
Именно поэтому простейший текстовый анализ выявляет сильную схожесть описаний объявлений у казалось бы совершенно разных квартир и продавцов(иначе говоря, наш баянометр орёт=)).
Однако было бы слишком наивно выявлять собственников только лишь по тому, как оформлено объявление, поэтому в нашей системе применяется комплексный подход, в котором мы анализируем:
телефон, текст описания, цену, адрес, фотографии, параметры объявления(например: этаж, материал стен, год постройки и т.д.) и даже количество просмотров у объявления.
Кроме этого, для того чтобы при анализе делать правильные выводы необходимо знать методики и трюки, которые применяют агенты и мошенники,
ниже я приведу краткое описание самых популярных трюков, замеченных на известной доске объявлений.
Эти простые советы позволят вам без каких-либо технических средств отсекать большой "кусок" посредников при поиске жилья.
1. "Идеальное объявление". Трюк стар как мир, основан на том, что каждый человек верит в чудо(или халяву, кому как удобно), верит в то, что сегодня реально снять квартиру в центре столицы с идеальным ремонтом меньше чем за 25 000 рублей, без комиссии, без залога(без смс, без регистрации, ага).
Вот один из наглядных примеров с известной доски объявлений.
Как правило, такой трюк рассчитан на недавно приехавших в Москву людей, иностранцев, туристов, которые еще не успели понять что к чему, опытный человек на такое не поведется.
Мы в свою очередь для того чтобы выявить такое объявление используем накопленные статистические данные.
Простым языком, наша система знает некоторую “среднюю цену”(медиану) аренды жилья с конкретными параметрами в том или ином районе города в данный момент, а также использует (пока еще небольшую) историю изменения этой “средней цены”.
2. "Как в кино!". Трюк очень похож на описанный в 1 пункте, применяется для привлечения внимания. По сути такое же "вкусное" объявление, только по цене и параметрам, как правило, близко к реальным.
Разница лишь в том, что фотографии объявления просто тупо "левые" картинки из интернета, часто любят вставлять картинки отрендеренной(отрисованной) 3D модели с каких-нибудь зарубежных сайтов интерьеров и проч.
"Фотографии" объявления получаются яркие, красочные, как в кино!
Простой поиск по этой картинке в google
Если видите что-то похожее - попробуйте выполнить поиск по картинке в любом из поисковиков.
3. "Собственник, агентам не звонить!!". Что удивительно, в последнее время частенько вот прямо так (с двумя восклицательными знаками в конце) стали писать в описании, якобы собственники.
Трюк основан на том, чтобы замаскировать агентское объявление под объявление собственника: публикуется объявление в разделе "частные", пишется, что без комиссии(иногда даже и без залога) заезжай и живи!
Однако, позвонив по такому объявлению оказывается, что продавец это агент(или брат,сват,тесть,дядь=)) и квартиру "вот только что уже сняли, но есть другая квартира, такая же хорошая".
У нас был комичный случай, когда наша программка обнаружила такое вот объявление спустя 10 секунд после его фактической публикации на известной доске объявлений и агент от неожиданности не очень складно рассказывал нам свою историю про "вот-вот только что перед вами звонили и сняли", и недоговорив, просто бросил трубку.
Обнаружить такое объявление в ручную довольно муторное занятие, для этого необходимо проверить был ли номер продавца использован где-то ранее и где используется сейчас.
Мы в своей системе используем предположение о том, что агент на один и тот же номер публикует больше одного жилья примерно в одно и то же время.
Бывают конечно случаи когда собственник сдает сразу несколько своих квартир в Москве, но мы с такими мажорами не водимся (шутка, мы обрабатываем и этот случай тоже).
4. "Меченные объявления". Легче всего объяснить, что это за зверь картинкой(часть номера скрыта мной):
Такие объявления, якобы защищены от копирования (к тому же телефон на картинке бросается в глаза), однако зачастую на картинках указан номер уже "раскрытого" агента, а в графе номер продавца указан подставной/левый новый номер.
Это очень интересный случай. Дело в том, что на известном сайте объявлений регистрация происходит по номеру телефона. Такие вот агенты/мошенники применяют специальные программы, смысл которых создавать каждое новое объявление с новым(подставным) номером и соответственно с новым продавцом, при этом на картинке такие программы указывают реальный номер агента. Стоит добавить, что схема интересна еще и тем, что даже позвонив по подставному номеру вы попадете все равно к агенту - достигается это правильной настройкой перенаправления звонка.
Поэтому если видите такое объявление сначала сверьте номер на картинке с номером указанным в номере продавца. Если номера разные - перед вами агент, а возможно и мошенник.
Это тот самый случай когда ручная обработка проще автоматической. В своей системе для выявления таких случаев мы используем оптическое распознавание текста на картинках (OpenCV модуль с обученным фильтром Neumann - Matas + Tesseract).
Распознав текст с картинки, система направляет его в модуль лексического анализа, откуда оно идет уже дальше по конвейеру обработки и уже в конце ему выносится вердикт.
5. "Новые номера". Это тоже самое что 4 случай, только без меченных картинок, просто новый "левый" номер, который перенаправляет вас на агента/мошенника.
Пожалуй это самый неприятный случай из описанных. Он тяжело распознаваем, как в ручном режиме так и в автоматическом.
Как мы это реализовали у себя, с вашего позволения оставлю в тайне.
Теперь хотелось бы сказать пару слов о нашей системе. Наш бесплатный сервис находит объявления от собственников, позволяя снять жилье без посредников и лишних переплат.
На данный момент мы завершили переезд сервера в Azure (почему именно туда, мы расскажем в следующей статье), однако часть сервисов по-прежнему развёрнуты в нашем "дата-центре", за которым пристально приглядывает наш пушистый заведующий=).
А так наш заведующий проводит ревизию кода проекта)
На данный момент мы обрабатываем данные по Москве и частично Московской области. Данные по Питеру находятся в процессе анализа.
Буквально на днях добавили поиск жилья на карте. Надеемся, что упростили процесс поиска для тех, кто планировал найти жилье в МО.
В остальном у нас всё по-прежнему, заходите, и выбирайте жилье без посредников
(кодовое слово: трупикабу)
В заключении хотелось бы сказать огромное спасибо пикабушникам, которые, работая с нашим сайтом, пользовались сервисом жалоб на объявления, вы - настоящие тру, друзья!
Я сам вдохновлен успехом пикабу и тем как это сообщество само по себе является этаким "санитаром леса", регулятором и модератором содержимого сайта.
К сожалению, пост и так получился длинным и не получилось осветить как следует технические моменты системы.
В следующем посте я постараюсь рассказать детально о стеке технологий и как все устроено с технической точки зрения.
P.S. Внимание! Загадка для внимательных. (Разгадка кроется в самих постах)
В начале поста я упомянул, что мы анализируем количество просмотров у объявлений, чтобы выявить агента или мошенника.
Вопрос: Как мы это делаем?
Тому кто ближе всего будет к разгадке отправим нашего заведующего "дата-центром"(шутка).
Удачных поисков!
Правильным путем идете товарищи! Надеюсь доживу до того прекрасного дня, когда подобное будет не только в Мск Питер, но и в других городах.
Помню, случился у меня в жизни печальный случай. Приехал на учёбу в Харьков и нужно было снять квартиру. Решили с другом снимать вдвоём (чтобы дешевле) и были очень расстроены тем как встретил незнакомый город. Обзвонив за несколько дней больше 30 объявлений, пришли к выводу, что в городе работает где-то 4 конторки (у каждой свой район). Некоторые агенты палилилсь и говорили, что я уже всех обзваниваю. Что примечательно, с каждым звонком агент называет разные имена, при том, что голос тот же. Еще они часто меняются - сначала трубку берёт мужчина, а в следующий раз уже женщина. По одному и тому же номеру, трубку брали 2 разные женщины и один мужчина.
Договорившись о встрече, мы выехали с сумками на указанное место. Но в этом месте не было их конторы, это был лишь увлекательный отправной пункт. Дальше, каждые пару минут приходилось набирать агента дабы узнать следующий "чекпоинт". И так раз 15, мы ходили от магазина до магазина, иногда кругами и наконец-то, измученные жарой и весом сумок, дошли до "офиса". Этот офис находился в магазине с вывеской "Надгробные плиты из гранита". Зайдя в маленькую комнатушку, увидел 9 лежащих мобилок на столе агента. Да и встретил нас не мужчина (который устроил нам экскурсию), а девушка. Сначала задала крайне идиотский вопрос - "по какой цене хотите снять квартиру?" (при том, что мы с ней же договаривались насчет определенной квартиры час назад). [Судя по её тону, ей по барабану было какую цену писать в конракт]. Ну мы назвали ей цену, а она предложила нам совсем левый вариант. Далее, дала нам контракт, который необходимо подписать, оплатить квартиру и поехать вселяться. Только тогда дошло, зачем агент водил нас кругами по городу - дабы мы устали и не могли вникнуть в текст контракта. И это сработало, мы, быстро просмотрев те 2 листика, оплатили по 750 грн. за месяц проживания в квартире, которой (как позже оказалось) не существовало.
Нам сказали, что вселиться необходимо до обеда (тогда было уже 11 часов) и дали номер хозяйки (правда на листике написали - Алина и Андрей и номер второго не дали). Мы приехали как раз вовремя (в 11:40) и набрали хозяйку. Минут 20 не брала трубку и взяла только когда начался обед. Сказала, что попробует отпросится и перезвонит через 15 минут. Не перезвонила, в итоге мы сами её набрали. Сказала, что её не отпустили, посему нам надо ждать окончания обеда и набрать её. Просидели 2 часа на лавочке и набрали её. В ответ на наши возмущения, хамовито ответила, чтобы мы ждали когда она вернется с работы.
В итоге мы просидели с сумками на лавочке до 7 вечера. Пока сидели, с нами завела разговор местная жительница и мы узнали, что именно в этом доме нет однокомнатных квартир. Хозяйка трубку не брала, созвонились с агентом и та сказала, что позвонит ей и узнает. Когда узнала, выяснилось, что хозяйка типо сильно устала и поехала домой. На вопрос "почему нас не мог вселить Андрей?" - тишина. Мы потребовали возвращение денег, а агент в попыхах стала нам другую квартирку искать. Спустя пол часа накидала нам 5 номеров (взятых из левых объявлений), из которых подошел только один. Агент сказала, чтобы мы поехали по тому адресу, переночевали и завтра в обед приехали вселяться. При том, она уточнила, что если мы снимем (по выбранному номеру) квартиру, она вернет часть суммы (с учетом, если вариант дешевле). Мы той ночью вселились, заплатили и на следующий день стали звонить агенту. Она сказала, что растрогла наш контракт, аргументируя это тем, что не может ждать и то, что мы уже сняли квартиру. Мы посетовали на её неправомерные действия и потребовали возвращение денег. Она грит "Без проблем, я подам заявку в бухгалтерию". Хотя какая к черту бухгалтерия, если у них офис состоит из двух комнатушек и все деньги лежат в ящике стола! После чего, добавила, что заявку будут рассматривать 2 недели, после чего перешлют на мою карточку. Как ни странно, наш контракт действителен всего 2 недели и по его истечению мы уже не сможем вернуть деньги. + в контракте, где агент вписала стоимость квартиры за месяц, было написано "плата за услуги компании". То-есть, по закону, мы заплатили просто за то, чтобы они нам нашли квартиру.
Мне кажется просмотры можно посмотреть так
http://image.prntscr.com/image/2bfa6cb6504440158f006df54e128...
Респект за проект!
Только с лингвистическим анализом имейте ввиду, что добротное годное описание могут использовать и простые арендодатели в качестве шаблона (я так сдавал). Было лень самому придумывать описание, взял с другого объявления и поменял цифры, ненужное зачеркнул и т.п.