Гайд: как не облажаться с компанией на аутсорсе по парсингу
Если вы решили заказать парсинг данных у аутсорс-компании, то вот наш неофициальный, но очень полезный гайд из 5 пунктов. Он спасёт вас от фейспалма и плохого результата, а нас — от слёз project-менеджера.
Не путайте услуги парсинга с гадалкой
Запросы в духе:
«Можно ли по номеру карты узнать, есть ли у человека брат или сестра?»
«Определите, мошенник ли этот продавец на Авито»
«Прочитайте чужие сообщения, но чтобы никто не узнал»
— это не к нам. Кстати, это реальные запросы.
С некоторыми можно пойти к гадалке, но вряд ли она вам скажет что-то внятное.
Не просите «срочно в течение дня»
Мы, конечно, можем сделать и такие задачи – например, выгрузить готовые базы данных за пару минут. Но некоторые сайты требуют больше времени на сбор информации, потому что защищаются от парсинга. Ещё скорость парсинга зависит от того, как чувствует себя сервер сайта – бывает, что он сам по себе медленно работает.
Для всего нужны свои решения.
Также на скорость влияет объём данных. Нужно сто товаров? Сделаем быстро. Нужен миллион товаров? Придётся подождать.
Не игнорируйте ТЗ, если не хотите косяков
Что должно быть в техзадании:
– Ссылки (откуда парсим).
– Какие данные нужны (цены, отзывы, контакты).
– Частота (разово или мониторинг).
– Формат выгрузки (Excel, CSV, JSON).Пример плохого ТЗ:
— «Нам нужны все данные с интернета»Результат такого ТЗ – файл с названием «Удачи.txt».
Не исчезайте после получения данных
Нам важно знать, что всё ок. Иначе мы будем считать, что вас похитили конкуренты, и начнём расследование (читай: спамить в личку).
Лучше сразу проводите оплату
Иначе наш аккаунт-менеджер начнёт слать вам сообщения и мемы «Ну как там с деньгами?». Предпоследняя стадия – гифки с грустным котиком.
Если хотите, чтобы парсинг прошёл гладко, просто доверьтесь Parsing Master.
