23

Что бы такое запарсить .. ??

Добрый день всем :)

Введение:


Не так давно столкнулся с ситуацией, которая в принципе натолкнула меня на написание этой программы (если это можно так назвать и вообще если можно назвать меня программистом)

Я большой любитель компьютерного железа и частенько закупаю в одном из желтых магазинов у дома с эмблемой инопланетянина. Но копаться на сайте мне порой лень либо времени нет - не беда , прайс лист есть , сортирую по ценнику и поехал скупать , но нет , с недавних пор dns убрали прайс листы , так же на сайте всячески используются подгруздки данных через js процедуры .

Решил найти в интернете парсер , вся информация которая есть либо 2018-19 года с вопросами "а что то не получается " или "больше не актуально , не работает" а так хотелось найти рабочий парсер на Python .


Не так давно я начал проходить тестирование UI интерфейсов и решил с помощью Selenium на Python реализовать парсер.

2 часа мучений и добиваемся такого результата :


Что бы такое запарсить .. ??

Ссылка на код :

https://github.com/tagunzet/selenium_dnsshop_parser



Теперь вопрос , есть идея такая , создаю web сервис на Flask/Django и создаю микро-сервис который будет помогать пользователю подобрать технику по его параметрам .

Например мы хотим подобрать телефон , выбираем критерии к примеру :


Пол

Возраст

Для каких целей

Цена

И т.д.


Далее получаем список критериев на основе чего делаем подбор техники и советуем пользователю .


Плюсы сервиса : Если это будет кому то нужно кроме меня , то это поможет человеку без обращения за помощью к своим близким / дальним знакомым / родственникам получить помощь в подборе техники .


Конечно можно на первое время сделать подбор на основе ручного анализа (через словари к примеру)


А по мере развития уже автоматизировать процесс через обучение.

Ну как, стоит ли?

Правила сообщества

Публиковать могут пользователи с любым рейтингом. Однако!


Приветствуется:

• уважение к читателям и авторам

• конструктивность комментариев

• простота и информативность повествования

• тег python2 или python3, если актуально

• код публиковать в виде цитаты, либо ссылкой на специализированный сайт


Не рекомендуется:

• допускать оскорбления и провокации

• распространять вредоносное ПО

• просить решить вашу полноценную задачу за вас

• нарушать правила Пикабу

0
Автор поста оценил этот комментарий

Почему про scrapy никто ничего пишет? Ведь это лучшая вещь дла парсинга

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

Не юзал , ознакомлюсь на досуге ...

Автор поста оценил этот комментарий

Для полноценного подбора :))

Иллюстрация к комментарию
раскрыть ветку (1)
Автор поста оценил этот комментарий

Ну а в целом этот критерий можно и не указывать , в целом просто нужен будет список входных параметров , на которых будут крутиться выходные данные .

1
Автор поста оценил этот комментарий

Цвет клавиатуры есть практически в любом каталоге-аггрегаторе. И не нужно ничего парсить, магазины сами шлют информацию туда. Я имел в виду, что зачем критерий "пол" для клавиатуры?

раскрыть ветку (1)
Автор поста оценил этот комментарий

Для полноценного подбора :))

Иллюстрация к комментарию
показать ответы
1
Автор поста оценил этот комментарий
Как ты свяжешь критерий пол с критерием телефон?
раскрыть ветку (1)
Автор поста оценил этот комментарий

Это интересный вопрос , как вариант можно сделать процентное соотношение , или же скачать датасет статистики покупок с али / рф магазинов которые есть в открытом доступе и тогда пол будет иметь значение . Пока что так , образно из головы :)