23

Что бы такое запарсить .. ??

Добрый день всем :)

Введение:


Не так давно столкнулся с ситуацией, которая в принципе натолкнула меня на написание этой программы (если это можно так назвать и вообще если можно назвать меня программистом)

Я большой любитель компьютерного железа и частенько закупаю в одном из желтых магазинов у дома с эмблемой инопланетянина. Но копаться на сайте мне порой лень либо времени нет - не беда , прайс лист есть , сортирую по ценнику и поехал скупать , но нет , с недавних пор dns убрали прайс листы , так же на сайте всячески используются подгруздки данных через js процедуры .

Решил найти в интернете парсер , вся информация которая есть либо 2018-19 года с вопросами "а что то не получается " или "больше не актуально , не работает" а так хотелось найти рабочий парсер на Python .


Не так давно я начал проходить тестирование UI интерфейсов и решил с помощью Selenium на Python реализовать парсер.

2 часа мучений и добиваемся такого результата :


Что бы такое запарсить .. ??

Ссылка на код :

https://github.com/tagunzet/selenium_dnsshop_parser



Теперь вопрос , есть идея такая , создаю web сервис на Flask/Django и создаю микро-сервис который будет помогать пользователю подобрать технику по его параметрам .

Например мы хотим подобрать телефон , выбираем критерии к примеру :


Пол

Возраст

Для каких целей

Цена

И т.д.


Далее получаем список критериев на основе чего делаем подбор техники и советуем пользователю .


Плюсы сервиса : Если это будет кому то нужно кроме меня , то это поможет человеку без обращения за помощью к своим близким / дальним знакомым / родственникам получить помощь в подборе техники .


Конечно можно на первое время сделать подбор на основе ручного анализа (через словари к примеру)


А по мере развития уже автоматизировать процесс через обучение.

Ну как, стоит ли?

Правила сообщества

Публиковать могут пользователи с любым рейтингом. Однако!


Приветствуется:

• уважение к читателям и авторам

• конструктивность комментариев

• простота и информативность повествования

• тег python2 или python3, если актуально

• код публиковать в виде цитаты, либо ссылкой на специализированный сайт


Не рекомендуется:

• допускать оскорбления и провокации

• распространять вредоносное ПО

• просить решить вашу полноценную задачу за вас

• нарушать правила Пикабу

0
Автор поста оценил этот комментарий

Почему про scrapy никто ничего пишет? Ведь это лучшая вещь дла парсинга

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

Не юзал , ознакомлюсь на досуге ...

Автор поста оценил этот комментарий

Для полноценного подбора :))

Иллюстрация к комментарию
раскрыть ветку (1)
Автор поста оценил этот комментарий

Ну а в целом этот критерий можно и не указывать , в целом просто нужен будет список входных параметров , на которых будут крутиться выходные данные .

1
Автор поста оценил этот комментарий

Цвет клавиатуры есть практически в любом каталоге-аггрегаторе. И не нужно ничего парсить, магазины сами шлют информацию туда. Я имел в виду, что зачем критерий "пол" для клавиатуры?

раскрыть ветку (1)
Автор поста оценил этот комментарий

Для полноценного подбора :))

Иллюстрация к комментарию
показать ответы
1
Автор поста оценил этот комментарий
Как ты свяжешь критерий пол с критерием телефон?
раскрыть ветку (1)
Автор поста оценил этот комментарий

Это интересный вопрос , как вариант можно сделать процентное соотношение , или же скачать датасет статистики покупок с али / рф магазинов которые есть в открытом доступе и тогда пол будет иметь значение . Пока что так , образно из головы :)

Темы

Политика

Теги

Популярные авторы

Сообщества

18+

Теги

Популярные авторы

Сообщества

Игры

Теги

Популярные авторы

Сообщества

Юмор

Теги

Популярные авторы

Сообщества

Отношения

Теги

Популярные авторы

Сообщества

Здоровье

Теги

Популярные авторы

Сообщества

Путешествия

Теги

Популярные авторы

Сообщества

Спорт

Теги

Популярные авторы

Сообщества

Хобби

Теги

Популярные авторы

Сообщества

Сервис

Теги

Популярные авторы

Сообщества

Природа

Теги

Популярные авторы

Сообщества

Бизнес

Теги

Популярные авторы

Сообщества

Транспорт

Теги

Популярные авторы

Сообщества

Общение

Теги

Популярные авторы

Сообщества

Юриспруденция

Теги

Популярные авторы

Сообщества

Наука

Теги

Популярные авторы

Сообщества

IT

Теги

Популярные авторы

Сообщества

Животные

Теги

Популярные авторы

Сообщества

Кино и сериалы

Теги

Популярные авторы

Сообщества

Экономика

Теги

Популярные авторы

Сообщества

Кулинария

Теги

Популярные авторы

Сообщества

История

Теги

Популярные авторы

Сообщества

Недвижимость и ремонт

Теги

Популярные авторы

Сообщества