Как спарсить динамические данные (ajax) на python3
Чтобы спарсить ajax на python необходима страница с ajax и сам python.
Для примера используется mail.ru только не стоит вчитываться в заголовки, и искать в них смысл, иначе можно деградировать.
Задача ясна, решение простое:
1)нужно найти адрес на который посылается запрос на получение динамических данных.
Для этого необходимо перейти на необходимый сайт и
1.открыть вкладку нетворк (через просмотреть код в хроме).
2.Затем нажать на кнопку/ссылку, после которой появляются новые данные.
3.обнаружить в этой вкладке появившийся запрос.
4. Взять из него request URL, headers, и в самом низу параметры (query string parameters).
Далее передаём вышеописанное в сам код (HEADERS = request headers, data = query string parameters)
Куда пихать ссылку или нужно подробнее о парсинге, посмотрите мой пост про парсинг, там всё расписано.
Запустив скрипт, если все параметры и прочее верны, в ответ будут получены те самые данные, которых нет в изначальной верстке, и которые не парсятся по прямой ссылке на страницу.
Кому проще по видео: