Java. Вопрос по парсингу.
С библиотекой Jsoup я разобрался, но вот в чем проблема:
Возьмём к примеру заглавную страницу Пикабу. При сохрании в Document попадает только часть ленты. Насколько я понял, когда я руками дохожу до определённой границы, срабатывает скрипт и подгружаются следующие элементы ленты.
Каким образом мне спарсить всю информацию, например, за конкретную дату. Я конечно могу залогиниться и ручками сохранить дохреналион страниц, а потом их обработать, но это не вариант.
F12 > Network - лучший друг любого майнера.
Догружай :)
смотри скрипт, который подгружает ленту
Пробовали рассмотреть мобильную версию? Обычно в них всё проще.
для такого нужно использовать публичный АПИ, если он конечно имеется у Пикабу (раз есть приложения для мобилок, АПИ должен быть, но на сколько он публичный - это вопрос). кстати, можешь попробовать переключиться в настройках на постраничный вывод - сможешь сформировать урлу на следующую страницу и парсить дальше.
@moderator, это разве форум по программированию?!