С библиотекой Jsoup я разобрался, но вот в чем проблема:
Возьмём к примеру заглавную страницу Пикабу. При сохрании в Document попадает только часть ленты. Насколько я понял, когда я руками дохожу до определённой границы, срабатывает скрипт и подгружаются следующие элементы ленты.
Каким образом мне спарсить всю информацию, например, за конкретную дату. Я конечно могу залогиниться и ручками сохранить дохреналион страниц, а потом их обработать, но это не вариант.
для такого нужно использовать публичный АПИ, если он конечно имеется у Пикабу (раз есть приложения для мобилок, АПИ должен быть, но на сколько он публичный - это вопрос). кстати, можешь попробовать переключиться в настройках на постраничный вывод - сможешь сформировать урлу на следующую страницу и парсить дальше.
Я конечно всё понимаю, но ковнокодеры Максимки (или кто там админ) делают невероятное :)
http://pikabu.ru/api/post/4591456/comments
прикольно, правда не понятно что это за посты (свежее, горячее или ещё что) и как их фильтровать (по датам, постранично и т.п.) и возвращает только текст (без картинок и т.п.)
вот кстати ссылка на rss-ленту - http://pikabu.ru/xmlfeeds.php?cmd=popular
осталось тоже понять, можно там как-то фильтровать или нет)))
всё равно без картинок оно мало полезно :(
хочу нормальный АПИ на Пикабу!
кстати, а за что может прилитеть бан?
нужно логинится, а этого делать не хочу, ибо бан может прилететь
это какое-то правило есть или это просто "а вдруг"?
