С библиотекой Jsoup я разобрался, но вот в чем проблема:
Возьмём к примеру заглавную страницу Пикабу. При сохрании в Document попадает только часть ленты. Насколько я понял, когда я руками дохожу до определённой границы, срабатывает скрипт и подгружаются следующие элементы ленты.
Каким образом мне спарсить всю информацию, например, за конкретную дату. Я конечно могу залогиниться и ручками сохранить дохреналион страниц, а потом их обработать, но это не вариант.
тогда итерируйся пока не поменяется дата поста не поменяется, в каждой итерации уже распаршивай и вытягивай теги. работать надо с подготовленными голыми данными, а не с html
во-первых, почему залогинившись? во-вторых, хранить надо не сырые данные, а уже распаршенные. в-третьих, а какая вообще задача?
а теперь отвечая на твой вопрос - параллельные стримы в java8? правда я так когда-то и сайт один положил. но думаю для пикабу это не должно быть большой нагрузкой (на худой конец паузу сделать можно в 1,10,20 миллисекунд).
что-то типа такого:
Stream.iterate( 0, (i) -> i+1 ).limit( 10 ).parallel().forEach( (i) -> {
System.out.println(i);
} );
вместо вывода в консоль надо сделать загрузку и сохранение контента
для такого нужно использовать публичный АПИ, если он конечно имеется у Пикабу (раз есть приложения для мобилок, АПИ должен быть, но на сколько он публичный - это вопрос). кстати, можешь попробовать переключиться в настройках на постраничный вывод - сможешь сформировать урлу на следующую страницу и парсить дальше.
проблема получить следующие посты, за первой страницей. вторую страницу можно получить таким макаром - http://pikabu.ru/new?page=2
но мне было бы интереснее получать посты и комменты в каком-нибудь сыром виде - json, xml
всё равно без картинок оно мало полезно :(
хочу нормальный АПИ на Пикабу!
кстати, а за что может прилитеть бан?
нужно логинится, а этого делать не хочу, ибо бан может прилететь
это какое-то правило есть или это просто "а вдруг"?
прикольно, правда не понятно что это за посты (свежее, горячее или ещё что) и как их фильтровать (по датам, постранично и т.п.) и возвращает только текст (без картинок и т.п.)
вот кстати ссылка на rss-ленту - http://pikabu.ru/xmlfeeds.php?cmd=popular
осталось тоже понять, можно там как-то фильтровать или нет)))
