Crawler for linux?

Доброго дня!

Появилась задача парсинга данных со сложных страниц с динамическими данными.

API нет и не предвидется ближайшее время у сайта.


Хотел было на Lazarus + FPCEF3 реализовать, но покапав поглубже понял, что

1. Очень скудный инструментарий. Хотя можно обойти местами.

2. на Ubuntu горько смотреть на скомпилированный результат


Юнити мне как родной, но под него не видел вменяемых браузеров

на JavaScript видел crawler'ы но тормоза этих систем сильно останавливают.

Хотелось бы нативное некое решение.


Задачи две

1. Нужен хороший доступ к дому чтобы листнеры хотя бы на клик элементов реализовать

2. Кросс-платформенность


Подскажите, пожалуйста путь.

Возможно готовый к адаптации проект где-то скачать можно?


PS Гуглить конечно же умею.

Crawler for linux?

GNU/Linux

1.2K поста15.6K подписчика

Правила сообщества

Все дистрибутивы хороши.

Будьте людьми.

Вы смотрите срез комментариев. Показать все
0
Автор поста оценил этот комментарий

Сам напиши.

раскрыть ветку (6)
Автор поста оценил этот комментарий

Так и хочется написать. Стек технологий определяю.

раскрыть ветку (5)
2
Автор поста оценил этот комментарий
PhantomJS? Мне обычно хватало scrapy, или нужно снимать прямо с js-сгенеренные данные?
ещё комментарии
0
Автор поста оценил этот комментарий

если хотите сами писать и ЯП не важен, то можно сделать свой велосипед к примеру на golang + https://github.com/PuerkitoBio/goquery (вроде все необходимое в модуле есть ). Код будет кроссплатформенным и быстрым.

Автор поста оценил этот комментарий

Я сам не особо шарю, просто пара знакомых красноглазых бородачей пишут все себе сами по надобности, что-то ворча при этом. Иногда выглядит чуть пугающе:)

Вы смотрите срез комментариев. Чтобы написать комментарий, перейдите к общему списку