13

Парсер Derpibooru

Товарищи, я недавно спрашивал у вас мнение насчет парсера (А надо ли?). Получив фидбек, я начал разработку программы-парсера, которая умеет скачивать нужные арты по запросу. Далее я покажу пример работы моей программы:


0. Самое главное условие - у вас должен быть доступ к сайту Буры. Если сайт недоступен - используйте ВПН (или напишите мне в телеграм - dmitriy459 - скину рабочий впн)

1. В главном меню выберите необходимый режим. Тут надо объяснить принцип работы программы - сначала генерируются ссылки по вашему запросу и сохраняются в файл urls.txt, а потом программа построчно читает этот файл и скачивает арты. Поэтому если по запросу находится много артов можно сначала их сохранить в файл, закрыть программу и через некоторое время начать скачивать арты из файла.

Далее, программа спросит ключ Derpibooru для скачивания explicit артов. Узнать его можно так:

В данном примере ключ 0123456789-1011 (с дефисом)
2. Далее, введите нужный запрос. Он может быть сложным: со скобками,!, &&, || . Для примера я использовал запрос python.

3. Затем, программа спросит путь до папки, куда надо сохранять арты. (Вы в любой момент можете прервать процесс получения ссылок и перезапустить программу, выбрав второй пункт в главном меню)

4. Выбираем с какого арта начать скачивание

И начинается скачивание. Арты нумеруются с нулевого.

После того, как программа скачает все арты, она выведет сообщение:

Несмотря на то, что счет дошел до 49 (особенности многопоточного приложения), все 78 артов успешно скачаны, в чем мы и убеждаемся, открыв папку:

Вот, в принципе и всё. Скачать программу можно тут - https://yadi.sk/d/vtMbxxeMJ7cVeQ .

С нетерпением жду фидбека)

My Little Pony

70.5K постов3.3K подписчиков

Правила сообщества

1. Указывайте правильные, релевантные теги. [как?]

2. Не публикуйте гримдарк и тому подобное в комментариях к постам без соответствующих тегов.

3. Здесь только SFW-контент. Для NSFW-контента - MLP After Dark

4. Воздержитесь от хейтерства к тематике mlp в сообществе. Duh.

5. В случае спама\нарушений аккаунтами-однодневками может быть введен небольшой кратковременный минимум рейтинга для создания постов.

1
Автор поста оценил этот комментарий

Предметно с исходниками я помочь не могу, я не пишу на Питоне. Я лишь поинтересовался, будут ли они доступны где-нибудь.

раскрыть ветку (1)
1
Автор поста оценил этот комментарий
А какая у вас операционная система, если не секрет?
показать ответы
1
Автор поста оценил этот комментарий

Вам лучше через комментарии.

раскрыть ветку (1)
1
Автор поста оценил этот комментарий
Ну я бы хотел исходный код с вами обсудить...Ибо есть слабые места, скажем так...
показать ответы
1
Автор поста оценил этот комментарий

Ну, новый я ещё не трогал, а под старый писал свои биндинги (https://github.com/octet-stream/dinky)

Потестить я вашу программу не могу, потому что она только под винду собрана, а я ею не пользуюсь уже лет, наверное, 8

раскрыть ветку (1)
1
Автор поста оценил этот комментарий
Как с вами можно связаться, помимо комментариев на Пикабу?
показать ответы
1
Автор поста оценил этот комментарий

Ну я ответы на свои вопросы получил, спасибо.

раскрыть ветку (1)
1
Автор поста оценил этот комментарий
Но мне хотелось бы улучшить программу. Вы сильно разбираетесь в API derpibooru?
показать ответы
1
Автор поста оценил этот комментарий

Вообще, по желанию разработчика. Но можно было бы хоть во внутрянке поковыряться.

К слову, в посте сказано про парсер, а у буры вообще-то есть API (https://derpibooru.org/pages/api), и есть биндинги для его, в том числе на питоне, и можно для работы с бурой всё это добро использовать, вместо парсера.

раскрыть ветку (1)
1
Автор поста оценил этот комментарий
DerPyBooru используется. У вас есть телеграм? Или напишите мне в тг, обсудим предметно.
показать ответы
1
Автор поста оценил этот комментарий

А исходников не будет?

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

А надо? Да и там нешикарный код(

показать ответы
2
Чашка
Автор поста оценил этот комментарий

На чём хоть написано? А то там exe в архиве, что не особо кроссплатформенно и вообще

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

На python'е. Ну и расчет под пользователей винды, которых большинство...

показать ответы
0
Автор поста оценил этот комментарий

я бы посоветовал перезалить пост без последнего скрина или поставить клубничку

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Я ж не нарочно) Это поиск артов такой...коварный))

0
Автор поста оценил этот комментарий

я бы посоветовал перезалить пост без последнего скрина или поставить клубничку

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

@moderator, можете удалить самое последнее изображение из поста?

Темы

Политика

Теги

Популярные авторы

Сообщества

18+

Теги

Популярные авторы

Сообщества

Игры

Теги

Популярные авторы

Сообщества

Юмор

Теги

Популярные авторы

Сообщества

Отношения

Теги

Популярные авторы

Сообщества

Здоровье

Теги

Популярные авторы

Сообщества

Путешествия

Теги

Популярные авторы

Сообщества

Спорт

Теги

Популярные авторы

Сообщества

Хобби

Теги

Популярные авторы

Сообщества

Сервис

Теги

Популярные авторы

Сообщества

Природа

Теги

Популярные авторы

Сообщества

Бизнес

Теги

Популярные авторы

Сообщества

Транспорт

Теги

Популярные авторы

Сообщества

Общение

Теги

Популярные авторы

Сообщества

Юриспруденция

Теги

Популярные авторы

Сообщества

Наука

Теги

Популярные авторы

Сообщества

IT

Теги

Популярные авторы

Сообщества

Животные

Теги

Популярные авторы

Сообщества

Кино и сериалы

Теги

Популярные авторы

Сообщества

Экономика

Теги

Популярные авторы

Сообщества

Кулинария

Теги

Популярные авторы

Сообщества

История

Теги

Популярные авторы

Сообщества