Горячее
Лучшее
Свежее
Подписки
Сообщества
Блоги
Эксперты
0 просмотренных постов скрыто
13

Парсер Derpibooru⁠⁠

Товарищи, я недавно спрашивал у вас мнение насчет парсера (А надо ли?). Получив фидбек, я начал разработку программы-парсера, которая умеет скачивать нужные арты по запросу. Далее я покажу пример работы моей программы:


0. Самое главное условие - у вас должен быть доступ к сайту Буры. Если сайт недоступен - используйте ВПН (или напишите мне в телеграм - dmitriy459 - скину рабочий впн)

1. В главном меню выберите необходимый режим. Тут надо объяснить принцип работы программы - сначала генерируются ссылки по вашему запросу и сохраняются в файл urls.txt, а потом программа построчно читает этот файл и скачивает арты. Поэтому если по запросу находится много артов можно сначала их сохранить в файл, закрыть программу и через некоторое время начать скачивать арты из файла.

Далее, программа спросит ключ Derpibooru для скачивания explicit артов. Узнать его можно так:

В данном примере ключ 0123456789-1011 (с дефисом)
2. Далее, введите нужный запрос. Он может быть сложным: со скобками,!, &&, || . Для примера я использовал запрос python.

3. Затем, программа спросит путь до папки, куда надо сохранять арты. (Вы в любой момент можете прервать процесс получения ссылок и перезапустить программу, выбрав второй пункт в главном меню)

4. Выбираем с какого арта начать скачивание

И начинается скачивание. Арты нумеруются с нулевого.

После того, как программа скачает все арты, она выведет сообщение:

Несмотря на то, что счет дошел до 49 (особенности многопоточного приложения), все 78 артов успешно скачаны, в чем мы и убеждаемся, открыв папку:

Вот, в принципе и всё. Скачать программу можно тут - https://yadi.sk/d/vtMbxxeMJ7cVeQ .

С нетерпением жду фидбека)

Показать полностью 9
[моё] My Little Pony Derpibooru Парсер Длиннопост
19
17

А надо ли?⁠⁠

Товарищи, у меня в голове мелькает идея скачать все арты с Дерпибуру и других подобных сайтов в хронологическом порядке (от самого первого до двухмиллионного) и оформить все эти арты в виде торрента. Очень хочется узнать Ваше мнение: стоит ли вообще делать это или у всех есть нужные коллекции и никому эти гигабайты хронологических артов не нужны? Жду от Вас предложений / идей по этому поводу))

Ниже приведен пример нумерации и общий вид артов:

А надо ли?
[моё] My Little Pony Опрос Derpibooru DeviantArt
97
Посты не найдены