Товарищи, у меня в голове мелькает идея скачать все арты с Дерпибуру и других подобных сайтов в хронологическом порядке (от самого первого до двухмиллионного) и оформить все эти арты в виде торрента. Очень хочется узнать Ваше мнение: стоит ли вообще делать это или у всех есть нужные коллекции и никому эти гигабайты хронологических артов не нужны? Жду от Вас предложений / идей по этому поводу))
Ниже приведен пример нумерации и общий вид артов:
Идея хорошая, но там откровенного мусора очень дофига, едва ли не треть. И каждый считает мусором разное, в общем-то, а на всю хрень оттуда диска жалко, честно говоря. Плюс, там удобный поиск по тегам, как его воспроизвести локально? Без него печально всё будет.
Бура славится тем, что там есть теги и оценки.
Можно прост собрать необходимое тегирование с высасыванием артов под тегом и определённой оценкой.
Кстати к пикчам (скачанным) тоже можно подпихивать теги, отчего в огромной кипе пикч можно будет искать так же по тегам всё.
Во жопа, ты комент отредачил когда я всё написал!
Давайте тогда по тегам: я могу распихать по персонажам и применить тег safe. Такой вариант пойдет?
Кстати к пикчам (скачанным) тоже можно подпихивать тегиЗадача только кажется простой. В итоге всё сведётся к локально поднятой буре. Тогда уж проще как-то у них всю базу высасывать в разумном формате.
Во жопа, ты комент отредачил когда я всё написал!Да, я такой. Но я только переформулировал его.
В целом я за, но моя позиция: нужно тащить все метаданные и тащить так, чтобы локально можно было поднять движок под них.
Просто картинок с парой тегов на каждой будет для этого мало. Если уж сливать метаданные, то все сразу.
Насколько помню, скачанные пикчи на буре имеют названия тегов. Там разве что оценок нет.
В целом если проге задать, чтоб она хавала названия тегов, отсортировать всё будет чуть проще.
Правда тогда повторности не избежать. Кроч помимо сборки всех пикч, нужно что-то, что будет помогать их просматривать с сортировкой, или иметь ведущие и ведомые теги.
В целом если проге задать, чтоб она хавала названия тегов, отсортировать всё будет чуть проще.
Велосипед... Но всё же лучше, чем ничего.
Правда тогда повторности не избежать. Кроч помимо сборки всех пикч, нужно что-то, что будет помогать их просматривать с сортировкой, или иметь ведущие и ведомые теги.
Движок буры )))
Я хотел написать про велосипед. В целом это будет полезно прост.... Ээээ передё... жить... Отсутствие инетика. Да.
ну и место на диске тоже не бесконечноВсегда можно докупить ещё один диск )
порой не самые хорошиеА вот это да, такое себе. Лично для себя я бы некоторые особые теги всё-таки отфильтровал.
Вот, скомпилировал для примера 99 артов - проверь, скажи, что как - https://yadi.sk/d/i87hxBCUoqfxZQ
1) Есть предложение формат файла описания сделать каким-то стандартным, типа json или csv;
1.5) символы "<" и ">" лучше опустить, в самом-то теге запятых не бывает, а экономия приличная будет;
2) source написано с опечаткой;
3) даты загрузки нет;
4) если в одну папку класть все файлы, папке скоро станет плохо;
5) ладно контент 18+, тут понятно всё (хотя, он тоже сильно разный есть), но бывает и 18-, который многим будет крайне неприятен. Что думаешь с этим делать?
1) Надо попробовать
1,5) Да не вопрос)
2) Исправлю, виноват
3) Покажи, где её можно точно увидеть, а то я нашел расплывчатое 7 лет назад...
4) Могу разбить по десяткам, например
5) Ну как вариант - найти все safe и далее либо открывать его, либо открывать наоборот, те арты, где его нет
1) Лучше csv, оно компактнее, да и в бд грузить удобно.
3) Ты api используешь?
4) По датам хорошо бьётся, типа 2014/04/04/qqq.jpg. Но вот что с файлом описания делать - не знаю. Класть в каждую папку - будет три тысячи файлов. Делать общий - он будет весить больше гигабайта. Это не страшно, на самом деле, просто стрёмно его случайно стереть или повредить при записи.
5) Грубоватое деление получается.
1) Попробуем-с
3) Я скачиваю html код и в нем при помощи парсера нахожу нужные "куски", которые потом склеиваю
4) Понял, замутим... Ну я могу сразу сделать копию огромного описания, дабы был бэкап. Типа Description.csv и Description_Backup.csv
5) А как вы предлагаете? По сотне? По тысячи?
3) Лишняя работа. У них api есть с json-ом, там всё это есть и парсить не надо.
4) Я больше всего переживаю о повреждении его при записи очередных данных. Накосячить в этом деле предельно легко, и обидно будет поломать файл после загрузки половины контента.
5) Я имею в виду, что делить на загрузке только на safe и not-safe мало. Я, может, и not-safe некоторый хочу, но вот полную жесть - нет.
3) Если подскажете, как связать Python и api json'а буду благодарен
4) Бэкапы, бэкапы и еще раз бэкапы...
5) Я пока сделал схему, что качаются ВСЕ арты, а непосредственно сортировку делает пользователь, используя теги из файла - описания, ну или примерно так...
У них на странице api даже ссылка на библиотеку питоновскую есть.
Я пока сделал схему, что качаются ВСЕ артыХранить у себя на диске всякую хрень - не всегда хорошая идея.
Смотри, есть идея. В корень помещаем текстовый файл вида
1. <тег1>, <тег2>,... <тегN>
2. <тег1>, <тег2>,... <тегN>
...
N. <тег1>, <тег2>,... <тегN>
А сами арты просто оставляем со стандартной нумерацией. И в итоге мы можем получать нужные номера артов благодаря связи номер арта - его теги. Как задумка?
Нормально, только для многопоточной загрузки нужно будет синхронизацию записи в него сделать.
И, кроме тегов, ещё неплохо было бы сохранять score и fav.
А ещё у изображений есть дата загрузки, comment и ссылка на источник.
И предусмотреть последующую докачку, бура-то на месте не стоит.
Когда я говорил, что идеально было бы как-то у них вытягивать прям зеркало, я и имел в виду то, что это бы помогло избежать всего этого. Там ведь ещё и по три размера каждого изображения.
В общем, задача на порядок сложнее, чем кажется на первый взгляд.
Дату загрузки ещё. С описанием да, непонятно, как его хранить, там же html даже с ссылками...
И еще вопрос, как с Вами можно связаться в соцсетях и поподробнее обсудить эту тему, дабы тут не флудить?
Ну для локальной версии комменты не имеют прям важного значения. Тут всё-таки ценность в артах и в тегах...
В целом да, но там бывает пояснение от автора и ссылки на prev-next, что для комиксов или серий бывает актуально. Другое дело, что там именно линки, их же ещё парсить как-то надо...
My Little Pony
71.6K пост3.3K подписчиков
Правила сообщества
1. Указывайте правильные, релевантные теги. [как?]
2. Не публикуйте гримдарк и тому подобное в комментариях к постам без соответствующих тегов.
3. Здесь только SFW-контент. Для NSFW-контента - MLP After Dark
4. Воздержитесь от хейтерства к тематике mlp в сообществе. Duh.
5. В случае спама\нарушений аккаунтами-однодневками может быть введен небольшой кратковременный минимум рейтинга для создания постов.