Товарищи, у меня в голове мелькает идея скачать все арты с Дерпибуру и других подобных сайтов в хронологическом порядке (от самого первого до двухмиллионного) и оформить все эти арты в виде торрента. Очень хочется узнать Ваше мнение: стоит ли вообще делать это или у всех есть нужные коллекции и никому эти гигабайты хронологических артов не нужны? Жду от Вас предложений / идей по этому поводу))
Ниже приведен пример нумерации и общий вид артов:
Да, есть такое. Я потому и говорю, что нужно изначально фильтровать всякую муть.
Что-то мне уже кажется, что ну нафиг эту затею, слишком много с ней проблем, и технических, и не только.
3) Лишняя работа. У них api есть с json-ом, там всё это есть и парсить не надо.
4) Я больше всего переживаю о повреждении его при записи очередных данных. Накосячить в этом деле предельно легко, и обидно будет поломать файл после загрузки половины контента.
5) Я имею в виду, что делить на загрузке только на safe и not-safe мало. Я, может, и not-safe некоторый хочу, но вот полную жесть - нет.
3) Если подскажете, как связать Python и api json'а буду благодарен
4) Бэкапы, бэкапы и еще раз бэкапы...
5) Я пока сделал схему, что качаются ВСЕ арты, а непосредственно сортировку делает пользователь, используя теги из файла - описания, ну или примерно так...
1) Есть предложение формат файла описания сделать каким-то стандартным, типа json или csv;
1.5) символы "<" и ">" лучше опустить, в самом-то теге запятых не бывает, а экономия приличная будет;
2) source написано с опечаткой;
3) даты загрузки нет;
4) если в одну папку класть все файлы, папке скоро станет плохо;
5) ладно контент 18+, тут понятно всё (хотя, он тоже сильно разный есть), но бывает и 18-, который многим будет крайне неприятен. Что думаешь с этим делать?
1) Надо попробовать
1,5) Да не вопрос)
2) Исправлю, виноват
3) Покажи, где её можно точно увидеть, а то я нашел расплывчатое 7 лет назад...
4) Могу разбить по десяткам, например
5) Ну как вариант - найти все safe и далее либо открывать его, либо открывать наоборот, те арты, где его нет
На случай, если через 15 лет, когда все поймут, какая оказалась фигня G5, брони забудут все сегодняшние горести и вчерашние восторги, дерпибуру присоединится к тем множествам сайтов, которые были когда-то, а потом ушли в никуда...
...а ты на старом винте находишь этот архив, и предаёшься ностальгии - ох, как же мне это нравилось, какой я был молодой и наивный...
:-))))))))))))
Вот, тестовый вариант на 99 артов. Нарастить - дело техники. Обратите внимание на текстовый файл. - #comment_152392126
Вот, скомпилировал для примера 99 артов - проверь, скажи, что как - https://yadi.sk/d/i87hxBCUoqfxZQ
Дату загрузки ещё. С описанием да, непонятно, как его хранить, там же html даже с ссылками...
И еще вопрос, как с Вами можно связаться в соцсетях и поподробнее обсудить эту тему, дабы тут не флудить?
Дату загрузки ещё. С описанием да, непонятно, как его хранить, там же html даже с ссылками...
Ну для локальной версии комменты не имеют прям важного значения. Тут всё-таки ценность в артах и в тегах...
Нормально, только для многопоточной загрузки нужно будет синхронизацию записи в него сделать.
И, кроме тегов, ещё неплохо было бы сохранять score и fav.
А ещё у изображений есть дата загрузки, comment и ссылка на источник.
И предусмотреть последующую докачку, бура-то на месте не стоит.
Когда я говорил, что идеально было бы как-то у них вытягивать прям зеркало, я и имел в виду то, что это бы помогло избежать всего этого. Там ведь ещё и по три размера каждого изображения.
В общем, задача на порядок сложнее, чем кажется на первый взгляд.
ну и место на диске тоже не бесконечноВсегда можно докупить ещё один диск )
порой не самые хорошиеА вот это да, такое себе. Лично для себя я бы некоторые особые теги всё-таки отфильтровал.
Просто картинок с парой тегов на каждой будет для этого мало. Если уж сливать метаданные, то все сразу.
Кстати к пикчам (скачанным) тоже можно подпихивать тегиЗадача только кажется простой. В итоге всё сведётся к локально поднятой буре. Тогда уж проще как-то у них всю базу высасывать в разумном формате.
Во жопа, ты комент отредачил когда я всё написал!Да, я такой. Но я только переформулировал его.
Просто картинок с парой тегов на каждой будет для этого мало. Если уж сливать метаданные, то все сразу.
Вообще все. Я постоянно пользуюсь бурой для поиска картинки по контексту или по памяти, вставляя нужные теги. Даже у одного автора бывают тысячи артов, как в них что-то искать?
Бура славится тем, что там есть теги и оценки.
Можно прост собрать необходимое тегирование с высасыванием артов под тегом и определённой оценкой.
Кстати к пикчам (скачанным) тоже можно подпихивать теги, отчего в огромной кипе пикч можно будет искать так же по тегам всё.
Во жопа, ты комент отредачил когда я всё написал!
Давайте тогда по тегам: я могу распихать по персонажам и применить тег safe. Такой вариант пойдет?
1) Лучше csv, оно компактнее, да и в бд грузить удобно.
3) Ты api используешь?
4) По датам хорошо бьётся, типа 2014/04/04/qqq.jpg. Но вот что с файлом описания делать - не знаю. Класть в каждую папку - будет три тысячи файлов. Делать общий - он будет весить больше гигабайта. Это не страшно, на самом деле, просто стрёмно его случайно стереть или повредить при записи.
5) Грубоватое деление получается.
1) Попробуем-с
3) Я скачиваю html код и в нем при помощи парсера нахожу нужные "куски", которые потом склеиваю
4) Понял, замутим... Ну я могу сразу сделать копию огромного описания, дабы был бэкап. Типа Description.csv и Description_Backup.csv
5) А как вы предлагаете? По сотне? По тысячи?
Смотри, есть идея. В корень помещаем текстовый файл вида
1. <тег1>, <тег2>,... <тегN>
2. <тег1>, <тег2>,... <тегN>
...
N. <тег1>, <тег2>,... <тегN>
А сами арты просто оставляем со стандартной нумерацией. И в итоге мы можем получать нужные номера артов благодаря связи номер арта - его теги. Как задумка?
Идейка интересная. Надо ток хранилище нормальное и потом ещё канал не слабый чтоб всё это хоть кому то раздать
Я просто программку накидал, которая получает ссылки и качает в 10 потоков. Главный вопрос - вам, Броняшам, это надо? Именно фулльная коллекция в хронологическом порядке с контентом 18+, комиксами и тд...?
My Little Pony
71.4K постов3.3K подписчиков
Правила сообщества
1. Указывайте правильные, релевантные теги. [как?]
2. Не публикуйте гримдарк и тому подобное в комментариях к постам без соответствующих тегов.
3. Здесь только SFW-контент. Для NSFW-контента - MLP After Dark
4. Воздержитесь от хейтерства к тематике mlp в сообществе. Duh.
5. В случае спама\нарушений аккаунтами-однодневками может быть введен небольшой кратковременный минимум рейтинга для создания постов.