23

Проект по сбору статистики пикабу

Всем привет, 2 месяца назад я написал проект по сбору статистики пользователей пикабу. Первая версия с фронтендом в стиле lib.ru, собирающая статистику пользователей, была написана за один вечер. Потом я добавил умную систему определения частоты обновления (чтоб не обновлять часто таких, как апрес), добавил модуль для сбора статистики сообществ(количество постов и подписчиков), сделал некое подобие интерфейса и вот недавно переписал бэкенд на асинхронную библиотеку, благодаря чему скорость обработки значительно выросла.


Вот что удалось собрать. Это рейтинг админа, на графике видно, что во время клубничного бунта он потерял аж целых 3000 рейтинга и так и не смог их восстановить:

Проект по сбору статистики пикабу Пикабу, Статистика

Если сопоставить с графиком постов, то видно, что как раз в тот день админ удалил какой-то пост:

Проект по сбору статистики пикабу Пикабу, Статистика

Также собирается статистика по подписчикам и можно узнать, например, сколько отписалось от @nesims после окончания истории с камерой(на самом деле не так много, меньше 500).

Проект по сбору статистики пикабу Пикабу, Статистика

Если вдруг кому было интересно, у админа 13940 подписчиков, это даже меньше, чем у обломова(34268).


Больше графиков тут https://pikagraphs.d3d.info


P.S. да, дизайнер из меня хуёвый

Найдены дубликаты

+3

А ещё на сайте есть несколько пасхалок.

раскрыть ветку 9
0
Классная вещь) И, получается, единственная работающая из всех собирающих статистик с Пикабу.

А можно здесь как-то использовать список аккаунтов от webkitten'a, который использовал derlafff?

https://pikabu.ru/story/statistika_po_vsem_pochti_polzovatel...

По тому списку я должен быть где-то в конце 1 сотни по рейтингу, здесь - на 52м месте, т.е. списки различаются значительно.


И как вообще формируется этот список аккаунтов? В нем только те люди, которые проявляли активность в последние несколько месяцев?

раскрыть ветку 2
+1

d3dev в пермабане за плохое поведение, больше он никому не ответит :( У него вон даже часы на аватарке остановились.

А можно здесь как-то использовать список аккаунтов от webkitten'a, который использовал derlafff?

Можно, но уже не нужно. На днях я спарсил весь пикабу, вообще весь, а не только тех, кто писал посты или комменты, как в списке derlafff, единственный нюанс, я сделал сохранение новых, но они пока не добавляются на сайт, скоро допилю, также на сайте есть некоторые баги, которые тоже исправляю. Как всё доделаю, запилю пост, также там будет распределение пользователей по дате регистрации, рейтингу и т.д.

Если интересно, самые свежие пользователи тут: https://pikagraphs.d3d.info/api/pikabu_users?order_by=-pikab...

Общее количество пользователей тут: https://pikagraphs.d3d.info/api/pikabu_users?count=true


И как вообще формируется этот список аккаунтов? В нем только те люди, которые проявляли активность в последние несколько месяцев?

Раньше выбирались вручную, ну как вручную, грепом по списку пользователей из постов l4rever + те, кого я или другие пользователи считали нужным добавить. Однажды я спарсил тех, кто проявлял активность за последнее время, но их оказалось много и я их убрал, сейчас я сильно оптимизировал код и то количество уже не много)

раскрыть ветку 1
0
Вообще очень интересный проект. Почему то только недооцененный, за всякую херню ставят кучу плюсов, а тут нет. И можно посмотреть сколько подписчиков!
А может показать какие аккаунты были у Голодающего?
раскрыть ветку 1
+3
Почему то только недооцененный, за всякую херню ставят кучу плюсов, а тут нет

Ну, он не настолько крут, чтоб ставить кучу плюсов, многие зайдут один раз и всё :)

А может показать какие аккаунты были у Голодающего?

Вряд ли это возможно, скорее всего эту инфу знает только он сам и админ+модераторы. Хотя кто знает, на пикабу много интересных багов находится периодически ;)

0
Спасибо тебе мужик :)
0

А толку, если он не всех пикабушников знает.


PS. Плюс жмякнул

Иллюстрация к комментарию
раскрыть ветку 2
+1

Ну, всех не получится, ибо их слишком много. Можно добавить тех, кто что-то постил за последнее время, допустим.

раскрыть ветку 1
+1
Капитальный красавчик! Отличная идея
+1
Теперь блядь и пкб за мной следит. Удаляюсь
раскрыть ветку 2
+5

Не следит за вами никто, Денис 1991 года рождения, получивший образование врача.

раскрыть ветку 1
0
Ффффффффак
Иллюстрация к комментарию
+1
@l4rever годноты подвезли
0
Годно! Плюс тебе
0
Код на гитхаб не выложишь? Хочу поучиьься чужой код читать а тут еще и тема интересная
раскрыть ветку 1
+1

https://github.com/DevAlone/pikabot_graphs

Только там нет одного файла, который делает запросы к pikabu :) Старая версия парсила сайт https://github.com/DevAlone/pikabot_graphs/blob/master/bot/u... но это медленно и я переделал на мобильный api.

Собственно бот в файле main.py и в директории bot, остальное - сайт на джанго.

И да, комментариев нет, но вы держитесь.

0
Почему я могу что-то рисовать на графике и даже перемещать это что-то?
С телефона не посмотреть -_-' :(
Иллюстрация к комментарию
раскрыть ветку 4
0

0_о
а с чего это рисовать можно? С пк или с телефона? Мобильную версию я делал, но не проверял, т.к. у меня нет ведроида, а виртуалку юзать лень ¯\_(ツ)_/¯ 

раскрыть ветку 3
0
С телефона (iOS)
Отображения никакого (то есть никаких графиков).
Если нужно - могу скриншоты покидать.
раскрыть ветку 2
-3
Это реально круто ^^
раскрыть ветку 1
+4

спасибо)

Похожие посты
Похожие посты не найдены. Возможно, вас заинтересуют другие посты по тегам: