Статистика по ВСЕМ пользователям и сообществам пикабу

С момента запуска проекта pikagraphs прошло уже пол года, за это время код был много раз переписан и оптимизирован, что позволило собрать статистику по вообще всем пользователям(даже тем, которые не писали комменты и посты), а также сообществам.


Статистика по пользователям:


Итак, на момент написания поста на пикабу 2094185 пользователей, из которых "живых"(писали посты, комменты или ставили плюсики или минусики) - 1529476.


Распределение пикабушников по полу:

Статистика по ВСЕМ пользователям и сообществам пикабу Пикабу, Статистика Пикабу, Длиннопост, Статистика, Пикабушники

Да, вам не показалось, у пользователя @rety пол "-1000", а у пользователя @HappyButcher "3"


Распределение пикабушников по дате регистрации:

Статистика по ВСЕМ пользователям и сообществам пикабу Пикабу, Статистика Пикабу, Длиннопост, Статистика, Пикабушники

25 марта 2015 года было зарегистрировано подозрительно много аккаунтов, почти половина из которых была брошена без какой-либо активности(посты, комменты). Интересно с чем это может быть связано?


Распределение пикабушников по рейтингу:

Статистика по ВСЕМ пользователям и сообществам пикабу Пикабу, Статистика Пикабу, Длиннопост, Статистика, Пикабушники

Довольно предсказуемо, больше чем у половины пользователей рейтинг = 0

Кстати, помните ограничение на тест нового пикабу в 49.5 к рейтинга, так вот пользователей, у которых рейтинг больше 49500 всего 2485

Первые 20 пикабушников:

Статистика по ВСЕМ пользователям и сообществам пикабу Пикабу, Статистика Пикабу, Длиннопост, Статистика, Пикабушники
Статистика по ВСЕМ пользователям и сообществам пикабу Пикабу, Статистика Пикабу, Длиннопост, Статистика, Пикабушники

Топ 10 кармадрочеров пикабушников по рейтингу:

Статистика по ВСЕМ пользователям и сообществам пикабу Пикабу, Статистика Пикабу, Длиннопост, Статистика, Пикабушники

Самые интересные пикабушники (Топ 10 по количеству подписчиков):

Статистика по ВСЕМ пользователям и сообществам пикабу Пикабу, Статистика Пикабу, Длиннопост, Статистика, Пикабушники

Пикабушники без личной жизни с самым большим количеством комментариев:

Статистика по ВСЕМ пользователям и сообществам пикабу Пикабу, Статистика Пикабу, Длиннопост, Статистика, Пикабушники

По количеству постов:

Статистика по ВСЕМ пользователям и сообществам пикабу Пикабу, Статистика Пикабу, Длиннопост, Статистика, Пикабушники

По количеству горячих постов:

Статистика по ВСЕМ пользователям и сообществам пикабу Пикабу, Статистика Пикабу, Длиннопост, Статистика, Пикабушники

Самые щедрые на плюсики:

Статистика по ВСЕМ пользователям и сообществам пикабу Пикабу, Статистика Пикабу, Длиннопост, Статистика, Пикабушники

Топ по минусам:

Статистика по ВСЕМ пользователям и сообществам пикабу Пикабу, Статистика Пикабу, Длиннопост, Статистика, Пикабушники

Все подтверждённые аккаунты:

Статистика по ВСЕМ пользователям и сообществам пикабу Пикабу, Статистика Пикабу, Длиннопост, Статистика, Пикабушники
Статистика по ВСЕМ пользователям и сообществам пикабу Пикабу, Статистика Пикабу, Длиннопост, Статистика, Пикабушники
Статистика по ВСЕМ пользователям и сообществам пикабу Пикабу, Статистика Пикабу, Длиннопост, Статистика, Пикабушники
Статистика по ВСЕМ пользователям и сообществам пикабу Пикабу, Статистика Пикабу, Длиннопост, Статистика, Пикабушники
Статистика по ВСЕМ пользователям и сообществам пикабу Пикабу, Статистика Пикабу, Длиннопост, Статистика, Пикабушники

Также на пикабу 660 не валидных пользователей(содержат _-/ или другие запрещённые символы), некоторые из них:


openid.yandex.ru/yanepsih

openid.yandex.ru/s3g4

victor-de-luxe.livejournal.com

openid.mail.ru/mail/vinarb

openid.yandex.ru/europok


Несколько пользователей с пустым никнеймом и один вот с таким:


<font rel="tooltip" title="oriflame-line.livejournal.com">oriflame-line.livejournal.co...</font>


Статистика по сообществам:


На пикабу 614 сообществ, из которых 14 были удалены


Топ 10 сообществ по количеству постов:

Статистика по ВСЕМ пользователям и сообществам пикабу Пикабу, Статистика Пикабу, Длиннопост, Статистика, Пикабушники

Топ 10 сообществ по количеству подписчиков:

Статистика по ВСЕМ пользователям и сообществам пикабу Пикабу, Статистика Пикабу, Длиннопост, Статистика, Пикабушники

Удалённые сообщества:


manprogress - "Развитие и самореализация", подписчиков - 1014, постов - 25

aviation - "Авиация", подписчиков - 275, постов - 15

shelter - "Убежище Странников", подписчиков - 244, постов - 12

pikabuchina - "Китай", подписчиков - 234, постов - 48

orgnl - "Original", подписчиков - 204, постов - 9

zemlya - "Земля из космоса", подписчиков - 133, постов - 4

liga_zanud - "Лига Зануд", подписчиков - 91, постов - 5

socionika - "Соционика для всех", подписчиков - 48, постов - 1

crocchronicles - "CrocChronicles", подписчиков - 30, постов - 24

pkb_agario - "AGAR.IO, Команда Пикабу", подписчиков - 14, постов - 6

philosopher - "Лига Философии", подписчиков - 11, постов - 238

gtaonline - "GTA Online", подписчиков - 1, постов - 0

top10 - "DELETED", подписчиков - 1, постов - 1

ask_pikabu - "DELETED", подписчиков - 1, постов - 0


DELETED - это не название сообщества, однажды я оптимизировал код и забыл добавить одну строчку в sql запрос и похерил всю базу, названия этих двух сообществ восстановить из бекапов не удалось. Зато оно похерило базу раз в 10 быстрее, чем сделало бы это до оптимизации :)



Больше графиков можно посмотреть тут: https://pikagraphs.d3d.info/

Кстати, проект с открытым исходным кодом, зайти и поставить звёздочку можно тут: https://github.com/DevAlone/pikagraphs


Также есть информация по наградам, но я её пока не обрабатывал, может в будущем тоже напишу пост.

Статистика

800 постов3.1K подписчиков

Добавить пост

Правила сообщества

1. Не нарушать правил pikabu

2. Постить контент относящийся к теме сообщества

Вы смотрите срез комментариев. Показать все
Автор поста оценил этот комментарий

Здравствуйте, извините за беспокойство) Мы тут подняли обычный для Пикабу холивар на тему "почему все не так как надо" и столкнулись с проблемой, что отсутствует статистика в динамике о пользователях Пикабу, их активностях, просмотрах и пр. У Вас присутствуют графики, отражающие информацию, например, о регистрирующихся пользователях... Насколько я понял, эта информация собирается путем запущенного на сайте скрипта (прошу прощения но в ИТ я ноль) и в настоящее время эти скрипты не работают. Вопрос: существует ли где-нибудь в архивах собранная Вашими скриптами информация о динамике пользователей, постоянных пользователей, просмотров? Заранее спасибо

раскрыть ветку (11)
Автор поста оценил этот комментарий

Вот тут можно скачать всё, что я насобирал https://pikastat.d3d.info/

раскрыть ветку (10)
Автор поста оценил этот комментарий

Спасибо!

раскрыть ветку (9)
Автор поста оценил этот комментарий

Извините,  а можно спросить, когда Вы перестали данные писать? Последний бэкап указан 20200910, т. е. данные до 10.09 или ранее обрываются?

раскрыть ветку (8)
Автор поста оценил этот комментарий

Это значит, что данных после нет, а до там, конечно, тоже есть перерывы, т.к. не всегда парсер работал стабильно.

раскрыть ветку (7)
Автор поста оценил этот комментарий

Если я Вас еще не заебал) Есть 3 ссылки на массив 1. https://k.d3d.info/pikastat.2020.09.10.dump

2. https://k.d3d.info/pikastat.2020.09.10.dump.torrent

3. magnet:?xt=urn:btih:0683ea40a9d0bfbf42c2d730136f7d64372020ab&dn=pikastat.2020.09.10.dump&tr=http%3a%2f%2f78.46.81.253%3a6969%2fannounce

По первым двум пишет 504 Gateway Time-out на третью из браузера ноль реакции.

Но речь не об этом... я так понимаю, внутри ссылки -- массив. Могу ли я этот массив, если скачаю, преобразовать в БД? Ресурсов у меня - 6 Core i5 3,1 ГГц (iMac 2019, 32 Gb Озу, 4 Tb SSD SSD Thunderbolt  3 (2 свободно)?

раскрыть ветку (2)
Автор поста оценил этот комментарий

Вот тут Датасет Пикабу в комментах кто-то скидывал ещё ссылки, на файлообменний вроде. Там уже дамп базы данных, нужно залить просто (pg_restore).

раскрыть ветку (1)
Автор поста оценил этот комментарий

Спасибо

Автор поста оценил этот комментарий

Извините снова за беспокойство) Есть такой вопрос:

поле public.pikabu_users.community_ids содержит такого вида данные "{699,51,105,67,22}. А таблиц со списками Сообществ у нас 2: public.pikabu_communities и public.pikabu_user_communities. Проблема заключается в том, что значения полей pikabu_id и id указанных таблиц с 726 и 727 записями соответственно у 633 записей совпадают, хотя сообщества с одинаковыми id в этих таблицах разные.

В других таблицах массива никаких данных, разделяющих значения id таблиц сообществ и сообществ пользователей я не нашел.

Вопрос: id какой из таблиц сообществ содержит поле pikabu_users.community_ids? И если это, скажем, значения сообществ из public.pikabu_user_communities, есть ли где-нибудь в массиве данные по принадлежности пользователей к сообществам из public.pikabu_communities?

Заранее спасибо!

раскрыть ветку (3)
1
Автор поста оценил этот комментарий

Я думаю pikabu_users.community_ids содержит ID из pikabu_communities, но не уверен, не помню уже

раскрыть ветку (2)
Автор поста оценил этот комментарий

спасибо. c возвращением!)

раскрыть ветку (1)
Автор поста оценил этот комментарий

Та я так, набегами)

Вы смотрите срез комментариев. Чтобы написать комментарий, перейдите к общему списку