Горячее
Лучшее
Свежее
Подписки
Сообщества
Блоги
Эксперты
Войти
Забыли пароль?
или продолжите с
Создать аккаунт
Регистрируясь, я даю согласие на обработку данных и условия почтовых рассылок.
или
Восстановление пароля
Восстановление пароля
Получить код в Telegram
Войти с Яндекс ID Войти через VK ID
ПромокодыРаботаКурсыРекламаИгрыПополнение Steam
Пикабу Игры +1000 бесплатных онлайн игр Зазеркалье – это погружение в глубины мифов, магии и странствий. Вас ждут сражения на дорогах удивительных миров, соединенных порталами. Сочная графика и потрясающий сюжет, множество героев, общение с игроками. Без рекламы и любых назойливых ограничений.

Зазеркалье – фэнтези MMORPG

Мультиплеер, Ролевые, Приключения

Играть

Топ прошлой недели

  • Oskanov Oskanov 9 постов
  • Animalrescueed Animalrescueed 44 поста
  • Antropogenez Antropogenez 18 постов
Посмотреть весь топ

Лучшие посты недели

Рассылка Пикабу: отправляем самые рейтинговые материалы за 7 дней 🔥

Нажимая «Подписаться», я даю согласие на обработку данных и условия почтовых рассылок.

Спасибо, что подписались!
Пожалуйста, проверьте почту 😊

Помощь Кодекс Пикабу Команда Пикабу Моб. приложение
Правила соцсети О рекомендациях О компании
Промокоды Биг Гик Промокоды Lamoda Промокоды МВидео Промокоды Яндекс Маркет Промокоды Пятерочка Промокоды Aroma Butik Промокоды Яндекс Путешествия Промокоды Яндекс Еда Постила Футбол сегодня
0 просмотренных постов скрыто
920
GoodWillHunting
GoodWillHunting

Ответ на пост «Медали СВО»⁠⁠1

11 месяцев назад

Есть Big Data. Это большой объём несистематизированной информации.

Казалось бы, хрен с ним, какой-то суп из, казалось бы, несвязанной инфы.

Но вот есть ник, этот ник привязан к почте, почта где-то привязана к телефону в службе доставки или подобном. В одноклассниках есть фотка. Где-то другие перс данные промелькнули.

Базы регулярно выкладывают.

Затем в big data находятся связи, и от ника на пикабу мы приходим к ФИО, прописке, номеру телефона, фото, данным по членам семьи, машине, иной собственности, ИНН, ОМС, СНИЛС, наградным номерам.

Не нужно думать, что этого не делается. Выделяются большие деньги, работают профессионалы. Это называется гибридная война.

Совершенно точно у врага будет поимённо список всех награждённых, которые сами ему на блюдечке выкладывают инфу.

Не удивлюсь в скором времени новому массовому телефонному разводу на основе этой волны.

Соблюдайте пожалуйста информационную гигиену.

Ответ на пост «Медали СВО»
Показать полностью 1
[моё] Большие данные Персональные данные Гибридная война Деанонимизация Ответ на пост Волна постов Bigdata
229
5
scutdusty
Аналитика данных

Творожок Часть 3 Ты нормальный вообще?⁠⁠

11 месяцев назад

Этот вопрос периодически мне задают. У нормальности есть разные критерии и формы. И, немного отодвинув в сторону тему творожков из Поста1 и Поста2 я вам расскажу, что такое нормальный.

Итак.

Знакомьтесь,

Андрей Васильевич - работает директором фирмы “Костромские дилдо”

Елена Афиногенова - жена Андрея Васильевича, домохозяйка

Виталий Тимофеевич - работает директором фирмы “Костромской лубрикат”.

Алевтина Сергеевна - жена Виталия Тимофеевича, работает секретарем в фирме “Костромские дилдо”.

Василий Петрович - техник в фирме “Костромской лубрикат”.

Василиса Рубиковна - курьер в компании “Костромской лубрикат”.

Елена Афиногенова -  немолодая женщина требующая от мужа выполнения супружеских обязанностей. По этой причине Андрей Васильевич вынужден поебывать ее в домашних условиях долгими костромскими вечерами. Но при этом ему намного приятнее поебывать также и Алевтину Сергеевну в своем уютном офисе.

Виталию Тимофеевичу изредка перепадает женской ласки от Алевтины Сергеевны.

Василиса Рубиковна недавно устроилась курьером, и мотается с документами между фирмами, разводя шашни с местным персоналом и периодически ебется в офисах то с Андреем Васильевичем, то с холостяком Василием Петровичем.

Ну а Василий Петрович периодически захаживает домой к ненасытной Елене Афиногеновне, пока ее муж снова "задерживается на совещании".

Все данные выше можно свести в табличку с данными о том, кто кого ебет.

Творожок Часть 3 Ты нормальный вообще?

С точки зрения реляционной базы данных перечисление через запятую или другой разделитель в одной строке - это полная залупа, так как чтобы вытащить данные о том, с кем ебется например Елена Афиногенова - нужно будет расшивать каждую ячейку в столбце. И это с любой точки зрения не нормально. Точнее не нормализовано. Поэтому избавляемся от запятых.

Творожок Часть 3 Ты нормальный вообще?

Теперь те кто ебет и те кого ебут находятся в соответствии один к одному. Это называется первая нормальная форма.

В следующей таблице данных все акты соития по датам.

Творожок Часть 3 Ты нормальный вообще?

В этой таблице избыточная информация, потому что имена ебырей и названия фирм в которых они работают зависят от ключа ID, такая же хуйня и с именами блядей.

Поэтому для ебырей и блядей создаем отдельные таблички.

Творожок Часть 3 Ты нормальный вообще?

Это называется вторая нормальная форма.

Однако, в табличке с ебырями у нас от ID зависит имя ебыря, а от него зависит название фирмы ебыря (по научному транзитивная зависимость). В третьей форме такой хуйни быть не должно. Поэтому создаем табличку с фирмами. Это будет третья форма. Рисовать впадлу и так вроде все понятно.

Есть еще Бойс-Кодд нормальная форма (та же третья форма, только более жесткая), где все зависимости должны быть от ключа.

Есть еще четвертая форма, где избавляются от многозначных зависимостей. Типа если Василий Петрович ебется с Василисой Рубиковна в офисе, а с Еленой Афиногеновной дома - то это нужно тоже разносить по разным таблицам.

Есть еще пятая нормальная форма, где если  Елена Афиногеновна ебется только дома, а Алевтина Сергеевна и дома и в офисе, то это тоже должно быть вынесено в отдельную таблицу кто где ебется.

Но это уже не так важно как первые три формы.

Вобщем есть две крайности. Первая - это невъебовая таблица где хранится вообще все, вторая - это куча таблиц атомизированных до ключ-значение. И то и другое хуево, потому что в первом случае хуй отмасштабируешь, а во втором заебешься обслуживать. Везде нужно искать золотую середину.

А вообще сильно связанные данные типа “Вася ебется с Леной - Лена ебется с Колей и все вместе они учатся в одном ПТУ” - лучше всего хранить в графовой базе. Но об этом как-нибудь в другой раз.

Продолжение следует…

P.S. Все персонажи вымышленные, все совпадения случайны, Кострома - охуенный город.

Показать полностью 4
[моё] Аналитика Программирование Мат Данные Анализ данных Большие данные Python Bi Длиннопост
0
6
scutdusty
Аналитика данных

Творожок Часть 2 Я календарь переверну⁠⁠

11 месяцев назад

Те кто прочитали предыдущий пост - молодцы, те кто не прочитал - вкратце расскажу что здесь происходит. Я собрал инфу обо всех своих покупках в магазинчике за год и делаю аналитику того, как я и моя дочь хаваем творожки.

Итак…

Еще маленько причесав данные, рассчитав цену из стоимости и количества, отделив перед этим единицы измерения от мер делаем первую визуализацию в виде графичка. В каком количестве я покупаю творожки по дням.

Творожок Часть 2 Я календарь переверну

8 августа я купил 13 творожков. Нихера себе, с запасиком. И не ходил после этого в магаз в магаз целых… хуй знает сколько дней. Надо щели сделать между столбиками,чтобы видеть дни, когда я не ходил в магазин. Для этого нужно разметить ось X всеми датами которые только возможны между первой и последней покупкой (а может и больше). И для этого в свою модель данных с покупками я щас въебу календарь.

Есть один секрет, как быстро сделать календарь для любой аналитической системы. Сейчас я вам его открою. Заходите в гугл и забиваете в строку поиска “Мастер календарь для /название вашей аналитической системы/”. После этого тыкаете во вторую, третью или максимум четвертую ссылку, пиздите оттуда код, вставляете его к себе, запускаете и Вуаля! Наш календарь готов! Осталось только соединить его с моделькой прислюнявив даты из календаря к датам покупочек.

Творожок Часть 2 Я календарь переверну

Обратите внимание на названия полей в модельке. Так делают хорошие разрабы. Так делают хорошие аналитики. Так делаю я. Так не делают долбоебы, у которых потом поле “количество” хуй пойми откуда взялось - из продаж, наличия на складе или пиздюлей, которых он огребает за такой нейминг.

Особый писк - это автоматический программно-генерируемый файл календаря, который затем прислюнявливается ко всем аналитическим приложениям. В него при необходимости можно въебать курсы валют на каждый день, производственный календарь, график менструаций в бухгалтерии и прочее.

Творожок Часть 2 Я календарь переверну

Выглядит конечно уебищно, но зато все видно.

Продолжение следует…

Показать полностью 3
[моё] Аналитика Программирование Мат Данные Анализ данных Большие данные Python Bi Длиннопост
0
9
scutdusty
Аналитика данных

Творожок Часть 1 QA⁠⁠

11 месяцев назад

Я год ждал пока кто-нибудь напишет в сообщество “Аналитика данных” пост про аналитику или про дата менеджмент. Хуй там валялся. Пара каких-то постов ни о чем. Придется самому писать.

Итак.

Речь пойдет о творожках… Почему о творожках, спросите вы. И я с удовольствием отвечу: потому что я и моя дочь едим их на завтрак и иногда в течении дня. Бывают ситуации когда открываешь холодильник, с вожделением протягиваешь руку к прохладной пластиковой баночке, а там хер. Нету ничего. Закончились творожки. Для того чтобы избежать подобной ситуации в будущем - ее нужно уметь прогнозировать.  А какой может быть прогноз без аналитики?

Творожки я покупаю в большом сетевом магазине, по традиции Пикабу назову его так:  начинается на "Пере" и заканчивается на "кресток". Особо пытливые умы думаю догадаются. Каждый раз когда я там пробиваю покупку на кассе, подсовываю скидочную карту, в надежде получить скидочки. В это время заботливый сервер сохраняет список моих покупок. Поэтому зайдя в личный кабинет магазинчика - я могу посмотреть когда, чего, сколько и за сколько деняк я все покупал.

Скопировав эти данные я получил сырой датасет.  Дата, че купил, сколько и за сколько.

Питончиком причесываем данные и приводим в съедобный вид:

И первое что делает аналитик с сырыми данными - изучает их. И поэтому первое что мы разберём - это QA (качество) данных.

Данные проверяются по принципу “КОролевской СОбаке ТОчно ПОхуй на СВОю УНикальность”.

КО - корректность. Проверяем, что в колонке количество у нас числа, а не слово “хуй” например.

СО - согласованность. Если в сырых данных написано “творожок Блядисимо”, нехуй его сокращать или переименовывать, потому что если они попадут в разные таблицы или базы данных вы потом хер поймете один и тот же это творожок или разные.

ТО - точность. Если творожок стоит 63.99 это значит за два творожка я отвалю 127.98, а не 128 рублей. Ясно вам, Округлятели херовы?

ПО - полнота. Забегая вперед скажу, что на творожки за этот год я потратил 26 тысяч рубасов. Сам охуел если честно. Больше всего творожков пришлось на октябрь. Я бы не смог посчитать этого если в данных нет даты или названия продукта.

СВО - своевременность. Данные собрал с 1 декабря прошлого года до 1 декабря нынешнего. На следующий год пересчитаю за полный год. Будет своевременно. И красиво. 

УН - уникальность. Данные не должны дублироваться и чтобы не охуеть от двойных и тройных сумм в дашборде - создаем ключи и ID везде, где это возможно. Легче потом отследить от какой жопы те или другие ноги.

В любом случае в больших организациях за качество данных отвечает владелец бизнес-функции (начальник продаж, начальник закупок, начальник логистики и прочие шишки), а в очень больших - Data Quality Engineer. Поэтому если закупщики при создании карточки товара въебут килограммы туда где должны быть граммы и “хз” туда где должны быть сантиметры - то вместо кучи интересной информации бизнес-пользователи получат кучу говна. И это должна быть проблема бизнес-функции, а не аналитика, который по мнению бизнес-пользователей должен всю эту херню вылавливать и причесывать.

Продолжение следует…

P.S. Где тег "Творожок"?

Показать полностью 3
[моё] Аналитика Программирование Мат Данные Анализ данных Большие данные Python Bi Длиннопост
1
MTS
MTS

Приходите к нам учиться⁠⁠

1 год назад
Приходите к нам учиться

Школа аналитиков данных МТС снова открывает двери. Подать заявку можно до 20 октября, а начать обучение длиной 10 месяцев после успешного отбора — уже 7 ноября. Сегодня — о программе, ее плюшках и тех, кому точно зайдет.

В Школе преподают эксперты из разных продуктов Центра Big Data МТС, которые уже подготовили интенсивную программу. Студентов ждут SQL и Python, ML и Big Data, нейросети и рекомендательные системы, математика и несколько дополнительных тем. Вот такая концентрация пользы!

У Школы аналитиков данных много плюсов, но мы расскажем про 3 основных:

  1. Онлайн-обучение. Занятия проходят 2 раза в неделю, теория чередуется с практикой, все записи и полезные материалы доступны в любое время.

  2. Шанс стать стажером МТС. Его получат самые активные и успешные студенты по результатам занятий и домашних работ.

  3. Комьюнити и мотивация. Офлайн-встречи в Москве и онлайн-мероприятия, обмен опытом и возможность накопить баллы и получить мерч от МТС или что-нибудь еще.

Уже готов подать заявку

Обучение точно зайдет:

  • Junior и middle аналитикам данных.

  • Айтишникам из смежных областей.

  • Студентам последних курсов и выпускникам технических специальностей.

Если ML, Big Data и Data Science вам интересны и у вас есть 6+ свободных часов в неделю — успейте подать заявку до 20 октября!

Хочу подать ее прямо сейчас

Реклама ПАО «МТС», ИНН 7740000076

Показать полностью
IT Работа Технологии Цифровые технологии Нетворкинг Большие данные Аналитика Блоги компаний
5
yaroslav1982

Продолжение поста «Предлагаю создать Центры постановки научных проблем»⁠⁠4

1 год назад

Ещё 10 несекретных научных проблем:

31. Возникновение национализма угнетающих и угнетаемых народов.

32. История лозунга "Для своих - всё, для врагов - закон".

33. Изучение катаклизмов, упомянутых в мифах и легендах.

34. Убийства людей с ограниченными способностями в различных обществах.

35. Поиск жизни за пределами Солнечной системы.

36. Влияние общественно-экономических отношений на программы общеобразовательных и специализированных школ.

37. Международное сотрудничество в высшем образовании и науке.

38. Взаимосвязь экономических кризисов и вооружённых конфликтов.

39. Перспективы использования исчерпаемых и неисчерпаемых ресурсов.

40. Возникновение и исчезновение цивилизаций.

Показать полностью
[моё] Наука Исследования Ученые Финансы Большие данные Научпоп Россия Академия наук Проблемы в отношениях Решение проблемы Технические проблемы Социальные проблемы Социальные проекты Социализм Капитализм СССР Развал СССР Травля Текст Коммунизм Ответ на пост Волна постов
2
halltape
halltape

Я ненавидел код, но все равно пошел в IT и вот почему!⁠⁠

1 год назад

Мне 31 год. Пенсию я уже свою получил, спасибо, мозги пока еще работают. Мне никогда не нравилось программирование. В школе был Turbo Pascal и написанные на нем программы у меня работали далеко не сразу, если вообще работали. А друзья, у которых все получалось, скорее вызывали у меня чувство: "Ну они просто ботаны, мне этот код нафиг не сдался". Короче, максимально иррациональный подход, но я был ребенком. Тут был мой косяк только в том, что я нифига не занимался и не читал книгу по информатике. А мог бы уже тогда освоить код и раньше закатиться в IT. Но я вам расскажу свой путь!

У меня инженерное образование. Работал я с электричеством и в целом не видел вообще никакого роста для себя. Отрасль довольно консервативная и вялотекущая по сравнению с IT. Тем временем в программировании постоянно появлялись новые хайповые направления, типа Data Science, ML, Big Data и вот это вот все. И многие знакомые начинали переходить из условного инженера в IT на Swift разработчиков, на C# и так далее. И когда у меня была зп 80к, они уже лутали за 250-300к в месяц, при этом работая на маке с удаленкой и смузи. В тот момент многие тоже начинали задумываться о переходе в программирование, НО мало кто говорил о мотивации в виде денег. Почему-то было зазорно говорить, что в IT ради денег. Все сразу придумывали себе причины, типа: "Да мне всегда было интересно, просто я не занимался этим" или "Да я так, по приколу изучаю.. не из-за денег". Ага, задачи на литкоде порешать или ООП почитать, как хобби. Не верю никому, кто так говорит.

Идти в IT ради денег нормально и адекватно! Айтишники это такие же инженеры или врачи, которые разбираются в своем деле. Просто оплата труда у айтишников выше и условия труда круче. Так вот, если вас не устраивает зарплата и текущая работа, то смело меняйте на ту, которая вам будет комфортнее. Например удаленка, отсутствие дресс кода и много молодых ребят. Короче я забегая вперед, говорю, что у вас точно получится, если вы усидчивый человечек! Отвечаю, это того стоит!

Так вот, я буду тезисно вам накидывать базу. В 2022 году в марте я сел готовиться к школе21 от Сбера. Она бесплатная. Готовился я, изучая язык Си на степике. Это прям считайте полный ноль. Я вообще ничего не знал. В самой школе21 надо пройти месячный интенсив, чтобы попасть на основное обучение. Я его прошел и поступил. Но в итоге на основное обучение не пошел и сосредоточился на направлении Data Engineer. Направление было крайне не популярное, потому что про него никто не знает))) Хотя зарплаты такие же высокие, какие вы хотите)

И вот, у меня были кризисы, когда хотелось все бросить и забить. Это тема отдельного поста. Но важно в некоторый момент придумать себе пет проект и зарядиться его реализацией. Просто решать задачи не всем дано. Мы люди и нам надо развлекаться, как детям. Программирование это очень огромное творчество. На одном телеграм боте только можно столько крутых штук придумать, что вы будете сидеть за кодом даже на отдыхе. Аппетит приходит во время еды. Прошу, ребята, не бросайте, продолжайте учиться, но подходите к некоторым задачам творчески. Если не хочется решать задачи, пишите своего телеграм бота. Прям для себя, чтобы он работал! Показывайте друзьям, коллегам, пусть они вам, как тестировщики, дают обратную связь. Это очень сильно будет вас отвлекать от застоя и заряжать энергией. Круто, если у вас шило в жопе и вы тот человек, который не может сидеть ровно на одном месте. Такое качество вам только в плюс пойдет!

Давайте так, сейчас я уже мидл Дата Инженер. У меня есть телеграм канал, ютуб, подкасты, бусти, а также я веду менторство. И это все приносит дополнительный доход! Сфера очень клевая, деньги есть, бюджеты выделяются. И еще тут очень быстро все развивается. Пожалуйста, поймайте эту волну и давайте серфить вместе!

Пишите в комменты свои вопросы, постараюсь ответить!

И подписывайтесь на мой ТГ канал!

Показать полностью
[моё] IT Большие данные Python Айтишники Текст
15
0
yaroslav1982

Продолжение поста «Предлагаю создать Центры постановки научных проблем»⁠⁠4

1 год назад

Ещё 10 несекретных научных проблем:


21. Распределение прав, обязанностей и ответственности в различных обществах.
22. Исследование ДНК-теста как средство определения подложного отцовства.
23. Исследование звëзд, планет и иных космических тел.
24. Соблюдение прав человека в соответствии с религиозными, национальными и иными убеждениями.
25. Оценка эффективности государственного, регионального и муниципального управления.
26. Роль гражданского общества в принятии законов и иных нормативных актов.
27. Реализация лозунга "Заводы - рабочим, земля - крестьянам!" в XX и XXI веках.
28. Реализация лозунга "Пролетарии всех стран, соединяйтесь!" в XX и XXI веках.
29. Изучение человеческого капитала и инвестиционного климата разных стран и регионов.
30. Влияние людей на экологию.

[моё] Наука Исследования Ученые Финансы Большие данные Научпоп Россия Академия наук Проблемы в отношениях Решение проблемы Технические проблемы Социальные проблемы Социальные проекты Социализм Капитализм СССР Развал СССР Травля Дети Подростки Ответ на пост Текст Волна постов
3
Посты не найдены
О нас
О Пикабу Контакты Реклама Сообщить об ошибке Сообщить о нарушении законодательства Отзывы и предложения Новости Пикабу Мобильное приложение RSS
Информация
Помощь Кодекс Пикабу Команда Пикабу Конфиденциальность Правила соцсети О рекомендациях О компании
Наши проекты
Блоги Работа Промокоды Игры Курсы
Партнёры
Промокоды Биг Гик Промокоды Lamoda Промокоды Мвидео Промокоды Яндекс Маркет Промокоды Пятерочка Промокоды Aroma Butik Промокоды Яндекс Путешествия Промокоды Яндекс Еда Постила Футбол сегодня
На информационном ресурсе Pikabu.ru применяются рекомендательные технологии