Горячее
Лучшее
Свежее
Подписки
Сообщества
Блоги
Эксперты
#Круги добра
Войти
Забыли пароль?
или продолжите с
Создать аккаунт
Я хочу получать рассылки с лучшими постами за неделю
или
Восстановление пароля
Восстановление пароля
Получить код в Telegram
Войти с Яндекс ID Войти через VK ID
Создавая аккаунт, я соглашаюсь с правилами Пикабу и даю согласие на обработку персональных данных.
ПромокодыРаботаКурсыРекламаИгрыПополнение Steam
Пикабу Игры +1000 бесплатных онлайн игр Герои Войны - микс стратегии и РПГ. Собери лучшую армию и победи всех врагов. В игре 7 различных режимов - как для любителей PvE, так и PvP.

Герои Войны

Стратегии, Мидкорные, Экшены

Играть

Топ прошлой недели

  • SpongeGod SpongeGod 1 пост
  • Uncleyogurt007 Uncleyogurt007 9 постов
  • ZaTaS ZaTaS 3 поста
Посмотреть весь топ

Лучшие посты недели

Рассылка Пикабу: отправляем самые рейтинговые материалы за 7 дней 🔥

Нажимая кнопку «Подписаться на рассылку», я соглашаюсь с Правилами Пикабу и даю согласие на обработку персональных данных.

Спасибо, что подписались!
Пожалуйста, проверьте почту 😊

Помощь Кодекс Пикабу Команда Пикабу Моб. приложение
Правила соцсети О рекомендациях О компании
Промокоды Биг Гик Промокоды Lamoda Промокоды МВидео Промокоды Яндекс Директ Промокоды Отелло Промокоды Aroma Butik Промокоды Яндекс Путешествия Постила Футбол сегодня
0 просмотренных постов скрыто
zashibis0
3 месяца назад
Лига образования

3 ошибки, которые ухудшают качество анализа информации через DeepSeek, ChatGPT и прочие LLM⁠⁠

В этом видео вы узнайте: Как способ подачи информации в нейросети влияет на качество анализа. Как исправить то, что LLM могут выдать, на первый взгляд неплохой отчет, но при этом, они не учтут большую часть.

Разбор реальных примеров ошибок + способы это исправить.

Если вам интересны такие практические примеры применения LLM (DeepSeek, ChatGPT и пр.) для работы, учебы и жизни - то подписывайтесь на мой тг-канал

[моё] ChatGPT DeepSeek Аналитика Анализ данных Искусственный интеллект Нейронные сети Видео RUTUBE
0
scutdusty
4 месяца назад
Аналитика данных

Творожок Часть 5 разбираемся с ETL и ELT⁠⁠

Загрузка, причесывание итрансформация данных завершены, че с ними делать мы определились. Но что если данных овердохуя?

Задача: Выебать бабу и оставить ее в кровати.

У нас есть два подхода, которые зависят от комплекции бабы и размера кровати:

Если баба жирная, тяжелая, неповоротливая и сходу сложно понять, как ее выебать, а дома у тебя вместо кровати целый траходром – положи сперва ее на кровать, а потом разбирайся как будешь ее оприходовать. Ежели баба похожа на Дюймовочку, и всю одежду с нее можно просто сдуть, намного приятнее и быстрее начать ебать ее сразу, где ты ее застал. Тем более если у тебя односпальная кровать в которой тесно и одному. А потом уже можно и в кровать ее уложить отдыхать.

Если данные жирные и корявые – положи их сперва в хранилку (облака, озера и прочую хуйню), там их можно потом пилить и обрабатывать. Если данные худенькие и стройненькие – обрабатывай их на лету и после этого клади в хранилку.

В этом суть ETL и ELT подхода к обработке и хранению данных, где Extract – Едешь к бабе, L – Ложишь ее и T – трахаешь.

Если бабенка маленькая и низкорослая, то ты сразу сможешь дотянуться до всего что тебе надо. Если бабища настолько большая что до всего сразу и не дотянуться, то трахать ее тоже можно по частям разметив ее предварительно на слои (типа первый слой – это верх бабы и низ бабы, второй слой – жопа, пизда и рот). Гуглите ODS и DDS.

Продолжение следует…

[моё] Аналитика Программирование Мат Данные Анализ данных Большие данные Python Bi Текст
0
497
PiterAn2
PiterAn2
5 месяцев назад
Лига мобильной связи

Ответ trapwalker в «Почти 16 миллионов сим-карт было заблокировано в России с 1 по 6 апреля»⁠⁠4

Задача решается элементарным автоматическим анализом логов базовых станций. Если операторы сотовой связи не делают это, то следовало бы.

К сожалению, задача не решается... ОПСОСы не хотят попасть под санкции и не дают использовать свое оборудование в военных целях. Еще в 2016 году (Сети GSM включат в систему противоракетной обороны | Статьи | Известия) можно было начинать внедрять и совершенствовать, но хрен там был. Бабки важнее безопасности государства. Даже на вышки не дают ничего поставить.

"Сергей, по поводу отсутствия акустических регистраторов (направленных микрофонов) на базовых станциях российских сотовых сетей. Дело в том, что даже на третьем году СВО крупняк телекома по-прежнему пытается оставаться белым и пушистым и не попасть под американские санкции. И поскольку базовые станции - часть core business, то руководство компаний жёстко пересекает любые попытки внедрения решений, имеющих отношение к военке.

Обсуждали в октябре 2023 года возможность создания акустического "поля" с базовыми станциями в вершинах - однозначный ответ руководства "никаких военных решений на базовой сети".


Просто уважаемые бизнесмены воюют за другую сторону. Вопросов больше не имею." (Telegram: View @SergeyKolyasnikov).

А вы "триангуляция, скорости, алгоритмы, анализ"... ОПСОСы настолько гордые птицы, что не летят даже после пинка. Только законодательное принуждение.

Чтоб два раза не вставать: с 2014 года роуминг в Крыму. Отменили его когда? Только сейчас! (МТС последним из операторов "большой четверки" отменит роуминг в Крыму - РИА Новости, 08.04.2025) "Сотовый оператор Т2 отменил роуминг в октябре 2024 года, "Билайн" - в январе 2025 года, а "Мегафон" - в конце февраля."

Тут мем с Козловским за рулём.

Показать полностью
Сотовые операторы Спецоперация Анализ данных Ответ на пост Текст Telegram (ссылка) Политика Волна постов
99
976
trapwalker
trapwalker
5 месяцев назад
Лига мобильной связи
Серия Есть идея

Ответ на пост «Почти 16 миллионов сим-карт было заблокировано в России с 1 по 6 апреля»⁠⁠4

Ещё не помешало бы блокировать сим-карты, которые регистрируются на вышках сотовой связи так, будто перемещаются быстрее, чем даже теоретически можно ехать по дороге. По принципу штрафов за среднюю скорость на участке.

Есть гипотеза, что сим-карты записанные на бомжей используют для беспилотников, чтобы управлять их полётным заданием удалённо.

Если видим, что симка регистрируется на сотах так, будто летит со скоростью 100 км\ч по прямой, там где, может быть, и дорог-то нет, то нужно эту симку брать на учет, отслеживать её не отключая, сообщать военным, полиции и в МЧС, инициировать проверку как где кем и на кого регистрировалась сим-карта.

Задача решается элементарным автоматическим анализом логов базовых станций. Если операторы сотовой связи не делают это, то следовало бы.

[моё] Сотовые операторы Сим-карта Блокировка Спецоперация Беспилотник ВСУ Анализ данных Ответ на пост Текст Волна постов
377
3
zashibis0
5 месяцев назад
Искусственный интеллект

Визуализация 226 комментариев с помощью Genspark⁠⁠

Недавно Тимофей Мартынов провел мощный опрос предпринимателей на своем ресурсе: "Как обстоят дела в вашем бизнесе?".

226 комментариев — кладезь инсайтов, но читать и осмыслить это крайне неудобно.

Я хотел решить это с помощью разных ИИ, но не хотелось потратить на них кучу времени. И тут бывшие работники Google и Baidu выпустили Genspark  — решение, которое обещало решить эту задачу одним махом.

Визуализация с помощью Genspark:

Визуализация 226 комментариев с помощью Genspark Анализ данных, Визуализация, Видео, YouTube, Длиннопост

Ссылка на полные версии ниже Смотреть, как он пробует это все делать — одно удовольствие (сам обходит таблицу, размечает данные, создает презентацию)

Ссылка на rutube:


Краткие шаги, как я это сделал:

  1. Сбор данных: В Perplexity.ai попросил Python-код для выгрузки комментариев в Excel (Я так и нес мог добиться от агентов, чтобы они нормально работали комментариями. Теряют фокус, не видят часть комментариев...).

  2. Анализ в Genspark: Забил очень простой промпт: «Автор сделал опрос: „Напомню, что я регулярно раз в несколько месяцев задаю предпринимателям и бизнесменам один и тот же вопрос: РАССКАЖИТЕ, КАК ОБСТОЯТ ДЕЛА В ВАШЕМ БИЗНЕСЕ, ЧТО ИЗМЕНИЛОСЬ ЗА ПОСЛЕДНИЕ МЕСЯЦЫ?“
    Задание: 1. ПРочитай каждый комментарии на этой странице к посту
    2. Если комментарий отвечает на вопрос атора, то создай таблицу, где будут отрасль (1 — 2 слова), настрой в комментарии по 5-ти бальной шкале ( Где 1 совсем плохо стало, 5 дела идут отлично), краткая цитата комментатора.
    3. Создай инфографику или презентацию, на которой отобрази выделенную Отрасль и настрой и и возможно, цитаты (если не будет перегружено) Комментарии я заранее собрал, возьми из таблицы, столбец „Текст“
    .

  3. Важно: Сервис не работает из РФ.


Результат:

Версии выложены на сайте Genspark  (не придумал как сюда вставить)

  • Вариант 1

  • Вариант 2

Запустил дважды — получил разные (это неудивительно, учитывая, что делает LLM), но  в целом не противоречивые результаты.

Чем интересен этот сервис:

  • Докрутив промпт, можно делать очень неплохие решения (точно буду использовать для работы).

  • Обещают, что умеет не только анализировать: планирует поездки, звонит (США), пишет код.

Ложка дегтя:

  • Бесплатно только 200 кредитов — хватило на 1 презу

Вопросы к знатокам:

  1. Если кто-то знает, как сделать, чтобы агенты не теряли фокус при чтении комментариев (когда их много, будет полезно

  2. Подал таблицу 226 комментов. 1 запуск вариант по простому промпту вернул 30, второй 40 штук. А реально их там я не знаю сколько) Промпт простой, но один и тот же, Как добиться стабильности? Какими-то итерациями в промпте сервис надо заставить идти?


мой Telegram-канал — Motorico, где я пишу как применяю LLM для работы в офисе и жизни.
Пишу, правда, по настроению, выдавливать посты не хочу. Но больше чем тут 🙂.

Показать полностью 1 1
[моё] Анализ данных Визуализация Видео YouTube Длиннопост
1
3
pikabu.education
pikabu.education
5 месяцев назад
Серия Аналитика

Топ-5 курсов по анализу данных⁠⁠

Аналитик данных — одна из самых востребованных профессий. Компании ищут специалистов, способных превращать разрозненные цифры в понятные бизнес-решения.  Мы проанализировали 5 программ от ведущих образовательных платформ, чтобы помочь вам найти оптимальный вариант — в зависимости от ваших целей, уровня подготовки и предпочтений в обучении.
Мы тщательно анализируем плюсы и минусы каждого курса, опираясь на мнение пользователей как на нашей платформе, так и на других ресурсах. Изучите реальные отзывы студентов и найдите подходящий для вас курс на платформе Pikabu Курсы.

  • Курс «Аналитик данных» от Академия Eduson

  • Курс «Аналитик данных» от SF Education

  • Курс «Анализ данных с нуля» от Skypro

  • Курс «Полный курс по анализу данных» от Skillfactory

  • Курс «Аналитик данных» от Бруноям

Топ-5 курсов по анализу данных Онлайн-курсы, Учеба, Анализ данных, Обучение, Длиннопост

Обзор курсов

1. Курс «Аналитик данных» от Академия Eduson
Вы научитесь работать с ключевыми инструментами аналитика данных: Excel, Google Sheets, SQL, Python, Power BI, Power Query, VBA и языком М. Узнаете, как проводить A/B-тестирование, строить дашборды, анализировать метрики бизнеса и презентовать результаты заказчику. Ознакомитесь с математической статистикой, разведочным анализом данных и корреляционными методами.

Топ-5 курсов по анализу данных Онлайн-курсы, Учеба, Анализ данных, Обучение, Длиннопост

Цена: 245 496 ₽
Цена со скидкой: 98 184 ₽
Длительность: 6 месяцев.
Подробности:

  • практико-ориентированность;

  • актуальные инструменты;

  • помощь в составлении резюме, портфолио и подготовке к собеседованиям;

  • большой объем материала;

  • формат подходит не всем (упор на записи и тренажеры).

  • доступ к курсу и обновлениям навсегда;

  • диплом о профессиональной переподготовке;

  • поддержка куратора в течение одного года;

  • налоговый вычет.

Посмотреть программу курса >>>

2. Курс «Аналитик данных» от SF Education
Вы научитесь работать с ключевыми инструментами аналитика данных: Excel, Google Таблицы, SQL, Python, Power BI, Power Query, Tableau и VBA. Узнаете, как проводить финансовый анализ, строить дашборды, автоматизировать рутину. Разберетесь в математической статистике, A/B-тестировании и бизнес-анализе.

Топ-5 курсов по анализу данных Онлайн-курсы, Учеба, Анализ данных, Обучение, Длиннопост

Цена: 259 992 ₽
Цена со скидкой: 83 184 ₽
Длительность: 4 месяца.
Подробности:

  • практико-ориентированность;

  • актуальные инструменты;

  • диплом HISTES и аккредитация IIBA;

  • доступ к курсу и обновлениям навсегда;

  • неравномерная нагрузка;.

  • много теории в бонусах;

  • обилие дополнительных тем;

  • нашли отзыв с жалобой на процедуру возврата средств;

  • нашли отзыв с жалобой на работу преподавателя.

Посмотреть программу курса >>>

3. Курс «Анализ данных с нуля» от Skypro
Вы научитесь прогнозировать экономические показатели бизнеса, отслеживать тренды и формулировать гипотезы роста на основе данных. Узнаете, как автоматизировать обработку больших массивов информации и переводить цифры в понятные бизнес-решения. Изучите ключевые инструменты аналитики данных, разберетесь в их применении на реальных кейсах и ознакомитесь с требованиями работодателей.

Топ-5 курсов по анализу данных Онлайн-курсы, Учеба, Анализ данных, Обучение, Длиннопост

Цена: зависит от тарифа.
Длительность: не нашли информацию.
Подробности:

  • практическая направленность;

  • бонусы: курс по нейросетям, год английского в Skyeng, скидки на другие программы;

  • вечный доступ к материалам;

  • неясная программа — детали и программу можно получить только после звонка с менеджером, сложно оценить глубину тем самостоятельно (например, какие именно инструменты изучаются);

  • трудоустройство гарантировано только на индивидуальном тарифе.

Посмотреть программу курса >>>

4. Курс «Полный курс по анализу данных» от Skillfactory
Вы научитесь превращать сырые данные в бизнес-решения — от базовых Google-таблиц до сложного анализа на Python и Power BI. Узнаете, как работают аналитики в E-commerce, GameDev и On-Demand сферах. Изучите SQL, статистику, A/B-тестирование и визуализацию данных. Разберетесь в продуктовых метриках и юнит-экономике.

Топ-5 курсов по анализу данных Онлайн-курсы, Учеба, Анализ данных, Обучение, Длиннопост

Цена: зависит от тарифа.
Длительность: 10 месяцев.
Подробности:

  • практика с первого дня;

  • реальные кейсы;

  • глубокое погружение в E-commerce, GameDev, On-Demand;

  • большой объем: 300+ упражнений по Python и 200+ по SQL могут перегрузить новичков;

  • основы статистики и аналитики даны сжато (упор на тренажеры);

  • диплом о профессиональной переподготовке;

  • налоговый вычет.

Посмотреть программу курса >>>

5. Курс «Аналитик данных» от Бруноям
Вы научитесь профессионально работать с данными: от базовых SQL-запросов до сложного анализа в Python и создания дашбордов в Tableau/Power BI. Узнаете, как проводить A/B-тесты, строить прогнозные модели и визуализировать результаты для бизнеса. Изучите ключевые инструменты аналитика (Excel, Power Query, SQL, Python, Pandas, Tableau, Power BI) и разберетесь в статистике, юнит-экономике и Big Data.

Топ-5 курсов по анализу данных Онлайн-курсы, Учеба, Анализ данных, Обучение, Длиннопост

Цена: зависит от тарифа.
Длительность: 4 месяца.
Подробности:

  • актуальная программа, обновляется каждые 3 месяца с учетом трендов;

  • максимум практики;

  • анализ временных рядов (ARIMA, Holt-Winters);

  • дашборды в Tableau/Power BI;

  • кейсы по A/B-тестированию и юнит-экономике;

  • поддержка трудоустройства;

  • глубокий охват тем;

  • высокая интенсивность;

  • минимум теории по статистике, упор на практику, но без глубокого объяснения математики (например, p-value даны кратко).

Посмотреть программу курса >>>

Реклама. ООО Эдюсон, ИНН 7729779476, erid: LdtCKXSTq, ООО СОВРЕМЕННЫЕ ФОРМЫ ОБРАЗОВАНИЯ, ИНН 7841081586, erid: LdtCKNoev, АНО ДОПОЛНИТЕЛЬНОГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ СКАЕНГ, ИНН 9709022748, erid: LdtCKGzko, ООО Скилфэктори, ИНН 9702009530, erid: LdtCK5EkP, ООО БРУНОЯМ, ИНН 7840502496, erid: LdtCK4uLs.

Показать полностью 6
Онлайн-курсы Учеба Анализ данных Обучение Длиннопост
0
kznalp
kznalp
5 месяцев назад
Postgres DBA
Серия СУБД PostgreSQL

Анализ инцидентов производительности СУБД PostgreSQL с использованием PG_HAZEL⁠⁠

Взято с основного технического канала Postgres DBA ( возможны правки и дополнения в исходной статье ).

Анализ инцидентов производительности СУБД PostgreSQL с использованием PG_HAZEL Postgresql, Субд, Производительность, Мониторинг, Анализ данных, Длиннопост

Зри в корень.

Начало

"Индикатор снижения скорости" как сигнал для начала корреляционного анализа ожиданий СУБД.

Продолжение

Практическое применение индикатора для проведения анализа инцидентов снижения скорости СУБД .

Постановка задачи

Провести анализ инцидентов производительности СУБД-1 по данным мониторинга индикатора снижения скорости.

Анализ инцидентов производительности СУБД PostgreSQL с использованием PG_HAZEL Postgresql, Субд, Производительность, Мониторинг, Анализ данных, Длиннопост

Дашборд в Zabbix.

Порядок проведения анализа инцидентов производительности СУБД

Определение инцидента

Инцидентом снижения производительности СУБД является событие снижения операционной скорости СУБД и одновременный рост ожиданий СУБД в течении заданного периода времени.

Приоритет инцидента определяется абсолютным значением коэффициента корреляции между значениями операционной скорости и ожиданиями :

  • Приоритет 4 : |коэффициент корреляции| < 0.5

  • Приоритет 3 : |коэффициент корреляции| >= 0.5

Окончание инцидента - отсутствие корреляции между операционной скоростью и ожиданиями СУБД.

1.Отчет по инцидентам

Анализ инцидентов производительности СУБД PostgreSQL с использованием PG_HAZEL Postgresql, Субд, Производительность, Мониторинг, Анализ данных, Длиннопост

Таблица по инцидентам за заданный период

Столбцы таблицы

  • ID : идентификатор инцидента

  • START TIME : время начала инцидента

  • FINISH TIME : время окончания инцидента

  • SPEED REGRESSION LINE SLOPE : угол наклона линии наименьших квадратов для значений операционной скорости СУБД

  • WAITINGS REGRESSION LINE SLOPE : угол наклона линии наименьших квадратов для значений ожиданий СУБД

  • CORRELATION : коэффициент корреляции между операционной скоростью и ожиданиями

  • IO CORRELATION : коэффициент корреляции между ожиданиями СУБД и ожиданиями типа IO

  • IPC CORRELATION : коэффициент корреляции между ожиданиями СУБД и ожиданиями типа IPC

  • LWLOCK CORRELATION : коэффициент корреляции между ожиданиями СУБД и ожиданиями типа LWLOCK

Результаты отчета:

  • Наибольшая корреляция между ожиданиями и типом ожидания IPC

  • Наименьшая корреляция между ожиданиями и типом IO

Результаты отчета:

  • Наибольшая корреляция между ожиданиями и типом ожидания IPC

  • Наименьшая корреляция между ожиданиями и типом IO

Итог:

Наибольшее влияние на снижение операционной скорости в заданный период играют ожидания типа IPC

Серверный процесс ожидает взаимодействия с другим процессом.

2.Отчеты по SQL запроса и типам ожидания на примере анализа по типу IPC

Ожидания типа IPC

Анализ инцидентов производительности СУБД PostgreSQL с использованием PG_HAZEL Postgresql, Субд, Производительность, Мониторинг, Анализ данных, Длиннопост

TOP-10 SQL выражений по доле ожиданий по выражению среди всех ожиданий типа IPC

толбцы таблицы:

  • QUERYID : значение queryid из представления pgpro_stats

  • PGPRO_PWR QUERYID : шестнадцатеричное значение queryid для использования в отчетах pgpro_pwr.

  • CALLS : количество выполнений за период инцидентов

  • WAITINGS : количество ожиданий типа IPC за период инцидентов

  • WAITINGS TO CALLS : отношение количеств ожиданий типа IPC по SQL выражению к количеству выполнений. Ожиданий на одно выполнение.

  • WAITINGS PPM : относительное значение( в промилле ) ожиданий по типу IPC для данного SQL выражения ко всем ожиданиям типа IPC.

Результат

В результате анализа данных отчета , можно установить SQL запрос/запросы оказывающие наибольшее влияние на количество ожиданий типа IPC. И оптимизация которых окажет наибольший эффект на скорость СУБД.

Анализ по типам ожидания IO , LWLock проводится аналогичным образом.

3. SQL выражения, имеющие набольшие значения ожиданий

Анализ инцидентов производительности СУБД PostgreSQL с использованием PG_HAZEL Postgresql, Субд, Производительность, Мониторинг, Анализ данных, Длиннопост

Сводная таблица по SQL отсортированная по отношению количества ожиданий к количеству выполнений.

В результате анализа данных отчета , можно установить SQL запрос/запросы оказывающие наибольшее влияние на ожидания СУБД . И оптимизация которых окажет наибольший эффект на скорость СУБД.

Итоги и планы развития

Мониторинг инцидентов скорости СУБД и сбор статистической информации по инцидентам позволит собрать начальные данные для проведения анализа производительности СУБД за более длительный период времени - неделя, месяц, квартал. И послужит базой для начала работ по процессу управления проблемами производительности СУБД.

Показать полностью 4
[моё] Postgresql Субд Производительность Мониторинг Анализ данных Длиннопост
0
63
archiguk
archiguk
5 месяцев назад
IT-юмор
Серия M E M E L O S A U R U S

Котолитики⁠⁠

Котолитики Юмор, Мемы, Странный юмор, Картинка с текстом, Telegram (ссылка), Кот, IT юмор, Профессиональный юмор, Математический юмор, Аналитика, Анализ, Данные, Анализ данных

Котостатисты, котометрики и другие котолитики 🐈

Показать полностью 1
Юмор Мемы Странный юмор Картинка с текстом Telegram (ссылка) Кот IT юмор Профессиональный юмор Математический юмор Аналитика Анализ Данные Анализ данных
2
Посты не найдены
О нас
О Пикабу Контакты Реклама Сообщить об ошибке Сообщить о нарушении законодательства Отзывы и предложения Новости Пикабу Мобильное приложение RSS
Информация
Помощь Кодекс Пикабу Команда Пикабу Конфиденциальность Правила соцсети О рекомендациях О компании
Наши проекты
Блоги Работа Промокоды Игры Курсы
Партнёры
Промокоды Биг Гик Промокоды Lamoda Промокоды Мвидео Промокоды Яндекс Директ Промокоды Отелло Промокоды Aroma Butik Промокоды Яндекс Путешествия Постила Футбол сегодня
На информационном ресурсе Pikabu.ru применяются рекомендательные технологии