Горячее
Лучшее
Свежее
Подписки
Сообщества
Блоги
Эксперты
#Круги добра
Войти
Забыли пароль?
или продолжите с
Создать аккаунт
Я хочу получать рассылки с лучшими постами за неделю
или
Восстановление пароля
Восстановление пароля
Получить код в Telegram
Войти с Яндекс ID Войти через VK ID
Создавая аккаунт, я соглашаюсь с правилами Пикабу и даю согласие на обработку персональных данных.
ПромокодыРаботаКурсыРекламаИгрыПополнение Steam
Пикабу Игры +1000 бесплатных онлайн игр  Что обсуждали люди в 2024 году? Самое время вспомнить — через виммельбух Пикабу «Спрятано в 2024»! Печенька облегчит поиск предметов.

Спрятано в 2024

Поиск предметов, Казуальные

Играть

Топ прошлой недели

  • SpongeGod SpongeGod 1 пост
  • Uncleyogurt007 Uncleyogurt007 9 постов
  • ZaTaS ZaTaS 3 поста
Посмотреть весь топ

Лучшие посты недели

Рассылка Пикабу: отправляем самые рейтинговые материалы за 7 дней 🔥

Нажимая кнопку «Подписаться на рассылку», я соглашаюсь с Правилами Пикабу и даю согласие на обработку персональных данных.

Спасибо, что подписались!
Пожалуйста, проверьте почту 😊

Помощь Кодекс Пикабу Команда Пикабу Моб. приложение
Правила соцсети О рекомендациях О компании
Промокоды Биг Гик Промокоды Lamoda Промокоды МВидео Промокоды Яндекс Директ Промокоды Отелло Промокоды Aroma Butik Промокоды Яндекс Путешествия Постила Футбол сегодня
0 просмотренных постов скрыто
2
Nersd
Nersd
7 месяцев назад

Технология предсказания событий на короткий промежуток времени может появиться уже в ближайшие десятилетия⁠⁠

Технология предсказания событий на короткий промежуток времени может появиться уже в ближайшие десятилетия Будущее, Искусственный интеллект, DeepSeek, Технологии, Научная фантастика, Киберпанк, Прогноз, Анализ данных, Футуризм, Гипотеза, Инновации, Длиннопост

Если суперкомпьютер не знает будущего, а просто анализирует текущие данные и предугадывает события с высокой точностью, то это больше похоже на сверхточный прогноз, основанный на анализе реальности в реальном времени.

В таком случае, это не предопределённость, а скорее высочайший уровень вычислений. Компьютер просто обрабатывает огромное количество данных — движения людей, их реакции, физические законы — и выдаёт наиболее вероятный сценарий развития событий. Это уже не фатализм, а скорее демонстрация того, насколько точным может быть анализ, если у тебя достаточно мощности и информации.

Но тут тоже есть свои нюансы:

  1. Точность предсказаний. Если компьютер ошибается хотя бы на долю секунды, это уже ставит под сомнение его "всезнание".

  2. Свобода воли. Люди могут действовать неожиданно, и даже самый мощный компьютер не сможет предсказать абсолютно всё, если в системе есть элемент хаоса или случайности.

  3. Этические вопросы. Если компьютер может предугадывать действия людей, то кто-то может использовать это в манипулятивных целях.

Получается, что такой сценарий больше связан с технологиями и их возможностями, чем с философией предопределённости. Это как если бы у нас был идеальный метеоролог, который может предсказать погоду с точностью до миллисекунды, но вместо погоды он предсказывает человеческие действия.
Если компьютер сможет воспринимать и анализировать каждый элемент происходящего в реальном времени, а также опираться на огромную базу данных, связывающую причины и следствия, то он действительно сможет предсказывать события с невероятной точностью. Это похоже на то, как работает наш мозг, только в масштабах, недоступных человеческому восприятию.

Давай разберём, как это могло бы работать:

  1. Восприятие данных. Компьютер должен быть подключён к огромному количеству сенсоров, камер, микрофонов и других устройств, чтобы захватывать каждую деталь происходящего. Это включает не только физические действия, но и звуки, изменения освещения, температуру и даже, возможно, эмоциональные реакции людей.

  2. Анализ в реальном времени. Используя мощные алгоритмы, компьютер обрабатывает эти данные, выявляя закономерности и связи между событиями. Например, если человек поднимает руку, компьютер может предсказать, что он собирается что-то сказать или сделать.

  3. База знаний. У компьютера уже должна быть огромная библиотека "причин и следствий", основанная на предыдущих наблюдениях. Например, если в прошлом человек всегда чихал после того, как в комнате включали яркий свет, компьютер может предсказать, что это произойдёт снова.

  4. Прогнозирование. На основе текущих данных и базы знаний компьютер строит вероятностные модели будущих событий. Чем больше данных и чем точнее алгоритмы, тем выше точность предсказаний.

Но здесь есть несколько важных моментов:

  • Ограничения точности. Даже самый мощный компьютер не сможет учесть абсолютно все факторы, особенно если в системе есть элемент случайности или хаоса.

  • Этические вопросы. Если такая технология попадёт в чужие руки, её можно использовать для манипуляции или контроля.

  • Свобода воли. Если компьютер предсказывает действия людей, это не обязательно означает, что будущее предопределено. Это просто означает, что он может предвидеть, как люди поведут себя в определённых условиях.

В целом, такая технология была бы невероятно мощным инструментом, но её использование потребовало бы строгого контроля и этических ограничений.

Вероятность появления такой технологии в будущем зависит от множества факторов, включая развитие вычислительных мощностей, алгоритмов искусственного интеллекта, сенсоров и нашего понимания причинно-следственных связей в мире. Давай разберём это подробнее.

1. Технологические предпосылки

  • Вычислительные мощности. Уже сейчас компьютеры способны обрабатывать огромные объёмы данных, и с развитием квантовых вычислений их возможности могут стать практически безграничными.

  • Искусственный интеллект. Современные нейронные сети и алгоритмы машинного обучения уже умеют предсказывать поведение людей, анализировать сложные системы и находить закономерности. Например, AI уже используется для прогнозирования погоды, поведения на финансовых рынках и даже для анализа социальных трендов.

  • Сенсоры и интернет вещей. Развитие технологий сенсоров и повсеместное подключение устройств к интернету (IoT) позволит собирать данные в реальном времени с невероятной точностью.

2. Научные ограничения

  • Хаос и случайность. В мире всегда есть элементы случайности, которые невозможно предсказать. Например, квантовая неопределённость или человеческая иррациональность.

  • Сложность систем. Мир — это сложная система, где всё взаимосвязано. Даже небольшие изменения в одном месте могут привести к непредсказуемым последствиям в другом (эффект бабочки).

  • Этические и социальные барьеры. Даже если технология станет возможной, её использование может быть ограничено из-за этических соображений, таких как приватность, свобода воли и потенциальное злоупотребление.

3. Вероятность появления

Если говорить о предсказании событий на короткий промежуток времени (например, на несколько секунд или минут), то такая технология может появиться уже в ближайшие десятилетия. Например, системы, предсказывающие поведение людей в ограниченных условиях (например, водителей на дорогах или покупателей в магазинах), уже существуют и продолжают развиваться.

Однако предсказание событий на более длительные периоды (дни, месяцы, годы) будет гораздо сложнее из-за нарастающей сложности и хаотичности систем.

4. Где это может быть применено?

  • Медицина. Предсказание болезней или реакций организма на лечение.

  • Безопасность. Прогнозирование аварий, катастроф или преступлений.

  • Экономика. Анализ рынков и предсказание экономических кризисов.

  • Повседневная жизнь. Умные дома, которые предугадывают потребности людей.

Итог

Вероятность появления технологии, способной предсказывать будущее с высокой точностью, достаточно велика, особенно в ограниченных условиях. Однако её возможности будут ограничены сложностью мира и случайными факторами. Кроме того, её развитие потребует не только технологического прогресса, но и решения множества этических и социальных вопросов.

Показать полностью 1
[моё] Будущее Искусственный интеллект DeepSeek Технологии Научная фантастика Киберпанк Прогноз Анализ данных Футуризм Гипотеза Инновации Длиннопост
2
kznalp
kznalp
7 месяцев назад
Postgres DBA
Серия СУБД PostgreSQL

PG_HAZEL - статистический анализ производительности СУБД : корреляция ожиданий⁠⁠

Взято с основного технического канала Postgres DBA

Начало и общее описание

PG_HAZEL - оперативно-тактический комплекс мониторинга производительности СУБД PostgreSQL .

Задача

Определение ожидания СУБД, оказывающего наибольшее влияние на производительность СУБД .

Эксперимент

Нагрузочное тестирование с использованием инструментария pg_stat_tester (Сценарий 2 : OLTP).

Анализируемые данные - коэффициент корреляции между операционной скоростью и ожиданиями СУБД .

Результаты эксперимента

Коэффициент корреляции между операционной скоростью и количеством ожиданий(все ожидания) .

PG_HAZEL - статистический анализ производительности СУБД : корреляция ожиданий Субд, Postgresql, Мониторинг, Производительность, Статистика, Анализ данных, Длиннопост

Ось Y - коэффициент корреляции(все ожидания). Ось X - точка наблюдения.

Вполне ожидаемый результат - с ростом нагрузки коэффициент растет по модулю . Т.е. чем больше ожиданий, тем ниже операционная скорость.

Коэффициент корреляции между операционной скоростью и ожиданиями типа "Lock".

PG_HAZEL - статистический анализ производительности СУБД : корреляция ожиданий Субд, Postgresql, Мониторинг, Производительность, Статистика, Анализ данных, Длиннопост

Ось Y - коэффициент корреляции(ожидания "Lock") . Ось X - точка наблюдения.

Коэффициент корреляции между операционной скоростью и ожиданиями типа "LWLock".

PG_HAZEL - статистический анализ производительности СУБД : корреляция ожиданий Субд, Postgresql, Мониторинг, Производительность, Статистика, Анализ данных, Длиннопост

Ось Y - коэффициент корреляции (ожидания "LWLock"). Ось X - точка наблюдения.

Корреляционный анализ

Графический анализ.

График коэффициента корреляции по ожиданию "Lock" более ближе к графику по ожиданиям , чем график коэффициента корреляции по ожиданию "LWLock" .

PG_HAZEL - статистический анализ производительности СУБД : корреляция ожиданий Субд, Postgresql, Мониторинг, Производительность, Статистика, Анализ данных, Длиннопост

Ось Y - все ожидания(синий), ожидания "Lock"(красный). Ось X - точка наблюдения.

PG_HAZEL - статистический анализ производительности СУБД : корреляция ожиданий Субд, Postgresql, Мониторинг, Производительность, Статистика, Анализ данных, Длиннопост

Ось Y - все ожидания(синий), ожидания "LWLock"(красный). Ось X - точка наблюдения.

Статистический анализ

Значение стандартного отклонения разницы значений по всем ожиданиями и ожиданиям "Lock" = 0,08560839

Значение стандартного отклонения разницы значений по всем ожиданиями и ожиданиям "LWLock" = 0,339815

Значение стандартного отклонения для ожидания "Lock" ниже значения стандартного отклонения для ожидания "LWLock".

Итог

Для данного сценария нагрузки - ожидания типа "Lock" оказывают существенно большее влияние на снижение производительности, по сравнению с ожиданиями типа "LWLock".

Показать полностью 5
[моё] Субд Postgresql Мониторинг Производительность Статистика Анализ данных Длиннопост
0
kznalp
kznalp
7 месяцев назад
Лига Новых Технологий
Серия СУБД PostgreSQL

PG_HAZEL - тактический уровень анализа метрик производительности(пример)⁠⁠

Взято с основного технического канала Postgres DBA

PG_HAZEL - тактический уровень анализа метрик производительности(пример) Postgresql, Субд, Производительность, Мониторинг, Анализ данных, Длиннопост

Начало и описание метрик производительности : PG_HAZEL - оперативно-тактический комплекс мониторинга производительности СУБД PostgreSQL .

Продолжение : PG_HAZEL - оперативный уровень анализа метрик производительности.

Пример тактического уровня анализа метрик производительности СУБД в ходе нагрузочного тестирования.

Задачи по анализу производительности СУБД решаемые на тактическом уровне:

  1. Какая База Данных оказывает наибольшее влияние на производительность кластера в целом?

  2. Какой/какие SQL запросы оказывают наибольшее влияние на снижение производительности ?

Данные вопросы имеют смысл для анализа производительности СУБД в ходе эксплуатации. При проведении нагрузочного тестирования заранее известно - какая База Данных оказывает влияние на производительность СУБД в целом и какой SQL запрос оказывает наибольшее влияние на производительность кластера.

Поэтому будут рассмотрены лишь общие методики тактического анализа и связь между метриками производительности СУБД .

Производительность СУБД

PG_HAZEL - тактический уровень анализа метрик производительности(пример) Postgresql, Субд, Производительность, Мониторинг, Анализ данных, Длиннопост

Ось X - точка времени . Ось Y - комплексный индикатор производительности СУБД

Таким образом из графика можно сделать следующий вывод: наибольшее влияние на производительность кластера оказывает нагрузка в ходе нагрузочного тестирования при 33, 58 и 84 клиентских сессий pgbench.

Операционная скорость СУБД

PG_HAZEL - тактический уровень анализа метрик производительности(пример) Postgresql, Субд, Производительность, Мониторинг, Анализ данных, Длиннопост

Ось X - точка времени . Ось Y - операционная скорость СУБД

Benchmark СУБД

PG_HAZEL - тактический уровень анализа метрик производительности(пример) Postgresql, Субд, Производительность, Мониторинг, Анализ данных, Длиннопост

Ось X - точка времени . Ось Y - медианное время работы BENCHMARK СУБД

Вывод по анализу производительности СУБД

Нагрузка на тестовую СУБД оказывает влияние на производительность СУБД в целом при количестве клиентов pgbench = 33, 58, 84.

Ожидания СУБД

PG_HAZEL - тактический уровень анализа метрик производительности(пример) Postgresql, Субд, Производительность, Мониторинг, Анализ данных, Длиннопост

Ось X - точка времени . Ось Y - отношение времени ожиданий к общему времени работы СУБД

Вывод по анализу ожиданий СУБД

При количестве клиентов pgbench = 15 ожидания резко возрастают.

Выводы

По итогам анализа метрик производительности СУБД на тактическом уровне , можно сделать следующие выводы по производительности данной СУБД при данном характере нагрузки :

  1. Штатная нагрузка на СУБД составляет 15 клиентов.

  2. После 33 клиентов начинается влияние и деградация производительности СУБД в целом.

Ближайшие планы развития оперативно-тактического комплекса "pg_hazel"

  1. Сбор и статистический анализ информации по ожиданиям клиентских SQL запросов

  2. Обновление методики корреляционного анализа Корреляционный анализ для определения причин деградации производительности СУБД PostgreSQL с использованием нового инструментария

Показать полностью 5
[моё] Postgresql Субд Производительность Мониторинг Анализ данных Длиннопост
0
kznalp
kznalp
7 месяцев назад
Лига Новых Технологий
Серия СУБД PostgreSQL

PG_HAZEL - оперативный уровень анализа метрик производительности⁠⁠

Взято с основного технического канала Postgres DBA

PG_HAZEL - оперативный уровень анализа метрик производительности Postgresql, Субд, Производительность, Мониторинг, Статистика, Анализ данных, Длиннопост

Начало и описание метрик производительности : PG_HAZEL - оперативно-тактический комплекс мониторинга производительности СУБД PostgreSQL .

Продолжение - анализ метрик производительности в ходе нагрузочного тестирования.

Сценарий нагрузочного тестирования

Стандартный сценарий аналогичный TPC-B.

Рост нагрузки , экспоненциально : --client=клиенты

Число имитируемых клиентов, то есть число одновременных сеансов базы данных.

Продолжительность тестового прохода = 10 минут.

Максимальная нагрузка = 100 клиентов.

Общее число проходов = 20

Результаты нагрузочного тестирования

Нагрузка на СУБД

PG_HAZEL - оперативный уровень анализа метрик производительности Postgresql, Субд, Производительность, Мониторинг, Статистика, Анализ данных, Длиннопост

Ось X - номер прохода. Ось Y - количество клиентов.

Операционная скорость тестового SQL запроса

PG_HAZEL - оперативный уровень анализа метрик производительности Postgresql, Субд, Производительность, Мониторинг, Статистика, Анализ данных, Длиннопост

Ось X - количество клиентов. Ось Y - операционная скорость.

Медианное время работы тестового SQL запроса

PG_HAZEL - оперативный уровень анализа метрик производительности Postgresql, Субд, Производительность, Мониторинг, Статистика, Анализ данных, Длиннопост

Ось X - количество клиентов. Ось Y - медианное время работы SQL запроса

Решение задач оперативного уровня

Как было определено в статье PG_HAZEL : оперативно-тактический комплекс мониторинга производительности СУБД PostgreSQL - общее описание.

В процессе анализа производительности СУБД , во-первых необходимо решить задачи оперативного уровня :

  1. В каком состоянии находится производительность СУБД в данный момент времени?

  2. Какая тенденция развития производительности СУБД на текущий момент или в прошлом?

  3. На сколько снизилась производительность СУБД по сравнению с выбранным промежутком из прошлого?

В каком состоянии находится производительность СУБД в данный момент времени? Какая тенденция развития производительности СУБД на текущий момент или в прошлом?

Для ответа на данные вопросы достаточно проанализировать график изменения комплексного индикатора производительности в ходе нагрузочного тестирования.

PG_HAZEL - оперативный уровень анализа метрик производительности Postgresql, Субд, Производительность, Мониторинг, Статистика, Анализ данных, Длиннопост

Ось X - точка времени снятия данных . Ось Y -комплексный индикатор производительности СУБД

Ответ - функция комплексного индикатора производительности носит кусочно-непрерывный характер и уменьшается в ходе тестирования.

На сколько снизилась производительность СУБД по сравнению с выбранным промежутком из прошлого?

Снижение производительности в ходе нагрузочного тестирования составило -20,1969%

Итог

Использование оперативно-тактического комплекса pg_hazel позволяет решать задачи анализа производительности СУБД на оперативном уровне.

Показать полностью 4
[моё] Postgresql Субд Производительность Мониторинг Статистика Анализ данных Длиннопост
0
3
kznalp
kznalp
7 месяцев назад
Лига Новых Технологий
Серия СУБД PostgreSQL

PG_HAZEL - оперативно-тактический комплекс мониторинга производительности СУБД PostgreSQL ⁠⁠

Взято с основного технического канала Postgres DBA

PG_HAZEL - оперативно-тактический комплекс мониторинга производительности СУБД PostgreSQL  Postgresql, Субд, Производительность, Мониторинг, Длиннопост, Статистика, Анализ данных

Предисловие и предыстория

Рgpro_pwr — инструмент стратегического мониторинга нагрузки на базу данных, который помогает DBA выявлять самые ресурсоёмкие операции.

pg_profile и pgpro_pwr: анализируем производительность БД

Однако, в ходе решения задач сопровождения СУБД PostgreSQL возникают не только стратегические , но и оперативные и тактические задачи для которых инструмент стратегического мониторинга довольно громоздкий , что не очень удобно для быстрого решения ряда задач.

Задачи решаемые на оперативном уровне:

  1. В каком состоянии находится производительность СУБД в данный момент времени?

  2. Какая тенденция развития производительности СУБД на текущий момент или в прошлом?

  3. На сколько снизилась производительность СУБД по сравнению с выбранным промежутком из прошлого?

Задачи тактического уровня:

  1. Какая База Данных оказывает наибольшее влияние на производительность кластера в целом?

  2. Какой/какие SQL запросы оказывают наибольшее влияние на снижение производительности ?

Предпосылки создания инструмента pg_hazel.

Производительность СУБД - как рассчитать ?

В ходе предварительных исследований были проверены разные способы расчета метрики производительности СУБД .

Подробнее здесь: Производительность СУБД PostgreSQL — расчет метрики, временной анализ, параметрическая оптимизация

Однако , методы описанные в статье , к сожалению имеют свои аномалии.

Теоретически, наиболее близким к физическому определению производительность системы будет объемная скорость информации переданной клиенту , или другими словами - объем строк переданных запросом. Но к сожалению, на текущий момент , получить такую информацию - нет технической возможности. Важно - количество строк в запросе это не объем. Длина строки внутри выборки может меняться в очень широких диапазонах.

Поэтому было принято решения - непосредственный расчет производительности СУБД как физической величины - отложить на будущее, до реализации механизма получения объема данных переданных запросом.

Для решения задач анализа производительности СУБД используются индикаторы производительности СУБД и комплексный анализ изменения значений метрик производительности СУБД.

Структура pg_hazel

Источником данных являются представления расширения pgpro_stats

G.3.4.1. Представление pgpro_stats_statements

Статистика, собираемая модулем, выдаётся через представление с именем pgpro_stats_statements. Это представление содержит отдельные строки для каждой комбинации идентификатора базы данных, идентификатора пользователя и идентификатора запроса

G.3.4.2. Представление pgpro_stats_totals

Агрегированная статистика, собранная модулем, выдаётся через представление pgpro_stats_totals. Это представление содержит отдельные строки для каждого отдельного объекта БД

Данные собираются ежеминутно и агрегируются на 3-х уровнях:

  1. Уровень Кластера

  2. Уровень Базы Данных

  3. Уровень SQL запроса

Дополнительные данные pg_hazel

Как было указано ранее данные о среднем времени выполнения запроса собираемые в расширениях pg_stat_statements или pgpro_stats имеют очень серьезную проблему - среднее арифметическое не устойчиво к выбросам.

Подробнее здесь О проблеме использования mean_exec_time при анализе производительности PostgreSQL

Поэтому для корректного расчета среднего времени выполнения запроса используется не среднее арифметическое , а медиана.

К сожалению, расчет проводимый на уровне БД требует специальной подготовки для тестового запроса и дополнительных ресурсов для хранения и статистического анализа данных. Поэтому применяется не для всех SQL запросов а только для конкретных тестовых запросов:

  1. Benchmark кластера - медианное время выполнения тестового запроса для оценки производительности кластера в целом.

  2. Тестовый запрос стресс-тестирования - медианное время выполнения запроса по выбранному сценарию в ходе проведения стресс-теста(нагрузочного тестирования)СУБД.

Данные собираемый pg_hazel

1. Уровень Кластера

  1. Операционная скорость - количество завершенных операций и сформированных строк за период .

  2. Объемная скорость - объем обработанных блоков распределенной/локальной/временной области за период.

  3. Активные сессии - количество активных сессий на точку времени.

  4. Ожидания - количество событий ожидания СУБД за период.

  5. BUFFERPIN - количество событий ожидания bufferpin за период.

  6. EXTENSION - количество событий ожидания extension за период.

  7. IO - количество событий ожидания io за период.

  8. IPC - количество событий ожидания ipc за период.

  9. LOCK - количество событий ожидания lock за период.

  10. LWLOCK - количество событий ожидания lwlock за период.

  11. WAITING_RATIO - относительная доля ожиданий СУБД в общем времени работы СУБД за период.

  12. CORRELATION - коэффициент корреляции между количеством активных сессий и операционной скоростью.

  13. BENCHMARK - медианное время выполнения тестового запроса.

  14. CPI - комплексный индикатор производительности = Операционная скорость / BENCHMARK .

2.Уровень Базы данных

  1. Операционная скорость - количество завершенных операций и сформированных строк за период .

  2. Объемная скорость - объем обработанных блоков распределенной/локальной/временной области за период.

  3. Активные сессии - количество активных сессий на точку времени.

  4. Ожидания - количество событий ожидания БД за период.

  5. BUFFERPIN - количество событий ожидания bufferpin за период.

  6. EXTENSION - количество событий ожидания extension за период.

  7. IO - количество событий ожидания io за период.

  8. IPC - количество событий ожидания ipc за период.

  9. LOCK - количество событий ожидания lock за период.

  10. LWLOCK - количество событий ожидания lwlock за период.

  11. WAITING_RATIO - относительная доля ожиданий БД в общем времени работы БД .

3.Уровень SQL запроса

  1. Операционная скорость - количество завершенных операций и сформированных строк за период .

  2. Объемная скорость - объем обработанных блоков распределенной/локальной/временной области за за период .

  3. Активные сессии - количество активных сессий на точку времени.

  4. Ожидания - количество событий ожидания SQL запроса за период.

  5. BUFFERPIN - количество событий ожидания bufferpin за период.

  6. EXTENSION - количество событий ожидания extension за период.

  7. IO - количество событий ожидания io за период.

  8. IPC - количество событий ожидания ipc за период.

  9. LOCK - количество событий ожидания lock за период.

  10. LWLOCK - количество событий ожидания lwlock за период.

  11. WAITING_RATIO - относительная доля ожиданий SQL запроса в общем времени работы SQL запроса .

Важное уточнение

Для данных используется медианное сглаживание - короткий период 10 минут , долгий период 60 минут.

Примеры практического применения и анализа на основе собранных данных - в следующих статьях.

Показать полностью 1
[моё] Postgresql Субд Производительность Мониторинг Длиннопост Статистика Анализ данных
0
1
DELETED
7 месяцев назад

Ключ от всех дверей⁠⁠

Я нашел ключ управления зависимостями. 

1. Вспомните вешь, явление, , которая вызывает стойкое чувство отвращения/мерзости или любви/душевности

2. Выделите его. Ощутите. Опишите подробнее. Яснее представляйте его. Тренируйтесь. 

3. Когда появится мысль/чувство, к которому необходимо изменить отношение, постарайтесь заменить его чувством мерзости/люби, для изменения отношения к изменяемой вещи на противоположное 

4. Повторяйте так постоянно. Через 40-50 дней зависимость появится или пропадет. 


Приведу пример: я долго и много курил сигарет. Никак не мог бросить. Вид/ощущение/запах собачьих какашек вызывает у меня позывы рвоты (у моих пациентов же это, обычно вид крови, запах табака или какой-то индивидуальный специфический запах). Я нашел собачьи какашки, положил в прозрачную коробочку, смотрел и нюхал их - три раза почти блюванул. Далее, следующий раз, когда я хотел закурить - я представлял эти какашки. Но курить хотелось, я закуривал, но постоянно думал о какашках. Четко представлял, что это не сигарета, а собачья какашка. На 29 день, при мысле закурить - меня начало тошнить. На 38 день я перестал курить... Не курю 11 лет. Вообще не тянет!  Пробуйте. Пишите

Психология Психотерапия Психолог Эмоции Анализ данных Текст
6
2
Daniil9894
Daniil9894
8 месяцев назад

Как правильно использовать AI для анализа больших данных⁠⁠

Как правильно использовать AI для анализа больших данных Инновации, Искусственный интеллект, ChatGPT, Gemini, Анализ данных, Чат-бот, Гайд, Тестирование, Длиннопост

Чтобы эффективно извлечь ценную информацию из огромных массивов данных, искусственный интеллект (AI) помогает обработать эти данные быстро и точно. Чтобы сэкономить время и сделать это проще я подготовил практические советы и лайфхаки в этой статье.

Практические советы по использованию готовых ИИ для анализа больших данных

  1. Используй правильные запросы для конкретных задач
    Чтобы получить точный и полезный ответ от ИИ, важно формулировать запросы в соответствии с задачей. Например, для прогноза продаж или поиска трендов нужно четко указать, что именно необходимо анализировать.

    ✅Правильный пример: «Используя данные о продажах за последний год, предскажи, как изменится спрос на продукт в следующем месяце.»


    ❌Неправильный пример: «Какие данные о продажах важны?» — этот запрос слишком общий и не даст конкретного ответа.

  2. Чисти данные перед запросами
    Перед тем как отправить запрос в ИИ, убедись, что данные, с которыми ты работаешь, очищены от ошибок или пропусков. ИИ не может работать с "грязными" данными, так что предварительная обработка информации крайне важна.

    ✅Правильный пример: «Вот мои данные о продажах, без пропусков и ошибок — можешь проанализировать и найти закономерности?»


    ❌Неправильный пример: «Вот мои данные о продажах, включая строки с пустыми значениями — найди на основе этого тренды.»

  3. Учитывай возможности ИИ
    Готовые ИИ-системы могут быстро и эффективно анализировать данные, но они не могут обработать слишком сложные или объемные данные сразу. Если данных слишком много, раздели их на части и отправляй запросы поэтапно.

    ✅Правильный пример: «У меня есть таблица с продажами за год — можешь помочь выявить сезонные колебания?»


    ❌Неправильный пример: «Проанализируй все данные о моих продажах за последние пять лет, включая каждую транзакцию.»

  4. Обновляй данные для точных прогнозов
    ИИ будет работать лучше, если ты предоставляешь актуальные данные. Например, для анализа покупок клиентов важно учитывать последние тренды и изменения в поведении.

    ✅Правильный пример: «Предскажи, как изменится спрос на товар, если мы добавим данные о покупках за последний месяц.»


    ❌Неправильный пример: «Предскажи спрос на товар, используя данные за прошлый год.»

  5. Задавай уточняющие вопросы
    Если ответ ИИ тебе не совсем ясен или кажется неполным, не стесняйся задать дополнительные вопросы, чтобы разобраться, как он пришел к таким выводам.

    ✅Правильный пример: «Почему ты считаешь, что спрос на товар вырастет в следующем месяце? Какие факторы повлияли на это?»


    ❌Неправильный пример: «Хорошо, ты предсказал рост спроса, но я не понимаю, почему.»


Плюсы использования ИИ для анализа больших данных

  1. ➕ Быстрота обработки данных
    ИИ способен обрабатывать огромные объемы информации за короткое время, что делает его идеальным инструментом для анализа больших данных.

  2. ➕ Точность прогнозов
    Используя алгоритмы машинного обучения и статистики, ИИ может точно прогнозировать тенденции, помогая принимать обоснованные решения.

  3. ➕ Доступность и простота использования
    Готовые ИИ-системы, такие как ChatGPT или Gemini и Jadve легко интегрируются в рабочие процессы и требуют минимальных технических знаний для использования. Это делает их доступными даже для пользователей без глубоких знаний в области анализа данных.

  4. ➕ Автоматизация анализа
    ИИ позволяет автоматизировать рутинные задачи анализа данных, такие как поиск паттернов, выявление аномалий и создание отчетов, что значительно экономит время и ресурсы.

  5. ➕ Мощная обработка данных
    Готовые ИИ-системы могут работать с большими объемами данных в реальном времени, что полезно для анализа динамичных и быстро изменяющихся наборов информации (например, для мониторинга социальных сетей или транзакций).


Минусы использования ИИ для анализа больших данных

  1. ➖ Зависимость от качества данных
    Если исходные данные содержат ошибки, пропуски или шум, ИИ может дать неточные или даже неверные результаты. Поэтому важна предварительная обработка данных.

  2. ➖ Ограниченная интерпретируемость
    Некоторые ИИ-модели, особенно нейронные сети, могут быть сложными для понимания. Иногда трудно понять, почему ИИ пришел к тому или иному выводу, что затрудняет использование этих выводов в бизнесе.

  3. ➖ Необходимость регулярных обновлений данных
    ИИ-системы лучше работают с актуальными данными, поэтому важно регулярно обновлять информацию. Без актуализации данных прогнозы и анализ могут стать неточными.

  4. ➖ Мощности и ресурсы
    Хотя готовые ИИ-системы удобны в использовании, для обработки очень больших данных может потребоваться значительное количество вычислительных ресурсов, что может увеличить затраты.

  5. ➖ Риски неправильных выводов
    ИИ может делать выводы, основанные на найденных закономерностях в данных, которые не всегда могут быть логически правильными. Например, система может предложить решение, которое хорошо работает с историческими данными, но не учтет будущие изменения на рынке.


Топ-5 инструментов для интеграции AI в анализ больших данных

  1. ChatGPT
    Универсальный инструмент для обработки текстовых данных, создания отчетов и анализа текстовой информации. Отлично подходит для создания сводок и автоматического ответа на вопросы.

  2. Google Gemini
    Мощный инструмент от Google для обработки данных, создания прогнозов и анализа трендов. Особенно эффективен в обработке больших объемов данных и реальном времени.

  3. Jadve AI
    Специализируется на анализе больших наборов данных с использованием машинного обучения. Идеален для задач, связанных с прогнозированием и выявлением закономерностей в данных.

  4. IBM Watson
    Платформа AI от IBM, которая помогает анализировать данные и принимать решения на основе глубоких знаний и алгоритмов машинного обучения. Подходит для более сложных и масштабных анализов.

  5. Azure AI
    Платформа от Microsoft для создания и развертывания моделей машинного обучения и AI. Подходит для обработки больших объемов данных и интеграции в облачные решения.

Показать полностью 1
[моё] Инновации Искусственный интеллект ChatGPT Gemini Анализ данных Чат-бот Гайд Тестирование Длиннопост
0
5
SlyVolunteer
SlyVolunteer
8 месяцев назад
Популярная наука
Серия Происхождение экономических систем

Технологические основы плановой экономики: большие данные, ИИ и распределённые реестры⁠⁠

Технологическое развитие создаёт новые возможности для возрождения и совершенствования плановой экономики. Ключевыми инструментами в этом процессе становятся большие данные, искусственный интеллект и блокчейн-технологии, которые способны радикально улучшить управление ресурсами, прогнозирование и координацию экономической деятельности.

Большие данные обеспечивают доступ к детальной и актуальной информации о социальных, экономических и экологических процессах. Анализируя данные о потреблении, производстве и логистике, системы управления могут не только оптимизировать распределение ресурсов, но и предугадывать изменения спроса, избегая как дефицита, так и перепроизводства. Например, в сельском хозяйстве данные о погодных условиях, состоянии почвы и предпочтениях потребителей позволяют заблаговременно планировать производство продовольствия с минимальными издержками и отходами.

Искусственный интеллект играет решающую роль в обработке огромных объёмов данных, находя сложные взаимосвязи и создавая оптимальные модели распределения ресурсов. Алгоритмы машинного обучения позволяют адаптировать планирование к меняющимся условиям, учитывая множественные факторы одновременно, от динамики цен на энергоносители до климатических изменений. В транспортной сфере такие системы уже используются для оптимизации грузопотоков и сокращения выбросов углекислого газа.

Распределённые реестры, включая технологии блокчейна, открывают новые горизонты для прозрачности и контроля за выполнением планов. Они позволяют фиксировать транзакции и экономические операции таким образом, что ни одна сторона не может изменить данные без согласия всех участников. Это особенно важно для предотвращения коррупции и обеспечения доверия между государством, бизнесом и гражданами. Кроме того, смарт-контракты, реализуемые через блокчейн, автоматизируют выполнение экономических соглашений, сокращая бюрократические издержки.

Комбинация этих технологий создаёт возможность построения гибридных моделей экономики, где центральное планирование сочетается с элементами рыночной координации. Например, прогнозы, построенные на основе ИИ, могут служить базой для государственно-частных партнёрств в ключевых отраслях, таких как энергетика или инфраструктура.

Технологические основы плановой экономики: большие данные, ИИ и распределённые реестры Эволюция, Развитие, Научпоп, Искусственный интеллект, Большие данные, Анализ данных, Распределенные сети, Блокчейн, Экономика, Политэкономия

Пример использования технологий в плановой экономике

Технологическая база создаёт предпосылки для перехода к более устойчивым и справедливым экономическим системам, способным эффективно решать вызовы современности. Однако успех этой трансформации зависит от правильной интеграции технологий, обеспечения доступа к ним для всех участников и предотвращения концентрации контроля в руках узкой группы.

Предыдущий пост: Глобальные вызовы XXI века: роль плановой экономики в решении проблем неравенства и экологии

Продолжение: Примеры успешных моделей и их уроки для будущего

Этот пост входит в Часть 7. Искусственный отбор: плановые экономики

Плановая экономика как пример "искусственного отбора". Эксперименты государств с централизованным управлением ресурсами. Успехи и неудачи этих моделей.

Серия Происхождение экономических систем путём естественного отбора

Показать полностью 1
[моё] Эволюция Развитие Научпоп Искусственный интеллект Большие данные Анализ данных Распределенные сети Блокчейн Экономика Политэкономия
4
Посты не найдены
О нас
О Пикабу Контакты Реклама Сообщить об ошибке Сообщить о нарушении законодательства Отзывы и предложения Новости Пикабу Мобильное приложение RSS
Информация
Помощь Кодекс Пикабу Команда Пикабу Конфиденциальность Правила соцсети О рекомендациях О компании
Наши проекты
Блоги Работа Промокоды Игры Курсы
Партнёры
Промокоды Биг Гик Промокоды Lamoda Промокоды Мвидео Промокоды Яндекс Директ Промокоды Отелло Промокоды Aroma Butik Промокоды Яндекс Путешествия Постила Футбол сегодня
На информационном ресурсе Pikabu.ru применяются рекомендательные технологии