Простыми словами про метрики в ИИ. Классификация. Confusion matrix, Accuracy
Привет, Пикабу! Меня зовут Александр Троицкий, я автор канала AI для чайников, и я запускаю серию коротких статей по метрикам качества моделей для машинного обучения!
Confusion Matrix - это основа основ результатов моделей ИИ, а Accuracy (или точность) - самая простая метрика. Сегодня разберемся что это такое и как они считаются.
Зачем вообще нужны метрики в моделях ИИ? Чаще всего их используют, чтобы сравнивать модели между собой, абстрагируясь от бизнес метрик. Если вы будете смотреть только на бизнес-метрики (например, NPS клиентов или выручка), то можете упустить из-за чего реально произошло снижение или повышение показателей вашего бизнеса. Например, вы сделали новую версию модели лучше предыдущей (метрики модели лучше), но в то же самое время пришёл экономический кризис и люди перестали покупать ваш продукт (упала выручка). Если бы в этой ситуации вы не замеряли показатели модели, то могли бы подумать, что из-за новой версии модели упала выручка, хотя упала она не из-за модели. Пример довольно простой, но хорошо описывает почему нужно разделять метрики модели и бизнеса.
Для начала надо сказать, что метрики моделей бывают двух типов в зависимости от решаемой задачи:
1. Классификации - это когда вы предсказываете к чему именно относится то или иное наблюдение. Например, перед вами картинка и вы должны понять, что на ней, а ответа может быть три: это либо собачка, либо кошечка, либо мышка.
К одному из под-методов классификации относится бинарная классификация: либо единичка, либо нолик. То есть мы предсказываем либо перед нами кошечка, либо это не кошечка.
2. Регрессии - это когда вы предсказываете какую-то величину на основании предыдущего опыта. Например, вчера цена биткоина была на уровне 32.000 долларов, а на завтра вы прогнозируете ее на уровне 34.533 доллара. То есть вы ищете какое-то число.
Соответственно метрики, на которые смотрят при работе с моделями тоже разные. В этом посте я расскажу именно про классификацию.
Confusion matrix
Для начала надо усвоить таблицу снизу. Она называется confusion matrix (матрица ошибок). Допустим, наша модель предсказывает купят ли некие люди слона. Потом мы пошли продавать им слона и оказалось, что часть людей слона купили, а часть - не купили.
Так вот результаты такого исследования можно разбить на четыре группы:
Модель сказала, что человек купит слона и он купил слона! -> True Positive (TP)
Модель сказала, что человек не купит слона, а он взял и купил слона! -> False Negative (FN)
Модель сказала, что человек купит слона, но он не купил его, когда ему предложили -> False Positive (FP)
Модель сказала, что человек не купит слона. И он действительно его не купил -> True Negative (TN)
Accuracy
Теперь давайте разберем самую простую и базовую метрику качества, про которую чаще всего говорят заказчики, не понимающие в ML. Называется она accuracy или точность. Смотрим выше на confusion matrix и запоминаем как считается точность модели:
Accuracy = (TP+TN)/(TP+TN+FP+FN)
Accuracy используют редко, потому что она дает плохое представление о качестве модели, если у нас не сбалансированны классы. Например, у нас есть 100 картинок котиков и 10 картинок собачек. Пускай для упрощения скажем, что котики - это 0, а собачки - это 1 (перейдем к бинарной классификации). В данном примере котики и собаки - это два класса. Собак меньше, чем котиков в 10 раз - значит выборка из картинок не сбалансирована.
Например, наша модель правильно определила 90 котиков из 100. Получается True Negative = 90, False Negative = 10.
Еще наша модель определила правильно 5 собачек из 10. Получается True Positive = 5, False Positive = 5.
Подставив данные в нашу формулу получим, что accuracy тут равен 86,4. Однако если бы мы просто сказали, что на всех картинках котики, то получили бы accuracy 90, хотя для этого и никакой модели и не нужно. И вот казалось бы, угадывая достаточно много картинок (аж 86%!) наша модель на самом деле плохая.
Заключение
В следующей статье я продолжу рассказывать про метрики ИИ, в том числе более ходовые Precision, Recall, F-score, ROC-AUC. А дальше коснусь метрик регрессии: MSE, RMSE, MAR, R-квадрат, MAPE, SMAPE.
Если вам интересно знать про ИИ и машинное обучение больше, чем рядовой человек, но меньше, чем data scientist, то подписывайтесь на мой канал в Телеграм. Я пишу редко, но по делу: AI для чайников. Подписывайтесь!
Attire
Порфировая чаша — крупнейшая сохранившаяся чаша античности
Порфировая чаша в Музее Ватикана — самая большая цельная каменная чаша античности.
Чаша изготовлена из гигантского куска порфира.
Порфиром называют целую группу вулканических пород. Порфир является универсальным материалом. В древности из него делали топоры, купели, бюсты, саркофаги... Порфир являлся универсальным материалом.
Диаметр чаши составляет почти 15 метров.
Изначально чашу расположили в дворце императора Нерона в Риме. Позже её перевезли в Ватикан, где она и находится по сей день.
Красноватый оттенок чаши объясняется присутствием минерала гематита. Насыщенного цвета удалось добиться благодаря полировке воском и маслом. Чаша установлена на бронзовой плите с четырьмя львиными ногами.
Взятие монголами Рязани (21 декабря 1237 г.) и археологические доказательства зверств монголов
После разгрома рязанских дружин на Воронеже монголы быстро двинулись в глубь Рязанского княжества. Они пересекли «Половецкое поле», безлесное пространство между Рановой и Пронью, и пошли вниз по реке Прони, разрушая пронские города. «Начаша воевати землю Рязаньскую и плениша ее до Проньска», — отмечает летописец.
Автор «Повести о разорении Рязани Батыем» сообщает о страшном разгроме Рязанской земли и гибели пронских городов: «Град Пронск и град Бель(Белгород) и Ижеславец разори до основания». Ижеславец после «Батыева погрома» вообще прекратил существование: археологический материал, обнаруженный на городище древнего Ижеславца, целиком укладывается в хронологические рамки XI—XIII вв.. Уцелели только северо-восточные лесные районы Рязанского княжества, которые подверглись опустошению в 1239 г. во время похода татар на Муром.
16 декабря монголы подошли к Рязани: «тогда иноплеменници оступиша град Рязань декабря 16 и острогомъ оградиша». Город Рязань, столица большого и сильного княжества, был хорошо укреплен. В городе укрылся князь Юрий Ингваревич с остатками своей дружины «затворися в граде с людьми», которые после решительного разгрома в битве на р. Воронеж серьезного сопротивления оказать уже не могли. Судя по всему, профессиональных военных среди обороняющихся было немного, но, несмотря на это, без боя столицу княжества никто сдавать не стал.
Внушительный характер Рязанской цитадели позволял предполагать, что кочевники, каковыми признавались монголы, не станут тратить силы на приступ: валы Старой Рязани были мощным сооружением и достигали высоты 9—10 м (при ширине у основания 23—24 м); рвы имели до 8 м глубины. Мощные деревянные стены, рубленые торасами, дополняли картину укреплений города.
Рязань осадили объединенные силы монголов во главе с самим Батыем. Рашид-ад-Дин пишет, что «Бату, Орда, Гуюк-хан, Менгу-хан, Кулькан, Кадан и Бури сообща осадили город Арпан (Рязань) и в три дня взяли его» (по русским летописям – за 5-6 дней).
В китайской истории монгольской династии Юань («Юань ши»), составленной в 1369 г. и содержащей жизнеописания выдающихся монгольских военачальников, в частности участвовавших в европейском походе, сообщается лишь о двух крупных боевых столкновениях с русскими: битва на Калке и штурм Рязани: «Подошли к городу Елицзянь (Рязань) 7 дней длилось великое сражение, (после чего) взяли его». А про будущего великого хана Мунке (Менгу) сказано, что он «вместе с великим князем Баду участвовал в карательном походе против русских, [и когда] дошли до города Елицзянь, лично дрался в рукопашную, [после чего] разрушили ее (Рязань)».
Эти сообщения явно указывают на особое значение битвы за Рязань, которую монголы считали одним из ключевых сражений всего похода. Спустя много лет в далеком Китае вспоминали кровопролитное семидневное сражение. Кроме того, отмечалось личное участие одного из ханов в рукопашной схватке. Рязанцы заставили монголов напрячь силы.
На шестой день осады, 21 декабря 1237 г., последовал решительный штурм города, Рязань пала, ее защитники и почти все население были перебиты, а город уничтожен: «взяли татары приступом город... убили князя Юрия Ингваревича и его княгиню, а людей умертвили,— одних огнем, а других мечом, мужчин, и женщин, и детей, и монахов, и монахинь, и священников; и было бесчестие монахиням, и попадьям, и добрым женам, и девицам перед матерями и сестрами. Только епископа сохранил Бог, он уехал в то время, когда татары окружили город. И, перебив людей, а иных забрав в плен, татары зажгли город».
Свидетельства письменных источников о разрушении Рязани и уничтожении населения полностью подтверждаются археологическими материалами. Братские могилы впервые отмечены при раскопках В.А. Городцова 1926 г. в траншеях восточной части Северного городища (вскрыто 47 погребений), но правильной интерпретации не получили. Раскопки этого кладбища продолжены А.Л. Монгайтом: юго-западная (зимняя) ориентация, повреждения костей рубящим оружием, стрела, вонзившаяся в позвонок одного из погибших, позволили прийти к заключению, что большая группа из 90 погребений связана с событиями 1237 г.
Раскоп 21 расположен на Подоле, на самом краю первой надпойменной террасы – мысу, который образован устьем оврага, выходящим к низкому берегу Оки. Работы проведены в 1977-1978 гг. На раскопе открыта братская могила жертв монгольского нашествия, занимающая всю его территорию (76 сохранившихся погребений). Вся площадь, занятая коллективным захоронением, намного больше и распространяется к востоку и югу, где раскопки не проводились.
Погибшие похоронены, как правило, без гробов, в общем котловане глубиной до 1 м. Они положены рядами, вплотную друг к другу, в три яруса. Включения угля в засыпке, а также подстилающий захоронения слой угля и обожженной глины, прослеженный в северо-западной части раскопа, позволяют предположить, что перед рытьем братской могилы смерзшуюся землю разогревали кострами.
Ввиду неудовлетворительной сохранности костей, из 76 погребений удалось установить пол и возраст у 34 + 6 детских – итого 40. Среди них преобладают молодые мужчины – главные защитники Рязани (11) и женщины от 35 лет и старше, по тем временам считавшиеся пожилыми, которых монголы не брали в плен (10). Мало девушек (1) и молодых женщин (3), а также юношей (5), которые становились невольниками завоевателей.
Незначительное число пожилых мужчин (4) объясняется тем, что в те времена немногие доживали до 40 лет. Хрупкость костей не способствует сохранности скелетов очень маленьких детей (6). Следовательно, изученные Т.И. Алексеевой краниологические серии из старорязанских братских могил отражают не столько поло-возрастной состав городского населения, сколько пунктуально разработанную репрессивную систему монголов. Мужчин, взятых в плен, за исключением квалифицированных ремесленников, зверски убивали, женщин, отроков и детей обращали в рабство.
Пленникам рубили головы (обилие отдельных черепов на раскопе 21, их скопления у Спасского собора, в саркофагах и гробах Борисоглебского), отрубали кисти рук: в женском погребении 6, например, правая рука резко согнута к плечу, а кости ее кисти лежат на поясе. Открыто захоронение мужчины с маленьким ребенком на груди (погребение 19): голова ребенка лежала на правой руке мужчины, а левой он прижимал его к себе.
В некоторых случаях возможны захоронения расчлененных на части тел (погребение 38); в погребении 48 отсутствует череп, в погребении 55 рубящим оружием снесена его верхняя часть, а в погребении 16 рассечена верхняя челюсть, а нижняя отсутствует. В погребении 18 рубящим оружием повреждена тазовая кость справа и бедро у тазобедренного сустава. Обнаружено погребение беременной женщины: в области тазовых костей мелкие обломки черепа младенца, кусочки ребер и другие косточки (погребение 62).
Погребения в братской могиле совершены по христианскому обряду. Ориентировка западная, покойники лежат в вытянутом положении, на спине. Разнообразное положение рук, особенно когда одна, обычно правая (в 16 случаях), или обе (один раз) резко согнуты к плечам, объясняется не отходом от христианских канонов (старались скрещивать руки на груди или животе), а тем, что трупы долгое время пролежали «на земле пусте, на траве ковыле, снегом и льдом померзнувшие». Их хоронили в закоченевшем виде.
Раскоп у Фатьяновки расположен на правобережье Серебрянки, на самой вершине Соколиной горы, где в XIX – нач. ХХ в. располагалась усадьба помещиков Стерлиговых. Раскоп площадью 100 м2, работы проведены в 1979 г.
Здесь открыта та же картина, что на раскопе 21: часть обширной братской могилы жертв монгольского нашествия. Был вырыт общий котлован гл. до 1,3 м, убитых клали рядами, без гробов (в пределах раскопа – 4 ряда) и в 3 яруса друг над другом; каждый ярус слегка присыпали землей. Основная часть засыпки братской могилы представляла собой культурный слой второй половины XII – первой трети XIII в., что свидетельствует об интенсивной застройке участка. Возможно, здесь существовал отдельный приход с деревянной церковью – одной из высотных доминант Рязани. Тогда становится понятен и выбор места для коллективного захоронения защитников Рязани.
В некоторых погребениях – признаки насильственной смерти: в мужском погребении 58 – пролом черепа в средней части венечного шва; в мужском погребении 50 в области сердца, между ребер, лежал черешковый наконечник стрелы с обломанным острием; в мужском погребении 64 наконечник стрелы найден в области живота, стрела шиловидная, с простым упором. Разнообразие в положении рук объясняется захоронением смерзшихся трупов.
Всего вскрыто 67 погребений. На основе изучения костных материалов поло-возрастные определения выполнены А. А. Петруцким. Поло-возрастной состав убитых показателен и в целом совпадает с братской могилой на раскопе 21. Преобладают мужчины (20) в возрасте от 30 до 40 лет, самому старшему 45-50; среди женщин (22) почти нет моложе 25 лет, большинству от 30 до 40, в трех случаях 55-60 лет. Детских погребений 10. Полностью отсутствуют захоронения юношей и девушек: эти категории пленников не подлежали уничтожению и были угнаны монголами.
Драматическая картина тотального разгрома Рязани, открытая раскопками, полностью соответствует рассказам восточных и древнерусских источников о завоеваниях Чингисхана и его преемников, проводивших планомерную политику выжженной земли и массового террора.
До сих пор археологи фиксируют на территории Старой Рязани большое количество коллективных могил того времени, руины, клады и толстый слой пожарища. Город фактически закончил свое существование и, превратившись в руины, заполненные грудами мертвых тел, вскоре сошел до уровня села. Его статус изменился не сразу, но люди более в него не шли. Это было тяжелое место, одно большое и неухоженное кладбище.
По материалам:
Даркевич В.П., Борисевич Г.В. Древняя столица Рязанской земли.
Каргалов В.В. Внешнеполитические факторы развития феодальной Руси.
Хрусталев Д.Г. Русь: от нашествия до "ига" (30—40 гг. XIII в.).
Иллюстрация: Монголы у стен русского города (зима 1237/1238 гг.). Художник Олег Федоров.
Помогите убрать Яндекс))
Сейчас постараюсь понятно объяснить, в чем проблема.
Пользуюсь Хромом, поиск тоже гугловский.
Последние несколько месяцев при вводе запроса вылетают подсказки, при нажатии на них улетаю в Яндекс поиск (на скринах).
Мне это нафиг не нужно, не люблю я Яндекс вообще. Хотелось бы вернуть всё, как было. Чтобы подсказки были такие же, как раньше.
Все, что нашла по этому поводу, перепробовала, ничего не помогает.
Из Яндекса у меня на телефоне ничего нет. Осенью было установлено Яндекс го, во время нахождения в СПб. По возвращении удалила, тк у нас оно не работает.
Кто понимает в этом, помогите от этой заразы избавиться, пожалуйста!
Ответ lisoid в «Развеселить свинью - сделано!»2
Итак, пол года живут у меня два самца, брали с приюта уже годовалыми, загон 70х140 см, весёлые активные, орут и бегают, периодически выпускаем по дивану побегать на тряпочке, чтобы потом не чистить диван. Ссутся да, согласен с ТС, если заболели то это вафли, деньги как вода в песок уйдут. По затратам и уходу, меняем пелёнки, подушку, гамак и опилки раз в неделю, подушку и гамак в стирку, есть запасные, опилки 20 литров мешок на один раз, пелёнки 4 штуки за раз 60х90 вроде бы, суммарно 560 рублей месяц. По еде, мелкий ещё не отошёл от болезни, поэтому сейчас усиленно докармливаем, в обычном режиме трава(укроп, петрушка, кинза, сельдерей, салат листовой, мята и базилик) в районе 800-900 рублей месяц, травяные гранулы около 350 рублей месяц, сено 500 рублей месяц, зимой тыква 100 рублей месяц, летом свежескошенная трава бесплатно(спасибо газону на даче). Можно накинуть ещё вкусняшки всякие 1000 где то раз в пол года, воду и мусорные мешки вообще не считаю. Итого, две свиньи в месяц требуют 2500 где-то, стартовое вложение будет в районе 10к, если заболели серьёзней чем простудой, то 20-25к в регионах, в Питере или Москве х3.