WikiDer > Матрица путаницы
Источники: Fawcett (2006),[1] Полномочия (2011),[2] Тинг (2011),[3], CAWCR[4] Д. Чикко и Г. Джурман (2020),[5] Тарват (2018).[6] |
В области машинное обучение и конкретно проблема статистическая классификация, а матрица путаницы, также известная как матрица ошибок,[7] представляет собой конкретный макет таблицы, который позволяет визуализировать производительность алгоритма, обычно контролируемое обучение один в обучение без учителя его обычно называют матрица соответствия). Каждая строка матрица представляет экземпляры в прогнозируемом классе, а каждый столбец представляет экземпляры в фактическом классе (или наоборот).[8] Название проистекает из того факта, что оно позволяет легко увидеть, не путает ли система два класса (т. Е. Часто ошибочно маркируют один как другой).
Это особый вид Таблица сопряженности, с двумя измерениями («фактическое» и «прогнозируемое») и идентичными наборами «классов» в обоих измерениях (каждая комбинация измерения и класса является переменной в таблице непредвиденных обстоятельств).
Пример
Для выборки из 13 изображений 8 кошек и 5 собак, где кошки принадлежат к классу 1, а собаки относятся к классу 0,
- фактическое = [1,1,1,1,1,1,1,1,0,0,0,0,0],
Предположим, что классификатор, который проводит различие между кошками и собаками, обучен, и мы берем 13 изображений и пропускаем их через классификатор, и классификатор делает 8 точных прогнозов и пропускает 5: 3 кошек, ошибочно предсказанных как собак (первые 3 прогноза) и 2 собаки ошибочно предсказаны как кошки (последние 2 прогноза).
- прогноз = [0,0,0,1,1,1,1,1,0,0,0,1,1]
С помощью этих двух помеченных наборов (фактический и прогнозный) мы можем создать матрицу путаницы, которая суммирует результаты тестирования классификатора:
|
В этой матрице путаницы из 8 изображений кошек система решила, что 3 были собаками, а из 5 изображений собак она предсказала, что 2 были кошками. Все правильные прогнозы расположены по диагонали таблицы (выделены жирным шрифтом), поэтому можно легко визуально проверить таблицу на предмет ошибок прогноза, поскольку они будут представлены значениями за пределами диагонали.
В абстрактном смысле матрица путаницы выглядит следующим образом:
|
где: P = положительный; N = отрицательный; TP = истинно положительный; FP = ложноположительный результат; TN = истинно отрицательный; FN = ложноотрицательный.
Таблица путаницы
В прогнозная аналитика, а таблица путаницы (иногда также называют матрица путаницы) представляет собой таблицу с двумя строками и двумя столбцами, в которой указано количество ложные срабатывания, ложные отрицания, истинные положительные моменты, и истинные негативы. Это позволяет проводить более подробный анализ, чем простая пропорция правильных классификаций (точности). Точность приведет к ошибочным результатам, если набор данных несбалансирован; то есть, когда количество наблюдений в разных классах сильно различается. Например, если в данных было 95 кошек и только 5 собак, конкретный классификатор мог бы классифицировать все наблюдения как кошек. Общая точность будет 95%, но, более подробно, классификатор будет иметь 100% степень распознавания (чувствительность) для класса кошек, но уровень распознавания 0% для класса собак. Оценка F1 в таких случаях еще более ненадежен, и здесь будет давать более 97,4%, тогда как информированность устраняет такую предвзятость и дает 0 как вероятность обоснованного решения для любой формы угадывания (здесь всегда угадывающий кот).
Согласно Давиде Чикко и Джузеппе Юрману, наиболее информативным показателем для оценки матрицы неточностей является Коэффициент корреляции Мэтьюза (MCC).[9]
Предполагая приведенную выше матрицу путаницы, соответствующая ей таблица ошибок для класса cat будет:
Фактический класс | ||||
---|---|---|---|---|
Кот | Не кошка | |||
Предсказанный учебный класс | Кот | 5 истинных плюсов | 2 ложных срабатывания | |
Не кошка | 3 ложных отрицания | 3 истинных отрицания |
Окончательная таблица путаницы будет содержать средние значения для всех классов вместе взятых.
Определим эксперимент из п положительные примеры и N отрицательные примеры для какого-то состояния. Четыре исхода можно сформулировать в виде 2 × 2 матрица путаницы, следующее:
Истинное состояние | ||||||
Всего населения | Состояние положительное | Состояние отрицательное | Распространенность = Σ Условие положительное/Σ Всего населения | Точность (АКК) = Σ Истинно положительный + Σ Истинно отрицательный/Σ Всего населения | ||
Прогнозируемое состояние положительный | Истинно положительный | Ложный положительный результат, Ошибка типа I | Положительная прогностическая ценность (PPV), Точность = Σ Истинно положительный/Σ Прогнозируемое состояние положительное | Уровень ложного обнаружения (FDR) = Σ Ложноположительный/Σ Прогнозируемое состояние положительное | ||
Прогнозируемое состояние отрицательный | Ложноотрицательный, Ошибка типа II | Правда отрицательный | Уровень ложных пропусков (ДЛЯ) = Σ Ложноотрицательный/Σ Прогнозируемое состояние отрицательное | Отрицательная прогностическая ценность (ЧПС) = Σ Истинно отрицательный/Σ Прогнозируемое состояние отрицательное | ||
Истинно положительная оценка (TPR), Отзывать, Чувствительность, вероятность обнаружения, Мощность = Σ Истинно положительный/Σ Условие положительное | Ложноположительная ставка (FPR), Выпадать, вероятность ложной тревоги = Σ Ложноположительный/Σ Условие отрицательное | Отношение положительного правдоподобия (LR +) = TPR/FPR | Соотношение диагностических шансов (DOR) = LR +/LR− | F1 счет = 2 · Точность · Отзыв/Точность + отзыв | ||
Ложноотрицательная ставка (FNR), Рейтинг промахов = Σ Ложноотрицательный/Σ Условие положительное | Специфика (SPC), селективность, Истинная отрицательная ставка (TNR) = Σ Истинно отрицательный/Σ Условие отрицательное | Отрицательное отношение правдоподобия (LR-) = FNR/TNR |
Рекомендации
- ^ Фосетт, Том (2006). «Введение в ROC-анализ» (PDF). Письма с распознаванием образов. 27 (8): 861–874. Дои:10.1016 / j.patrec.2005.10.010.
- ^ Пауэрс, Дэвид М. В. (2011). «Оценка: от точности, отзыва и F-меры к ROC, информированности, значимости и корреляции». Журнал технологий машинного обучения. 2 (1): 37–63.
- ^ Тинг, Кай Мин (2011). Саммут, Клод; Уэбб, Джеффри I (ред.). Энциклопедия машинного обучения. Springer. Дои:10.1007/978-0-387-30164-8. ISBN 978-0-387-30164-8.
- ^ Брукс, Гарольд; Браун, Барб; Эберт, Бет; Ферро, Крис; Джоллифф, Ян; Ко, Тие-Йонг; Роббер, Пол; Стивенсон, Дэвид (26 января 2015 г.). «Совместная рабочая группа ВПМИ / РГЧЭ по исследованиям для проверки прогнозов». Сотрудничество в области исследований погоды и климата Австралии. Всемирная метеорологическая организация. Получено 2019-07-17.
- ^ Chicco D, Jurman G (январь 2020 г.). «Преимущества коэффициента корреляции Мэтьюза (MCC) над оценкой F1 и точность оценки бинарной классификации». BMC Genomics. 21 (1): 6-1–6-13. Дои:10.1186 / s12864-019-6413-7. ЧВК 6941312. PMID 31898477.
- ^ Тарват А. (август 2018 г.). «Классификационные методы оценки». Прикладные вычисления и информатика. Дои:10.1016 / j.aci.2018.08.003.
- ^ Stehman, Стивен В. (1997). «Выбор и интерпретация мер точности тематической классификации». Дистанционное зондирование окружающей среды. 62 (1): 77–89. Bibcode:1997RSEnv..62 ... 77S. Дои:10.1016 / S0034-4257 (97) 00083-7.
- ^ Пауэрс, Дэвид М. В. (2011). «Оценка: от точности, отзыва и F-меры к ROC, информированности, значимости и корреляции». Журнал технологий машинного обучения. 2 (1): 37–63. S2CID 55767944.
- ^ Chicco D, Jurman G (январь 2020 г.). «Преимущества коэффициента корреляции Мэтьюза (MCC) над оценкой F1 и точность оценки бинарной классификации». BMC Genomics. 21 (1): 6-1–6-13. Дои:10.1186 / s12864-019-6413-7. ЧВК 6941312. PMID 31898477.