Привет, Вы узнаете о том , что такое качества в задачах классификации, Разберем основные их виды и особенности использования. Еще будет много подробных примеров и описаний. Для того чтобы лучше понимать что такое качества в задачах классификации, recision, recall, f-мера, roc-кривая , настоятельно рекомендую прочитать все из категории Вычислительный интеллект.

Оценка качества в задачах классификации — это процесс измерения эффективности модели машинного обучения в предсказании классов объектов. Существует несколько стандартных метрик, которые часто используются для оценки качества классификации:

1. Точность (Accuracy):

   • Показывает долю правильных предсказаний по отношению к общему числу примеров.
   • Формула: Количество правильных предсказаний /Общее количество примеров

2. Точность (Precision):

   • Измеряет долю правильных положительных предсказаний относительно всех положительных предсказаний. Формула: True Positives/(True Positives + False Positives )

3. Полнота (Recall или Sensitivity):

   • Измеряет долю правильных положительных предсказаний относительно всех реальных положительных примеров. Формула: True Positives/(True Positives + False Negatives )

4. F1-мера (F1-Score):

   • Гармоническое среднее точности и полноты. Эта метрика обычно используется, когда есть необходимость учесть обе стороны - точность и полноту. Формула: 2×(Precision×Recall)/(Precision + Recall )

5. ROC-AUC (Receiver Operating Characteristic - Area Under the Curve):

   • Измеряет площадь под кривой ROC, которая показывает зависимость между долей верных положительных предсказаний и долей ложных положительных предсказаний при изменении порога классификации.

6. Матрица ошибок (Confusion Matrix):

   • Таблица, представляющая собой сравнение фактических и предсказанных классов. Она включает в себя True Positives (TP), True Negatives (TN), False Positives (FP) и False Negatives (FN).

7. Специфичность (Specificity):

   • Измеряет долю правильных отрицательных предсказаний относительно всех реальных отрицательных примеров. Формула: (True Negatives)/(True Negatives + False Positives )

8. Метрика Коэна (Cohen's Kappa):

   • Измеряет степень согласованности между предсказаниями модели и реальными значениями, учитывая случайную согласованность.

Выбор метрик зависит от конкретной задачи и требований бизнеса. Важно учитывать контекст и веса ошибок в зависимости от целей классификации.

Общие понятия

• TP — true positive: классификатор верно отнес объект к рассматриваемому классу.
• TN — true negative: классификатор верно утверждает, что объект не принадлежит к рассматриваемому классу.
• FP — false positive: классификатор неверно отнес объект к рассматриваемому классу.
• FN — false negative: классификатор неверно утверждает, что объект не принадлежит к рассматриваемому классу.

Здесь про TP, TN, FP, FN и понятия, через них выражающиеся, мы говорим в рамках одного класса бинарной классификации. То есть, в такой системе подразумевается, что реальное число объектов класса 0 (для бинарного случая 0/1) может выражаться как TP₀ + FN₀ = FP₁ + TN₁

Confusion matrix (матрица ошибок / несоответствий / потерь, CM)

Вычисление TP, FP, FN по CM

— квадратная матрица размера k × k, где CMt,c — число объектов класса t , которые были квалифицированны как класс c , а k — число классов. Значения ячеек CM могут быть вычислены по формуле: , где yi — реальный класс объекта, а yi^ — предсказанный.

Для бинарного случая:

Для многоклассовой классификации матрица несоответствий строится по тому же принципу:

В этом случае TP, TN, FP и FN считаются относительно некоторого класса (i) следующим образом:

Простые оценки качества в задачах классификации

• Accuracy — (точность) показывает долю правильных классификаций. Несмотря на очевидность и простоту, является одной из самых малоинформативных оценок классификаторов.

Acc=(TP + TN)/(TP + TN + FP + FN)

• Recall — (полнота, sensitivity, TPR (true positive rate)) показывает отношение верно классифицированных объектов класса к общему числу элементов этого класса.

Recall=TP/(TP + FN)

• Precision — (точность, перевод совпадает с accuracy)показывает долю верно классифицированных объектов среди всех объектов, которые к этому классу отнес классификатор.

Precision=TP/(TP + FP )

• Specificity — показывает отношение верных срабатываний классификатора к общему числу объектов за пределами класса. Об этом говорит сайт https://intellect.icu . Иначе говоря, то, насколько часто классификатор правильно не относит объекты к классу.

Specificity=TN /(FP + TN)

• Fall-out — (FPR (false positive rate)) показывает долю неверных срабатываний классификатора к общему числу объектов за пределами класса. Иначе говоря то, насколько часто классификатор ошибается при отнесении того или иного объекта к классу.

FPR=FP.(FP + TN)

Ввиду того, что такие оценки никак не учитывают изначальное распределение классов в выборке (что может существенно влиять на полученное значение), также существуют взвешенные варианты этих оценок (в терминах многоклассовой классификации):

• Precision

• Recall

Различные виды агрегации Precision и Recall

Примеры и картинки взяты из лекций курса «Введение в машинное обучение» К.В. Воронцова

Арифметическое среднее:

Линии уровня для среднего арифметического

A=(1/2) *(precision + recall)

• Если precision = 0.05, recall = 1, то A = 0.525
• Если precision = 0.525, recall = 0.525, то A = 0.525.
• Первый классификатор — константный, не имеет смысла.
• Второй классификатор показывает неплохое качество.

Таким образом, взятие среднего арифметического не является показательным.

Минимум:

Линии уровня для минимума

M = min(precision, recall)

• Если precision = 0.05, recall = 1, то M = 0.05
• Если precision = 0.525, recall = 0.525, то M = 0.525.

То есть, довольно неплохо отражает качество классификатора, не завышая его.

• Если precision = 0.2, recall = 1, то M = 0.2.
• Если precision = 0.2, recall = 0.3, то M = 0.2.

Но не отличает классификаторы с разными неминимальными показателями.

Гармоническое среднее, или f-мера :

Линии уровня для F-меры

• Если precision = 0.05, recall = 1, то F = 0.1.
• Если precision = 0.525, recall = 0.525, то F = 0.525.
• Если precision = 0.2, recall = 1, то F = 0.33.
• Если precision = 0.2, recall = 0.3, то F = 0.24.

Является наиболее точным усреднением, учитывает оба показателя.

Геометрическое среднее, или Индекс Фоулкса–Мэллова (Fowlkes–Mallows index)

Менее строгая мера.

F-мера

Для общей оценки качества классификатора часто используют F₁-меру. Оригинально она вычисляется для позитивного класса случая бинарной классификации, обобщается с помощью приниципа «‎один против всех» (описан подробнее ниже, для многоклассовой классификации). F₁-мера — среднее гармоническое между precision и recall:

Среднее гармоническое взвешенное F_β (F₁-мера — частный случай F_β-меры для β = 1). F_β измеряет эффективность классификатора учитывая recall в β раз более важным чем precision:

F-мера для многоклассовой классификации. Три вида усреднения

Принцип усреднения различных F-мер для нескольких классов

Вычисление TP, FP, FN для многоклассовой классификации

Для вычисления F-меры (и других) метрик в рамках многоклассовой классификации используется подход «один против всех»: каждый класс ровно один раз становится «положительным», а остальные — отрицательным (пример вычисления изображен на матрице).

Таким образом, в зависимости от этапа вычисления, на котором производится усреднение, можно вычислить micro-average, macro-average и average F-меры (логика вычисления изображена на схеме справа). Микро- и макро-:

где для micro-average precision и recall вычислены из усредненных TP, FP, FN;

для macro-average precision и recall вычислены из усредненных precision_i, recall_i;

Усредненная:

где i — индекс класса, а k — число классов.

roc-кривая

ROC-кривая; оранжевым показан идеальный алгоритм, фиолетовым — типичный, а синим — худший

Для наглядной оценки качества алгоритма применяется ROC-кривая. Кривая строится на плоскости, определенной TPR (по оси ординат) и FPR (по оси абсцисс).

Для построении графика используется мягкая классификация: вместо того, чтобы четко отнести объект к классу, классификатор возвращает вероятности принадлежности объекта к различным классам. Эта уверенность сравнивается с порогом (какой уверенности «достаточно», чтобы отнести объект к положительному классу). В зависимости от значения этого порога меняются значения TPR и FPR.

Алгоритм построения кривой:

1. Запустить классификатор на тестовой выборке
2. Отсортировать результаты по уверенности классификатора в принадлежности объекта к классу
3. Пока не кончились элементы:
   1. Взять объект с максимальной уверенностью
   2. Сравнить метку с реальной
   3. Пересчитать TPR и FPR на взятых объектах
   4. Поставить точку, если обе характеристики не NaN / ±∞
4. Построить кривую по точкам

Таким образом: число точек не превосходит число объектов идеальному алгоритму соответствует ROC-кривая, проходящая через точку (0;1)(0;1) худшему алгоритму (например, монетке) соответствует прямая TPR = FPR.

Для численной оценки алгоритма по ROC-кривой используется значение площади под ней (AUC, area under curve). Идеальный алгоритм имеет AUC, равный 1, худший — 0,5.

С другой стороны, для построения ROC-кривой не обязательно пересчитывать TPR и FPR.

Существует альтернативный алгоритм построения ROC-кривой.

1. сортируем объекты по уверенности классификатора в их принадлежности к положительному классу
2. начинаем в точке (0, 0)
3. последовательно продолжаем кривую вверх:
   • для каждого «отрицательного» объекта вверх
   • для каждого «положительного» — вправо.

Корректность алгоритма обосновывается тем, что с изменением предсказания для одного объекта в зависимости от его класса меняется либо TPR, либо FPR (значение второго параметра остается прежним). Ниже описана другая логика, подводящая к алгоритму выше.

График Accuracy для идеальной классификации

ROC-кривая для идеальной классификации

График Accuracy для неидеальной классификации

ROC-кривая для неидеальной классификации

Напомним, что мы работаем с мягкой классификацией.

Рассмотрим примеры (графики accuracy, цветом указан реальный класс объекта: красный — положительный, синий — отрицательный). Отсортируем наши объекты по возрастанию уверенности классификатора в принадлежности объекта к положительному классу. Допустим, что объекты находятся на равном (единичном) расстоянии друг от друга.

Начнем перебирать «границу раздела»: если граница в нуле — мы решаем относить все объекты к положительному классу, тогда accuracy = 1/2. Последовательно сдвигаем границу по единичке вправо:

• если реальный класс объекта, оказавшегося теперь по другую сторону границы — отрицательный, то accuracy увеличивается, так как мы «угадали» класс объекта, решив относить объекты левее границы к отрицательному классу;
• если же реальный класс объекта — положительный, accuracy уменьшается (по той же логике)

Таким образом, на графиках слева, видно, что:

• на графике идеальной классификации точность в 100% достигается, неидеальной — нет;
• площадь под графиком accuracy идеального классификатора больше, чем аналогичная площадь для неидеального.

Заметим, что, повернув график на 45 градусов, мы получим ROC-кривые для соответствующих классификаторов (графикам accuracy слева соответствуют ROC-кривые справа). Так объясняется альтернативный алгоритм построения ROC-кривой.

Precision-Recall кривая

PR кривая

Обоснование: Чувствительность к соотношению классов.

Рассмотрим задачу выделения математических статей из множества научных статей. Допустим, что всего имеется 1.000.100 статей, из которых лишь 100 относятся к математике. Если нам удастся построить алгоритм a(x)�(�), идеально решающий задачу, то его TPR будет равен единице, а FPR — нулю. Рассмотрим теперь «плохой» алгоритм, дающий положительный ответ на 95 математических и 50.000 нематематических статьях. Такой алгоритм совершенно бесполезен, но при этом имеет TPR = 0.95 и FPR = 0.05, что крайне близко к показателям идеального алгоритма. Таким образом, если положительный класс существенно меньше по размеру, то AUC-ROC может давать неадекватную оценку качества работы алгоритма, поскольку измеряет долю неверно принятых объектов относительно общего числа отрицательных. Так, алгоритм b(x) помещающий 100 релевантных документов на позиции с 50.001-й по 50.101-ю, будет иметь AUC-ROC 0.95.

Precison-recall (PR) кривая.

Избавиться от указанной проблемы с несбалансированными классами можно, перейдя от ROC-кривой к PR-кривой. Она определяется аналогично ROC-кривой, только по осям откладываются не FPR и TPR, а полнота (по оси абсцисс) и точность (по оси ординат). Критерием качества семейства алгоритмов выступает площадь под PR-кривой (англ. Area Under the Curve — AUC-PR)

Исследование, описанное в статье про качества в задачах классификации, подчеркивает ее значимость в современном мире. Надеюсь, что теперь ты понял что такое качества в задачах классификации, recision, recall, f-мера, roc-кривая и для чего все это нужно, а если не понял, или есть замечания, то не стесняйся, пиши или спрашивай в комментариях, с удовольствием отвечу. Для того чтобы глубже понять настоятельно рекомендую изучить всю информацию из категории Вычислительный интеллект