Бесплатно, нужен вход через Google. Готовый тест не тратит часовой лимит.
О чём лекция
Сначала рассматривается зависимость precision и recall от порога классификации. Перебирая пороги, получают точки на PR-кривой, причём кривая не обязана быть монотонной. Площадь под ней называется PR-AUC. Также разбираются F1 и Fβ: β позволяет задавать относительную важность полноты и точности.
Затем вводится ROC-кривая в координатах false positive rate и true positive rate, а её площадь — ROC-AUC. ROC-AUC интерпретируется как доля правильно упорядоченных пар, состоящих из положительного и отрицательного объекта. Для вычисления достаточно отсортировать объекты по предсказанным вероятностям и проследить движение по кривой; совпадающие оценки обрабатываются диагональным шагом.
В заключительной части обсуждаются практические свойства ROC-AUC. Метрика зависит от порядка объектов, но не меняется при умножении всех оценок на положительную константу; при инверсии оценок становится равной 1 минус исходная AUC. Значение ниже 0,5 указывает на инвертированный порядок, который можно исправить сменой меток. Также рассматриваются ошибки в sklearn, влияние дисбаланса и выбросов, различия между log loss и accuracy, а для случайного ранжирования выводится ожидаемое значение ROC-AUC, равное 0,5.
Ключевые идеи
Метрики, зависящие от порога, неудобны для сравнения моделей, поэтому используются PR-AUC и ROC-AUC, оценивающие модель сразу по всем порогам.
PR-кривая строится перебором порогов с вычислением precision и recall для каждого полученного разбиения.
PR-AUC — это площадь под precision-recall-кривой, причём сама кривая может иметь скачки и не обязана быть монотонной.
F1 является гармоническим средним precision и recall, а параметр β в Fβ позволяет усилить приоритет одной из этих характеристик.
ROC-кривая строится в координатах false positive rate и recall, а ROC-AUC равна площади под этой кривой.
ROC-AUC можно понимать как долю пар из положительного и отрицательного объектов, в которых положительный объект получил больший прогнозный балл.
Для расчёта ROC-AUC нужны вероятностные оценки классов, а не бинарные предсказания, полученные обычным predict при пороге 0,5.
ROC-AUC не меняется при умножении всех оценок на положительную константу, а при инверсии оценок превращается в единицу минус исходная AUC.
Примеры вопросов
В бинарной классификации при исходном пороге модель правильно обнаруживала одного положительного объекта и не допускала ложных срабатываний. После изменения порога она дополнительно отнесла один отрицательный объект к положительным, но новых истинно положительных объектов не нашла. Как изменятся precision и recall?
AИ precision, и recall увеличатся
BPrecision останется прежним, а recall уменьшится до 1/2
CИ precision, и recall уменьшатся до 1/2
DPrecision уменьшится до 1/2, а recall останется прежним
Показать ответ
Верный ответ: D. Добавление ложноположительного объекта увеличивает число предсказанных положительных без роста числа найденных истинно положительных: поэтому precision снижается, а recall не меняется.
В оценке бинарного классификатора PR-кривая показывает зависимость precision от recall при изменении порога. Что означает площадь под этой кривой (PR AUC)?
AСреднее арифметическое precision и recall при одном выбранном пороге
BИнтегральную оценку precision по всему диапазону значений recall, учитывающую поведение классификатора при разных порогах
CДолю объектов, для которых классификатор сразу выдал правильный бинарный ответ без выбора порога
DРазность между максимальными значениями precision и recall
Показать ответ
Верный ответ: B. PR AUC характеризует площадь под графиком precision в зависимости от recall и поэтому суммирует качество модели при различных порогах; форма кривой не обязана быть треугольной.