PRECISION, RECALL, CONFUSION MATRIX, ТОЧНОСТЬ, ПОЛНОТА, МАТРИЦА ОШИБОК | МЕТРИКИ КЛАССИФИКАЦИИ

Метрики качества позволяют оценивать способность моделей машинного обучения восстанавливать закономерности из данных. В этом видео рассмотрим метрики для задачи классификации Precision (точность), Recall (полнота) и Confusion Matrix (матрица ошибок). Наконец-то разберемся, что значит TP, FP, TN, FN.
Курсы на платформе Stepik:
1. Библиотеки Python для Data Science stepik.org/a/129105
2. Введение в нейронные сети (Keras/Tensorflow) stepik.org/a/127274
Метрики помогают понять, когда модель начинает переобучаться, про это явление можете посмотреть в видео ( • ПЕРЕОБУЧЕНИЕ И НЕДООБУ... )
Остальные метрики классификации:
1. Accuracy - • ACCURACY | МЕТРИКИ КЛА...
2. Precision. Recall. Confusion Matrix - • PRECISION, RECALL, CON...
3. F-score - • F-SCORE, F1-SCORE, Fbe...
4. Micro, Macro, Weighted - • MICRO, MACRO, WEIGHTED...
Ноутбук из видео:
colab.research.google.com/dri...
0:00 Пройденная метрика Accuracy
0:27 Проблемы метрики Accuracy
0:44 Ошибки модели в задаче кредитного скоринга
1:24 Ошибка ложного срабатывания (False Positive)
1:43 Ошибка ложного пропуска (False Negative)
2:08 Истинное срабатывание (True Positive)
2:23 Истинный пропуск (True Negative)
2:40 Матрица ошибок (Confusion Matrix)
3:50 Построение матрицы ошибок для первой модели
4:34 Метрики Precision, Recall
5:10 Удобная визуализации двух метрик
5:49 Точность (Precision) - чистота классификации
6:29 Минимизации ошибок FP в Precision
7:30 Разница моделей по Precision
7:52 Полнота (Recall) - количество или охват классификации
8:35 Минимизации ошибок FN в Recall
9:50 Разница моделей по Recall
10:10 Сравнение моделей
10:44 Примеры задач на максимизацию метрик
10:53 Классификация сотрудников на АЭС
12:38 Диагностика заболеваний
14:07 Резюме

[@user-sq1tr8cv5i]

Уже несколько дней ищу понятное объяснение метрик, чтобы сделать себе шпаргалку и навести порядок в голове) Это лучшее объяснение! Большое спасибо!

[@user-th7pk8du4i]

Обычно не оставляю комменты, но хочу поблагодарить за видео, странно, что так мало подписчиков. Не останавливайтесь, всё получится)

[@paveltimofeev5686]

Браво, Юлия, аплодирую вам стоя! Шикарное объяснение!

[@nadezhdanikonova2076]

Спасибо огромное за вашу работу, Юлия, ваши лекции замечательные, всё предельно понятно

[@TheDryus]

Соглашусь с Мирдином, не останавливайтесь. Очень полезная информация для начинающих, на первых секундах было понятно, что контент очень понятно объясняется в этих роликах, соответственно и быстрая подписка! Удачи Вам!

[@user-nd2fq1wl5x]

Офигенно! После спринта на Я. Практикуме нашла человеческое объяснение! Благодарю!

[@li.nikolas]

Прошло пол года, как успехи в обучении ?)

[@vladimirsavenkov5777]

Спасибо за видео! Очень хорошо вы всё объяснили. С разных сторон, с примерами. Очень хороший материал!

[@Kn_Dmitry]

Спасибо большое! Отличное объяснение!

[@user-bw7td1lu5m]

Спасибо за тот день когда наткнулся на твои видео🙏

[@user-gp6vr4cg7s]

Отличное видео, спасибо большое!

[@kosby5963]

Как всегда , топ контент!

[@user-wl7ox8ij1u]

Юля, Вы очень хорошо объясняете. До вашего видео смотрел много других по confusion matrix, от других преподавателей - ни одно из них не стоит даже рядом с вашим. Обычно никогда не оставляю комменты.

[@andreyo.945]

Классное объяснение. Спасибо.

[@olegtinkov6553]

Отличное видео: очень хорошо объяснено!!! Молодец!!

[@machine_learrrning]

Большое спасибо за приятные слова! 😊

[@user-zm1pr2vy1o]

Спасибо! Очень классно!

[@gohan2717]

Молодец 👏

[@user-jd6uz5si2f]

Yulia TOP

[@evgenianovikova3596]

О, я поняль. Картинка кака, объяснение отличное. А то эту картинку и так и сяк смотрела, ничо не поняла.

[@vinylrave2185]

Я вот не совсем согласен с выводом про стратегии банка. Не факт, что выбирая recall банк будет зарабатывать больше, чем если он выберет модель с precision. А то и вовсе наоборот, ведь в первом случае он навыдает кредитом тем, кто их не будет выплачивать и соответственно будет терять деньги

[@machine_learrrning]

Да, конечно, вы правы, если всем выдавать кредиты, то это будет не прибыльно (максимальный recall), а если практически никому не выдавать, то тоже прибыли не будет (зато максимальный precision). Поэтому лучше смотреть обе метрики и пользовать f-score.

[@kirill_prog]

Пф, банк может отжать недвижку. На этом и заработает.