Метрики машинного обучения

[@fdshdsfdsqq]

Некоторые метрики: Accuracy (Точность) - это метрика, которая измеряет, насколько точно модель предсказывает правильный ответ. Она рассчитывается как количество правильных ответов, полученных от модели, деленное на общее количество предсказаний. Precision (Точность) - это метрика, которая показывает, насколько точно модель идентифицирует положительные примеры. Она рассчитывается как количество истинно положительных ответов, деленное на общее количество предсказанных положительных ответов. Recall (Полнота) - это метрика, которая показывает, насколько хорошо модель находит все положительные примеры. Она рассчитывается как количество истинно положительных ответов, деленное на общее количество истинных положительных ответов. F1 score - это метрика, которая объединяет точность и полноту, показывая, как хорошо модель предсказывает положительные примеры. Она рассчитывается как гармоническое среднее между точностью и полнотой. Mean Squared Error (MSE) - это метрика, которая измеряет среднеквадратичную ошибку модели. Она рассчитывается как сумма квадратов разности между фактическим и предсказанным значением, деленной на общее количество примеров. Mean Absolute Error (MAE) - это метрика, которая измеряет среднюю абсолютную ошибку модели. Она рассчитывается как сумма абсолютных разностей между фактическим и предсказанным значением, деленной на общее количество примеров. R2 score - это метрика, которая измеряет долю дисперсии в целевой переменной, которую модель может объяснить. Она рассчитывается как коэффициент детерминации между фактическим и предсказанным значением. AUC-ROC - это метрика, которая измеряет площадь под кривой ROC (Receiver Operating Characteristic), которая показывает, насколько хорошо модель различает между классами. Чем ближе AUC-ROC к 1, тем лучше модель различает между классами. Log Loss - это метрика, которая измеряет ошибку логарифма вероятности, которую модель предсказывает для каждого класса. Она широко используется в задачах классификации, особенно в задачах с несбалансированными классами. Mean Average Precision (MAP) - это метрика, которая измеряет среднюю точность модели в ранжировании результатов по релевантности. Она широко используется в задачах информационного поиска, например, в поисковых системах. Cohen's Kappa - это метрика, которая измеряет степень согласованности между двумя аннотаторами или между аннотатором и моделью. Она часто используется в задачах обработки естественного языка для оценки качества аннотации. IoU (Intersection over Union) - это метрика, которая используется в задачах сегментации изображений и оценивает насколько хорошо модель выделяет объекты на изображении. Она рассчитывается как отношение пересечения и объединения между предсказанной и фактической маской. BLEU (Bilingual Evaluation Understudy) - это метрика, которая измеряет качество машинного перевода, сравнивая перевод модели с несколькими референсными переводами. Она широко используется в задачах машинного перевода. R-squared - это метрика, которая используется в задачах регрессии для оценки того, насколько хорошо модель соответствует реальным данным. Она измеряет долю вариации в целевой переменной, которая объясняется моделью. Precision-Recall Curve - это кривая, которая показывает зависимость между точностью и полнотой модели в задачах бинарной классификации. Она помогает выбрать наилучший порог для классификации, которая максимизирует F1-score. Top-k Accuracy - это метрика, которая измеряет долю правильных ответов модели, когда рассматриваются только k наиболее вероятных классов. Она используется в задачах с большим количеством классов, чтобы измерить качество модели, когда невозможно рассмотреть все классы.

[@13mufasa]

Качество подачи приятное и очень доступное, описано на простом языке. Благодарен)

[@zealot4325]

Спасибо за видео!

[@LESHAZZ]

Очень классная серия лекций на канале! Добавьте, пожалуйста, больше деталей в объяснения. Например, чем МАЕ отличается от MSE и когда какую метрику использовать. Там ещё вагон и маленькую тележку можно рассказать. Ни в коем случае не критикую, просто взгляд со стороны учащегося

[@yuryyarovikov3323]

Спасибо за отзыв!

[@juniorly3942]

Очень Крутая лекция!!

[@ArtyomBoyko]

Превосходно Юрий! Моя модель ASR тебе благодарна))) Четкое произношение, отличный микрофон))) Молодец!)))

[@mistrebrown7642]

Хорошая диаграмма, всё сразу стало понятно

[@Ксенияахаха]

спасибо! классный формат

[@brianjulio2273]

i guess I am pretty off topic but do anybody know of a good place to stream newly released movies online ?

[@elijahroman170]

@Brian Julio I use FlixZone. You can find it on google :)

[@911Pasha911]

В колонке "вероятность" полученная вероятность из модели. А в колонке истинный класс вероятность, которая на самом деле существует? То есть y_train и y_test? Или в третьей колонке 1 - мы угадали, 0 - мы не угадали ответ?

[@yuryyarovikov3323]

В третьей колонке правильный ответ, то есть у. Во второй колонке предсказанная вероятность того, что y равен 1

[@bondarchukb]

Прекрасно

[@ВикторНекрасов-н3я]

Отличная лекция, но т.к. я тугодум - поставил скорость на 0,5. Ощущение будто Ельцин меня обучает)

[@ObitoUchiha-cj3mx]

АХАХАХХАХАХ попробовал - точно!! Без смеха невозможно смотреть, особенно учитывая, что я сам на 1.3-1.5 смотрю)))

[@alexandershevchenko7027]

Аккуратность близка к accuracy семантических.

[@DeepLearningSchool]

На наш взгляд, лишь этимологически

[@alexandershevchenko7027]

Точность чем не подходит?

[@DeepLearningSchool]

Здравствуйте, названия метрик accuracy и precision переводятся на русский как точность, поэтому мы используем английские слова, чтобы их различать. Использование транслита в этом случае оправдано, но не стоит называть accuracy аккуратностью.

[@jalomic]

false positive - это по-русски ложно положительное. Соответственно false negative - ложноотрицательные.

[@alexandershevchenko7027]

Accuracy