评价指标整理:精确度, 召回率, F-score, TPR, FPR, TNR, FNR, AUC, 准确度
针对二分类的结果,对模型进行评估,通常有以下几种方法:
Precision、Recall、F-score(F1-measure)
TPR、FPR、TNR、FNR、AUC
Accuracy
真实结果 | |||
1 | 0 | ||
预测结果 | 1 | TP(真阳性) | FP(假阳性) |
0 | FN(假阴性) | TN(真阴性) |
TP(True Positive):预测结果为正类,实际上就是正类
FP(False Positive):预测结果为正类,实际上是反类
FN(False negative):预测结果为反类,实际上是正类
TN(True negative):预测结果为反类,实际上就是反类
1. Precision、Recall、F-score(F-measure)
Precision(准确率)可以理解为预测结果为正类中有多少是正类,给出定义如下:
Recall(召回率)可以理解为真实结果为正类中有多少被预测成正类,给出定义如下:
F-score(F值)又称作F1-measure,是综合考虑Precision和Recall的指标,给出定义如下:
2. TPR、FPR、TNR、FNR、AUC
TPR(True Positive Rate)可以理解为所有正类中,有多少被预测成正类(正类预测正确),即召回率,给出定义如下:
FPR(False Positive Rate)可以理解为所有反类中,有多少被预测成正类(正类预测错误),给出定义如下:
TNR(True Negative Rate)可以理解为所有反类中,有多少被预测成反类(反类预测正确),给出定义如下:
FNR(False Negative Rate)可以理解为所有正类中,有多少被预测成反类(反类预测错误),给出定义如下:
以FPR(False Positive Rate)为横坐标,TPR(True Positive Rate)为纵坐标,可以做如下图(图源:百度百科),称作ROC曲线:
ROC曲线又称作“受试者工作特性曲线”,很明显,越靠近左上角的点,效果越好。
AUC(Area Under Curve)定义为ROC曲线下的面积,很明显,这个值越大越好。
3. Accuracy
Accuracy(精确率)可以理解为所有实验中,分类正确的个数,给出定义如下: