精确率(准确率、查准率、precision)、召回率(查全率、recall)、RoC曲线、AUC面积、PR曲线

时间:2022-12-08 18:52:15

1. TP, FP, TN, FN

    1. True Positives,TP:预测为正样本,实际也为正样本的特征数
    2. False Positives,FP:预测为正样本,实际为负样本的特征数
    3. True Negatives,TN:预测为负样本,实际也为负样本的特征数
    4. False Negatives,FN:预测为负样本,实际为正样本的特征

真实情况

预测结果

TP(真正例)

FN(假反例)

FP(假正例)

TN(真反例)


2. 精确率(precision),召回率(Recall)与特异性(specificity)

  精确率(Precision)的定义如下:

     P=TPTP+FP

    召回率(Recall)的定义如下:
     R=TPTP+FN

    特异性(specificity)的定义如下:

     S=FPFP+TN

    有时也用一个F1值来综合评估精确率和召回率,它是精确率和召回率的调和均值。当精确率和召回率都高时,F1值也会高。严格的数学定义如下:

     2F1=1P+1R

    有时候我们对精确率和召回率并不是一视同仁,比如有时候我们更加重视精确率。我们用一个参数 β 来度量两者之间的关系。

如果
β>1
, 召回率有更大影响,如果 β<1 ,精确率有更大影响。自然,当 β=1 的时候,精确率和召回率影响力相同,和F1形式一样。

含有度量参数
β
的F1我们记为

Fβ
 严格的数学定义如下:

     Fβ=(1+β2)PRβ2P+R

precision和recall的一对矛盾的度量,通常只有在一些简单的任务中,才可能使precision和recall都很高。

3. RoC曲线和PR曲线


在很多情况下,我们可根据学习器的预测结果对样例进行排序,排在前面的是学习器认为“最可能”是正例的样本,

排在最后的则是学习器认为“最不可能”是正例的样本。按此顺序逐个把样本作为整理进行预测,则每次可以计算

出当前的查全率、查准率,以P(查准率)为纵轴,R(查全率)为横轴作图,就得到了P-R曲线P-R图直观的显

示出学习器在样本总体上的查全率、查准率,在进行比较时,若一个学习器的P-R曲线被另一个完全包住,则可

断言后者优于前者,如图1,A优于C;如果两个学习器的P-R曲线发生了交叉,如A和B,则难以一般性的断言两

者孰优孰劣,只能在具体的P或R条件下进行比较。然而,在很多情形下,人们往往仍希望把学习器A和B比个高低,

这时一个比较合理的判断依据是比较曲线下面积的大小,它在一定程度上表征了学习器在P和R上取得相对“双高”

的比例,但这个值不太容易估算,因此人们设计了一些综合考虑P和R的度量。

平衡点(BEP)就是这样一个度量,是P=R时的取值,基于BEP,可任务A优于B。


以召回率(真正率)为y轴,以特异性(假正率)为x轴,我们就直接得到了RoC曲线。从召回率和特异性的定

义可以理解,召回率越高,特异性越小,我们的模型和算法就越高效。也就是画出来的RoC曲线越靠近左上越

好。如下图左图所示。从几何的角度讲,RoC曲线下方的面积越大越大,则模型越优。所以有时候我们用RoC

曲线下的面积,即AUC(Area Under Curve)值来作为算法和模型好坏的标准。

精确率(准确率、查准率、precision)、召回率(查全率、recall)、RoC曲线、AUC面积、PR曲线

图1 P-R曲线

精确率(准确率、查准率、precision)、召回率(查全率、recall)、RoC曲线、AUC面积、PR曲线精确率(准确率、查准率、precision)、召回率(查全率、recall)、RoC曲线、AUC面积、PR曲线

图2 ROC曲线


参考文献

http://www.cnblogs.com/pinard/p/5993450.html

周志华《机器学习》