目标检测指标

时间:2022-12-07 17:37:26

二分类器指标

ROC和PR曲线

对于二分类器来说,常见的指标是ROC曲线和PR曲线。
先介绍一个Confusion matrix,这个图是必须牢记脑袋里的。

目标检测指标

有了这个图就好说了,ROC曲线表示的是TPR(真阳率)和FPR(假阳率)的关系,PR去向表示的是precision和recall的关系。
如下:
目标检测指标

AUC

AUC(Area Under Curve)即为ROC曲线下的面积。

为什么选择ROC曲线?

既然已经这么多评价标准,为什么还要使用ROC和AUC呢?因为ROC曲线有个很好的特性:当测试集中的正负样本的分布变化的时候,ROC曲线能够保持不变。在实际的数据集中经常会出现类不平衡(class imbalance)现象,即负样本比正样本多很多(或者相反),而且测试数据中的正负样本的分布也可能随着时间变化。下图是ROC曲线和Precision-Recall曲线5的对比
目标检测指标

目标检测性能指标

  1. 识别精度
  2. 识别效率
  3. 定位准确性

在目标检测的评价体系中,有一个参数叫做 IoU,简单来讲就是模型产生的目标窗口和原来标记窗口的交叠率。在Pascal VOC中,这个值为0.5。而2014年以来出现的MS COCO竞赛规则把这个IoU变成了0.5-1.0之间的综合评价值,也就是说,定位越准确,其得分越高,这也侧面反映了目标检测在评价指标方面的不断进步。

目标检测进展

传统目标检测方法

传统的目标检测方法,这篇 overview [1] 里总结的比较全面,而且都给了性能和时间复杂度的比较,对传统方法比较感兴趣的建议可以精读一下。考虑到 detection 的精度与时间复杂度问题,就介绍下 SelectiveSearch [2] 和 Edgeboxes [3]。

基于深度学习的目标检测进展

R-CNN
Fast-R-CNN
Faster-R-CNN
YOLO
SSD

参考资料

  1. http://blog.csdn.net/eddy_zheng/article/details/52097557
  2. http://blog.csdn.net/eddy_zheng/article/details/52126641
  3. http://alexkong.net/2013/06/introduction-to-auc-and-roc/
  4. http://www.tuicool.com/articles/veuqam7
  5. http://blog.csdn.net/xiahouzuoxin/article/details/43165253
  6. (Fawcett, 2006),Fawcett, T. (2006). An introduction to ROC analysis. Pattern recognition letters, 27(8), 861-874.
  7. Davis, J., & Goadrich, M. (2006, June). The relationship between Precision-Recall and ROC curves. In Proceedings of the 23rd international conference on Machine learning (pp. 233-240). ACM.