【Surface Detection】Segmentation-Based Deep-Learning Approach for Surface-Defect Detection

时间:2023-01-11 17:07:54
【Surface Detection】Segmentation-Based Deep-Learning Approach for Surface-Defect Detection

传统机器学习局限性

  1. 传统机器学习方法对于特定的算法只能解决特定的问题,不够灵活,无法快速适应新产品;
  2. 不同的问题有不同的特征,当需要解决新问题时,需要重新设计特征,开发周期长;

深度学习遇到的问题

  1. 训练数据数量需求大;
  2. 标注精度、耗时需求严格;
  3. 计算能力需求高。

该篇paper解决了深度学习遇到的如上三个问题

Paper贡献

该篇paper提出了一个两阶段的网络,即分割网络 + 决策网络。

  1. 分割网络用于对输入的图片进行缺陷的具体定位,最后生成分割掩码(二值图像);
  2. 决策网络用于判断输入的图片是否存在缺陷,生成二值分类输出。
    【Surface Detection】Segmentation-Based Deep-Learning Approach for Surface-Defect Detection

实现细节

【Surface Detection】Segmentation-Based Deep-Learning Approach for Surface-Defect Detection

分割网络

分割网络要在高分辨率的图像表面上检查小的缺陷,需满足两个要求:

  1. 具有较大的感受野;
  2. 能够捕捉到较小的特征细节;

因此,在设计时,需要具有下采样层,在比较深的层中使用尺寸大的卷积核。

决策网络

为什么要提出这样的决策网络?有什么作用?
简单的分割网络似乎没有足够的信息来预测图像中缺陷的存在。

  1. 决策网络能够从最后一个分割层的特征图中捕获信息;
  2. 额外的下采样增加了感受野的大小,能够捕获缺陷的全局形状。全局形状对分类很重要,有助于提高性能。
    【Surface Detection】Segmentation-Based Deep-Learning Approach for Surface-Defect Detection

网络训练过程

【Surface Detection】Segmentation-Based Deep-Learning Approach for Surface-Defect Detection

数据集

该篇paper中使用到的是工业界中电机转向器的拍摄样本集Kolektor
【Surface Detection】Segmentation-Based Deep-Learning Approach for Surface-Defect Detection
【Surface Detection】Segmentation-Based Deep-Learning Approach for Surface-Defect Detection

网络在不同配置下的评估

网络在四个配置组下进行评估:

  1. 五种精度的标注;
    【Surface Detection】Segmentation-Based Deep-Learning Approach for Surface-Defect Detection

  2. 两种损失函数 (均方误差、交叉熵);

  3. 输入图像是全尺寸(1408 x 512 px)还是半尺寸(704 x 256 px);

  4. 是否对输入图像进行90°的旋转。

实验结果如下:
【Surface Detection】Segmentation-Based Deep-Learning Approach for Surface-Defect Detection

可见,paper提出的网络在如下:
1. 标注精度为Dilate = 5;
2. 交叉熵损失函数;
3. 全尺寸图像;
4. 不对图像进行90°旋转。

配置,达到了最优的性能。

性能评估

paper的作者把提出的网络与目前最常用的两个分割网络(DeepLab v3+与U-Net)和用于缺陷检测的商业软件Cognex ViDi Suite进行了性能对比。如下性能指标皆在三个网络和商业软件最优配置下进行评估:
【Surface Detection】Segmentation-Based Deep-Learning Approach for Surface-Defect Detection
【Surface Detection】Segmentation-Based Deep-Learning Approach for Surface-Defect Detection

结果如上图所示:
paper提出的网络AP最高,达到了99.9%,漏检个数与误检个数也最少。

所需训练样本个数

【Surface Detection】Segmentation-Based Deep-Learning Approach for Surface-Defect Detection

如上图所示,paper提出的网络,在仅有33个缺陷样本的训练下,AP能够达到99.9%;在仅有5个缺陷样本的训练下,AP依旧能够达到96.1%。超过了其它分割网络和商业软件在同等配置下的效果,一定程度上解决了深度学习所需样本数量大的问题。

所需训练时间

【Surface Detection】Segmentation-Based Deep-Learning Approach for Surface-Defect Detection【Surface Detection】Segmentation-Based Deep-Learning Approach for Surface-Defect Detection

如上图所示:
paper提出的网络在对单张图片进行检测的平均准确度和时间上,都有着不错的效果,如何能做到这样的效果,也取决于上图,可以看到,paper提出的网络所需的参数,远少于另外两种分割网络,因此在训练以及检测的过程中,花费的时间得到了很大程度的提升。