深度学习样本不均衡问题解决

时间:2024-04-03 13:19:35

在深度学习中,样本不均衡是指不同类别的数据量差别较大,利用不均衡样本训练出来的模型泛化能力差并且容易发生过拟合。

对不平衡样本的处理手段主要分为两大类:数据层面 (简单粗暴)算法层面 (复杂) 。

数据层面

采样(Sample)

数据重采样:上采样或者下采样

  上采样 下采样
使用情况 数据不足时 数据充足 (支撑得起你的浪费)
数据集变化 增加 间接减少(量大类被截流了)
具体手段 大量复制量少类样本 批处理训练时,控制从量大类取的图像数量
风险 过拟合

数据合成

数据合成方法是利用已有样本生成更多的样本。其中最常见的一种方法叫做SMOTE,它利用小众样本在特征空间的相似性来生成新样本。对于小众样本xi∈Smin,从它属于小种类的K近邻中随机选取一个样本,生成一个新的小众样本xnew:

深度学习样本不均衡问题解决

上图是SMOTE方法在K=6近邻下的示意图,黑色圆点是生成的新样本。

算法层面

在目标函数中,增加量少类样本被错分损失值 

准确度这个评价指标在类别不均衡的分类任务中并不能work.

代价敏感学习算法(Cost-Sensitive Learning)

不同类型的五分类情况导致的代价是不一样的。因此定义代价矩阵,Cij表示将类别j误分类为i的代价,显然C00=C11=0.C01和C10为两种不同的误分类代价,当两者相等时为代价不敏感的学习问题。

深度学习样本不均衡问题解决

代价敏感学习方法主要有以下的实现方式:

(1)从学习模型出发,着眼于对某一具体学习方法的改造,使之能适应不平衡数据下的学习,研究者们针对不同的学习模型如感知机,支持向量机,决策树,神经网络等分别提出了其代价敏感的版本。以代价敏感的决策树为例,可从三个方面对其进行改进以适应不平衡数据的学习,这三个方面分别是决策阈值的选择方面、分裂标准的选择方面、剪枝方面,这三个方面中都可以将代价矩阵引入。

(2)从贝叶斯风险理论出发,把代价敏感学习看成是分类结果的一种后处理,按照传统方法学习到一个模型,以实现损失最小为目标对结果进行调整,优化公式如下所示。此方法的优点在于它可以不依赖所用具体的分类器,但是缺点也很明显它要求分类器输出值为概率。

深度学习样本不均衡问题解决

(3)从预处理的角度出发,将代价用于权重的调整,使得分类器满足代价敏感的特性。


参考:

[1] http://blog.csdn.net/jningwei/article/details/79249195

[2] https://www.jianshu.com/p/3e8b9f2764c8

[3] http://blog.csdn.net/lujiandong1/article/details/52658675