论文笔记 Robust face landmark estimation under occlusion

时间:2023-03-10 05:20:40
论文笔记 Robust face landmark estimation under occlusion

1. Abstract

现实世界中的人脸很多时候都存在遮挡以及大的形状变化,而目前的人脸关键点检测方法在这种情况下表现欠佳,
因为它们未能提供一种系统的方法来处理异常。因而authors提出一种新的方法--稳健级联姿态回归(RCPR),这
是基于姿态级联回归(CPR)方法的改进。此方法在数据集LFW、LFPW、HELEN以及COFW(作者引入的数据集)
上表现比state-of-the-art 方法要好。大约能够降低一半的错误率;在检测人脸遮挡部分的precision/recall 为80/40%。

2. Introduction

CPR方法在人脸关键点检测中表现高效,但在遮挡以及较大形状变化的情况下有所欠缺。RCPR方法在现实世界中
表现稳健,在估计关键点位置的同时能够检测出人脸的遮挡区域。因为遮挡信息在学习选择未遮挡区特征期间能够
起到作用,并且可以被动态地利用(通过稳健统计量)从而在级联中减小误差,

主要contributions

(1) 提出RCPR方法,对差的初始值、大的形状变化和遮挡稳健。第一个方法既能检测遮挡又能同时估计关键位置

(2) 引入新的数据集COFW,数据集中的人脸包含遮挡以及大的形状变化,比较接近现实情况。

3. Related work

shape 估计模型:

(1)ASM、AAM :泛化能力差、训练慢,现实条件下表现差
(2)modern 方法:先检测出目标,再估计位置 ;准确率较低
(3)回归方法(RCP):直接预测目标的shape;boosted regression + random fern regressors

4. Method

4.1 CPR

在CPR的基础上进行改进,从而使得RCPR对遮挡以及大的形状变化稳健。
用CPR估计shape:$ S_p = [x_p,y_p],p = 1,2,...,P;$ 表示P个关键点的位置坐标
CPR由T个回归器 \(R^{1...T}\) 级联组成。先初始化 \(S^0\) ,然后逐步估计,最后输出 \(S^T\) 。


输入:Image I, initial guess \(S^0\) , regressors $ R^{1...T}$ ,shape-indexed features $ h^{1...T}$
for t = 1 to T do
//compute shape-indexed features(提取特征)
$x^t = h^t(S^{t-1},I) $
// evaluate regressor(用回归器估计update $ \delta $S)
$ \delta $S = $ S^{t-1} $ + $ \delta $S
end
输出:final estimation $ S^T$


回归器$ R^t$ 的训练使得真实的shape与当前估计值\(S^{t-1}\)之间的差异最小
CPR具体的想法可以参考https://pdollar.github.io/files/papers/DollarCVPR10pose.pdf

RCPR

对遮挡稳健

ground-truth 标记

把数据集中人脸的关键点标记成0-1,分别表示遮挡与未遮挡(训练过程中当作连续变量,最后利用PR曲线选取阈值二值化)

occlusion-centered approach

这个方法对$\delta $S 的估计稳健
把人脸分成3x3 一共9个区域,每个小区域具有特定的遮挡比例。然后训练 \(S_{tot}\)个回归器,保证它们"visually different",
最后根据遮挡比例对回归器进行加权估计Shape的更新量
论文笔记 Robust face landmark estimation under occlusion

对形状变化稳健

Interpolated shape-indexed features

在进行shape 估计时对遮挡形状变化比较稳健,并且速度快.

smart restarts

CPR是依赖初值的选取。 给定原始图像和不同的初始值,先用10%的级联回归器回归,然后比较差异性,若小于阈值,
再继续用剩下的90%回归器估计。否则重新初始化。实验 证明如此效果高效,通过交叉验证设置阈值为0.15

5. Experiments & results

在三个数据集(LFW、LFPW、HELEN)上比较实验结果。RCPR只用feature + restart
在引入数据集(COFW)上测试效果。

结果图如下:

论文笔记 Robust face landmark estimation under occlusion

论文笔记 Robust face landmark estimation under occlusion

论文笔记 Robust face landmark estimation under occlusion

6. Conclusion

RCPR能够检测遮挡的同时估计关键点的位置。并且在有遮挡、形状有较大变化的情况下稳健。

7. References

[1] Xavier P. Burgos-Artizzu,Pietro Perona,and Piotr Dollar .Robust face landmark estimation under occlusion.In ICCV,2013
https://ieeexplore.ieee.org/document/6751298/