主成分分析PCA与鲁棒主成分分析RPCA

一、主成分分析

使用最广泛的数据降维算法，可用于高维数据处理，分析，压缩等。

降维：将高维度的数据保留下最重要的一些特征，去除噪声和不重要的特征，从而达到提升数据处理速度的目的。

1. 前提

经典PCA假设数据被小的高斯噪声污染，在实际应用中一旦出现大的噪声或严重的离群点，会对PCA产生很大的影响，大大降低其性能。

2. 主要思想

假定给定的高维数据位于低维线性子空间附近，PCA的目的是有效，准确地估计该低维子空间。
[ 降维的同时尽量降低信息的损失 ]

3. 数学模型

假定给定的数据存储在矩阵$D\in R^{m\times n}$中，经典PCA研究的是找到一个低秩矩阵A，以使A和D之间的差异最小，即
$$\underset{A,E}{\min }||E|{|}_{F}s.t.rank(A)\le r，D=A+E$$
$r<<min(m,n)$是目标子空间的维数；
$||\cdot |{|}_F$是frobenius范数，矩阵元素绝对值的平方和再开平方

4. 算法推导

PCA的数学原理
PCA算法详解
PCA

为了解决在噪声大的情况下仍然能准确的恢复低秩矩阵A，进一步提出了Robust PCA.

二、鲁棒主成分分析

1. 适用情况

求解被高幅度尖锐噪声而非高斯分布噪声污染的信号分离问题。

当噪声矩阵E相对于A的秩而言足够稀疏，即使在存在大的噪声或离群值的情况下，可以从D=A+E中准确地恢复低秩矩阵A。

2. 核心思想

数据矩阵在最优化准则下可以表示为一个低秩矩阵和一个稀疏矩阵的叠加。
増广拉格朗日乘子法及其在约束优化问题中的应用

3. 数学模型

低秩矩阵恢复问题的数学模型可表示为
$$\underset{L,S}{\min }rank(L)+\lambda ||S|{|}_{0}s.t.D=L+S\text{\hspace{1em}(1)}$$
其中$rank(L)$表示矩阵的秩，$||S|{|}_0$表示矩阵$S$非零元的个数。
 
表示的含义是当低秩矩阵$L$的秩和稀疏矩阵$S$的0范数均取得最小值的时候，所得到的对应的$L$和$S$.

上式中秩函数、零范数都是非凸非线性的组合优化函数，模型1是非凸NP-难问题，直接求解很难。需要在一定条件下对其松弛，方可进行优化。

用矩阵的核函数来近似矩阵的秩，用矩阵的1范数来近似0范数。由范数知识可知，核函数是秩函数的凸包，1范数是0范数的凸包，所以上述NP-难问题松弛后可转化为凸优化问题：
$$\underset{L,S}{\min }||L|{|}_{\ast }+\lambda ||S|{|}_{1}s.t.D=L+S\text{\hspace{1em}(2)}$$
式（2）中的核范数是指矩阵$D$的奇异值的和，主要用来约束$D$的低秩属性，$L_1$范数用来约束误差图像矩阵$S$的稀疏性。

4. 求解方法

基于凸优化松弛模型 2，已经有很多算法被提出，其中包括増广拉格朗日乘子法（augmented Lagrange multiplier，ALM）、加速近端梯度法（accelerated proximal gradient，APG）和交替方向乘子法（alternating direction method of mutipliers，ADMM）等等。