引言
想一下，在什么情况下可能需要将一个向量往一个子空间投影。在MIT的线代课程中，Gilbert教授给出了一种场景：即我们想要求解\(Ax=b\)，但是\(b\)不在\(A\)的列空间中，此时我们希望在\(A\)的列空间中找一个离\(\overrightarrow{b}\)最近的向量\(\overrightarrow{f}\)，求解\(A\hat{x}=f\)，借由\(\hat{x}\)给出\(x\)的近似解。
矩阵乘法可以表示向量的线性变换，所以本篇笔记的主要内容是记录找到一个投影矩阵\(P\)的方法，通过左乘它完成向量对某一个子空间的投影，将向量\(\overrightarrow{b}\)转换为另一个向量\(\overrightarrow{f}\)。即：\(P\overrightarrow{b}=\overrightarrow{f}\)
平面上的投影
现在的情况如图所示，我们先来试着推导一下在平面中实现投影的投影矩阵长什么样子。我们想要将向量$\overrightarrow{b}$往$\overrightarrow{a}$上投影，现在已经在图上做出了投影的结果，即$\overrightarrow{f}$。那么，首先因为它俩是共线关系有：$$
\begin{equation}
\overrightarrow{f}=λ\overrightarrow{a}
\end{equation}$$
其次：$$
\begin{equation}
(\overrightarrow{f}-\overrightarrow{b})\perp{\overrightarrow{a}}
\end{equation}$$
知晓这两个关系，我们大概能推导出我们的结果了。将(2)的关系写成矩阵乘法的形式，应该有$$
\begin{equation}
a^{\mathrm{T}}(λa-b)=0
\end{equation}$$
化简一下，去掉括号有$$
\begin{equation}
λa^{\mathrm{T}}a=a^{\mathrm{T}}b
\end{equation}$$
由于$a^{\mathrm{T}}a$是一个数，两边除以它可以推出$$
\begin{equation}
λ = \frac{a^{\mathrm{T}}b}{a^{\mathrm{T}}a}
\end{equation}$$
然后再把得到的λ代回到(1)中，我们已经可以写出一个投影矩阵了：$$
\begin{equation}
f = aλ = a\frac{a^{\mathrm{T}}b}{a^{\mathrm{T}}a} = \frac{\ a\ a^{\mathrm{T}}}{a^{\mathrm{T}}a}b
\end{equation}$$
我们已经得到了一个投影矩阵了，那就是$$
\begin{equation}
P = \frac{\ a\ a^{\mathrm{T}}}{a^{\mathrm{T}}a}
\end{equation}$$我们给这个矩阵一个符号$P$。不得不说我们上面推导过程中$a$和$b$放置的位置都是有选择的，要不然不会这么顺利推出投影矩阵。但是好在我们已经得出了结果。
平面上的投影矩阵P
所以现在来看下P的性质：
- 观察P我们会发现这是一个对称矩阵，即\(P^{\mathrm{T}}=P\)
- \(rank(P)=1\)
- \(P\)的列空间是什么，它的列空间是向量\(\overrightarrow{a}\)所在的一条过原点的直线。一个矩阵对应的列空间定义为矩阵内列向量的线性组合，很显然这些线性组合得到的向量都落在这条直线上。
- 而且还有一个很有意思的性质，即\(P^2=P\)。实际推导一下很快得出结果，而且从几何角度想，左乘两次P矩阵相当于往\(P\)的列空间投影两次，第一次投影在\(f\)的位置上了，而\(f\)本身就在\(P\)的列空间中，再往\(P\)的列空间投影显然还在\(f\)这个位置，就是它本身。
所以到这里为止，我知道了在\(R^2\)中，一个向量\(\overrightarrow{b}\)左乘上一个投影矩阵\(P\)相当于往投影矩阵\(P\)所在的列空间\(C(P)\)投影，能得到一个处于子空间\(C(P)\)中的向量\(\overrightarrow{f}\)。并且，只要我们知道\(C(P)\)的一组基，就能求出\(P\)，比如在上面的例子中，这组基是单个向量\(\overrightarrow{a}\)。
三维空间上的投影
二维空间可能并说明不了什么问题，让我们试试三维，凭我们从小到大的数学直觉，一般认为三维比二维空间更有说服力，而且能将一些结论推向高维。下面还是画一个在三维空间的抽象图：
这个图可能不是很好看，反正就是表达有一个平面，一个向量\(\overrightarrow{b}\)对着它投影得到\(\overrightarrow{f}\)。这里的平面是\(R^3\)中的一个子空间，显然它由一组基张成。这组基由两个线性无关的3维向量\(\overrightarrow{a_1},\overrightarrow{a_2}\)组成，将它们写成矩阵的形式为\(A=[\overrightarrow{a_1} \ \overrightarrow{a_2}]\)，它是一个3x2的矩阵。那么还是老样子，仿照二维空间得出投影矩阵的流程，我们先要从图中找出向量对应的关系。第一点，\(\overrightarrow{f}\)在\(C(A)\)中，因此$$
\begin{equation}
f=A\hat{x}
\end{equation}$$
写成\(\hat{x}\)是为了与引言对应起来。同时，既然\(\overrightarrow{f}\)为\(\overrightarrow{b}\)的投影向量，$$\begin{equation}
(\overrightarrow{f}-\overrightarrow{b})\perp{C(A)}
\end{equation}$$其中\(C(A)\)是矩阵A对应的列空间，在这里即那个平面。当然也可以表示成$$
\begin{equation}
\left {
\begin{array}{lr}
a_1^{\mathrm{T}}(b-A\hat{x})=0 \
a_2^{\mathrm{T}}(b-A\hat{x})=0 \
\end{array}
\right.
\end{equation}
\begin{equation}
\left
\begin{matrix}
a_1^{\mathrm{T}}\
a_2^{\mathrm{T}}
\end{matrix}
\right=\left[
\begin{matrix}
0\
0
\end{matrix}
\right]
\end{equation}
\begin{equation}
A^{\mathrm{T}}(b-A\hat{x})=0
\end{equation}
\begin{equation}
A{\mathrm{T}}b=A{\mathrm{T}}A\hat{x}
\end{equation}
\begin{equation}
\hat{x}=(A{\mathrm{T}}A){-1}A^{\mathrm{T}}b
\end{equation}$$
好吧，看起来(13)->(14)这里有点不怎么严谨，为什么\(A^{\mathrm{T}}A\)一定可逆，它会不会不可逆？答案是\(A^{\mathrm{T}}A\)一定可逆。
\(A^{\mathrm{T}}A\)可逆的证明
我们前面已经知道\(rank(A)=2\)，即\(A\)的列向量线性无关，所以\(Ax=0\)仅有0解。现在我们试着探究\(A^{\mathrm{T}}A\)的对应的零空间Nul(\(A^{\mathrm{T}}A\))。假设v是零空间中的一员。那么有$$(A{\mathrm{T}}A)v=0$$，那么左边式子左乘$v^{\mathrm{T}}$上式仍成立，即$$v{\mathrm{T}}(A{\mathrm{T}}A)v=0$$改变括号的位置，我们能得到$$(Av){\mathrm{T}}(Av)=0$$要使上式成立，仅在\(Av=0\)下才可能。而在一开始就说了，A的零空间仅有零向量，也就是说v=0时，\((A^{\mathrm{T}}A)v=0\)才会成立。所以\(A^{\mathrm{T}}A\)的零空间也仅有零向量，\(A^{\mathrm{T}}A\)对应的列向量线性无关，\(rank(A^{\mathrm{T}}A)=3\)，行列满秩，矩阵可逆。
回到投影矩阵的求解
接着回到上面得到的(14)式，将它代回到(8)中，我们就能得到梦寐已久想知晓的投影矩阵了。我们将这个等式写出来：$$
\begin{equation}
f=A(A{\mathrm{T}}A){-1}A^{\mathrm{T}}b
\end{equation}$$
所以向量b的左边就是我们要求的投影矩阵P了，我们将劳动成果单独写出来$$
\begin{equation}
P=A(A{\mathrm{T}}A){-1}A^{\mathrm{T}}
\end{equation}$$
额，(16)式太复杂了，俺们将它化解一下吧。去掉括号，合并一下，得到了...单位矩阵\(I\)。不，肯定哪里出错了。是的，一开始给定的A是3x2的矩阵，A并不是方阵，所以并不能去掉括号得到\(A^{-1}\)。太好了，我们的成果保住了。
那么再来思考下，我们是在假设A是方阵的情况下，得到投影矩阵化简的最终形式是单位阵。嗯...仔细思考一下，这十分合理。我们一开始就是要将向量\(\overrightarrow{b}\)往A的列空间投影，那么现在A是个3x3的方阵，A张开的列空间就是三维空间\(R^3\)。一个\(R^3\)中的向量往\(R^3\)投影就是它本身，这个解释听起来很合理。
那么看来不能将(16)式化简了。我们再来将它和平面空间中得到的投影矩阵(7)对比一下。它们有相同的性质，比如都是对称矩阵，或者\(P^2=P\)。而且它们的形式也很相近。
好吧，我们最终得到了能将三维空间中将一个向量\(\overrightarrow{b}\)往一个子空间映射的投影矩阵\(P\)。矩阵乘法\(Pb\)的结果就是在这个子空间中有一个向量\(\overrightarrow{f}\)，它是由\(\overrightarrow{b}\)投影得到。
总结
这个结论应该能被推向高维，即如果A不是3x2的矩阵，比如是4x3的矩阵。那么投影的过程就是四维空间中的一个向量\(\overrightarrow{b}\)往其中的一个三维子空间投影。这个子空间由3个线性无关的4维向量\(\overrightarrow{e_1},\overrightarrow{e_2},\overrightarrow{e_3}\)张成，将它们写在一起能得到一个矩阵\(A=[e_1,e_2,e_3]\)。再借由(16)我们能得到投影矩阵\(P\)，作矩阵乘法，我们就能得到一个向量\(\overrightarrow{f}\)，它在子空间中，并且是向量\(\overrightarrow{b}\)往三维子空间投影的结果。
并且，我们观察(13)式知晓了如果一个方程组\(Ax=b\)是无解的，可以在等式左右两侧同时左乘\(A^{\mathrm{T}}\)，即\(A^{\mathrm{T}}Ax=A^{\mathrm{T}}b\)求出方程的近似解\(\hat{x}\).