PCA

向量投影到哪个方向,就用该方向的方向向量的转置乘以向量

把$[-3,4]^T$ 投影到 $[0,1]^T$ 方向上,就是:$[0, 1] \begin{bmatrix} -3 \\ 4 \end{bmatrix} = 4$

把 $[-4, 1]^T$ 投影到 $[1,2]^T$ 方向上,先对投影向量的模长归一: $[\frac{1}{\sqrt{5}}, \frac{2}{\sqrt{5}}]^T$, 然后 $[\frac{1}{\sqrt{5}}, \frac{2}{\sqrt{5}}] \begin{bmatrix} -4 \\ 1 \end{bmatrix} =\frac{-2}{\sqrt{5}}$

三维空间,$\mathbf x$ 在$(\mathbf x_1, \mathbf x_2)$ 的投影变换到以 $(\mathbf e_1, \mathbf e_2)$ 为基(相互垂直)的坐标系下。向量没变,坐标变了。$\mathbf x$ 分别在$\mathbf{e_1,e_2}$ 方向上投影,得到新坐标:

$$ \begin{aligned} \mathbf e_1^T \mathbf x &= \left[\frac{1}{\sqrt{2}}\ \frac{1}{\sqrt{2}}\ 0 \right] \begin{bmatrix} 1 \ 0 \2 \end{bmatrix} = \frac{1}{\sqrt{2}} \

\mathbf e_2^T \mathbf x &= \left[\frac{1}{\sqrt{2}}\ -\frac{1}{\sqrt{2}}\ 0\right] \begin{bmatrix} 1 \ 0 \2 \end{bmatrix} = \frac{1}{\sqrt{2}} \end{aligned}

\Longrightarrow

\underbrace{ \begin{bmatrix} \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} & 0 \\ \frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} & 0 \end{bmatrix} \begin{bmatrix} 1 \ 0 \2 \end{bmatrix} = \begin{bmatrix} \frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} \end{bmatrix} }_{三维到二维,降维}

\Rightarrow

\begin{bmatrix} \mathbf e_1^T \ \mathbf e_2^T \end{bmatrix} \begin{bmatrix} \frac{1}{\sqrt{2}} \ \frac{1}{\sqrt{2}} \end{bmatrix} $$

投影矩阵

$$ A \coloneqq [\mathbf e_1 \ \mathbf e_2] = \begin{bmatrix} \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \\ 0 & 0 \end{bmatrix} $$

所以坐标变换,相当于左乘投影矩阵的转置 $A^T$

$$ \begin{bmatrix} \mathbf e_1^T \\ \mathbf e_2^T \end{bmatrix} \begin{bmatrix} \frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} \end{bmatrix} = A^T \begin{bmatrix} 1 \\ 0 \\ 2 \end{bmatrix} $$

主成分之间是相互独立的,互相垂直

如上图,选 $\mathbf e_1$ 为拉得最开的方向,是为了方便找 $\mathbf e_2$ 方向上的最大最小值
Built with Hugo
Theme Stack designed by Jimmy