PCA understanding
PCA understanding
我们希望获取玩具的位置,事实上我们只需要知道玩具在x轴的位置就可以了(但现实不知道)。我们利用三个坐标轴,获取了2*3维度的数据,现实中我们如何通过分析六维度数据来获取玩具的位置?
可以从上图看出camera A,B,C的x,y轴相关度都很明显,数据有冗余。
l 如何压缩数据?如何去除数据中的噪声,或者合并数据中相关的维度(来获取x轴数据)
l How to change the basis of the data
Let X be the original data set, where each column is a single sample of our data set. In the toy
example X is an m×n matrix where m = 6 and n = 72000.Let Y be another m×n matrix related by a linear transformation P. X is the original recorded data set and Y is a new representation of that data set. m=6(每组数据6维度)n=72000(72000组sample)
从数学方面解释就是,找个一个正定矩阵P, 使得数据X转换到Y之后(Y=PX),使得是对角矩阵,The rows of P are the principal components of X.
以特征值大小排列特征值与特征向量,数据压缩时,可以删掉后面较小的特征值与特征向量。
SVD与PCA的关系
可以看出通过SVD变换,对于X可以找出PCA中的转换矩阵P=U’, 对于X’可以找出PCA中的转换矩阵P=V’.
参考文献:
A_Tutorial_on_Principal_Component_Analysis