我们通过PCA把二维数据降到一维。

那么怎么把一维数据变回二维

通过X=UZ

我们得到的点都在z轴上

这个X十分解决x了

 

如何去选择k值

PCA的成本函数:

总变差(这些x长度的平方均值):

意味这我的平均向量离0向量有多远

 

我们选择k使下面的公式成立:

使得99%差异性得到保留

除了0.01,人们也用0.1,0.05

 

总过程:

优化辨别式:

 

一些PCA的建议:

不好的使用:来避免过拟合

错误观点:有人认为把特征变量的维数降下来会使数据更容易

拟合,但这是错误的。

过拟合还是需要正则项来解决:

 

一开始不要一下就把PCA算法加入你的学习算法,

要先用原始数据进行测试。如果占用内存,运算时间,

等不理想,才来用PCA压缩数据。

 

posted on 2017-08-23 16:29  郑哲  阅读(569)  评论(0编辑  收藏  举报