矩阵分解方法在机器学习中的应用与进展

矩阵分解技术和隐藏因子模型的交叉部分

隐藏因子模型 用 矩阵分解 神经网络 实现

矩阵分解发展历史

1999年之前

PCA SVD LSI 被用在降维(降维分析),聚类分析,数据预处理

之后潜在因子模型(Latent Factor Model)

1999年之后将概率模型引入到PLAS进一步发展NMF,LDA

低维度特征学习聚类分析

　　1非负矩阵分解(NMF)与人脸特征学习

　　2文本分析与聚类分析

2006年特征学习 推荐系统 大数据分析  MF,SVD++

Netflix推荐系统，Graph enbedding，深度学习中的矩阵分解应用(不属于隐含因子模型)

PCA:在对数据做主成分分析(PCA)以后，如果不丢弃任何维度，变换ub以后的数据相互距离保持不变。主成分分析(PCA)适用于分析满足高斯分布的数据

主成分分析(Principal component analysis,PCA):分析 简化数据集的技术，用于减少数据集的维度，同时保持数据集中的对方差贡献最大的特征。这是通过计算主成分和各个主成分方向对方差的贡献，保留低价主成分，忽略高阶主成分做到的。低价成分往往能够保留住数据的最主要方面。

主成分分析常见流程:

　　在D维空间里面，寻找一个坐标系U,矩阵U的每一列表示坐标系的一个方向，每一个方向就是一个主成分principal component，Y是数据X在新的坐标系里面的投影，数据沿着这些方向线性独立。Y表示特征的数量*样本的数据量

PCA是一个整理(holistic)变换

PCA寻找一个新的坐标系。数据位置没有变化，只是投影到新的坐标系里会有新的坐标。