主成分分析(PCA)算法介绍及matlab实现案例

主成分分析经常被用做模型分类时特征的降维，本篇首先介绍PCA的步骤，并根据步骤撰写对应的MATLAB代码，最后指明使用PCA的步骤。

我们在做分类时，希望提取的特征能够最大化将数据分开，如果数据很紧密，模型就比较难将其分开，如果数据比较离散，那么就比较容易分开，换句话说，数据越离散，越容易分开。

那怎么让数据离散呢？离散又用什么指标衡量呢？

统计学的知识告诉我们，数据越离散，方差越大。

因此，PCA的问题就变为：寻找一个坐标轴，使得数据在该坐标轴上面离散度最高。也就是寻找一个基使得所有数据在这个基上面的投影值的方差最大。

那具体怎么做呢？科学家们已经帮我们做好了，如下步骤：

设有m个样本，每个样本有n个特征，组成m行n列的矩阵

1）将每一列特征进行均值化处理，特征归一化，也称为数据中心平移到坐标原点

 2）求取协方差矩阵

3）求取协方差矩阵的特征值和特征向量

4）将特征向量按对应特征值大小从上到下按行排列成矩阵，取前K列组成系数矩阵

matlab代码

function [coffMatrix,lowData,eigValSort,explained,meanValue] = myPCA(data)
%data为row行col列矩阵，row为样本数量，col为特征列，每一列代表一个特征
[row , col] = size(data);
% 求出每一列的均值
meanValue = mean(data);
% 将每一列进行均值化处理，特征归一化,数据中心平移到坐标原点
normData = data - repmat(meanValue,[row,1]);
%求取协方差矩阵
covMat = cov(normData);
%求取特征值和特征向量
[eigVect,eigVal] = eig(covMat);
% 将特征向量按对应特征值大小从上到下按行排列成矩阵
[sortMat, sortIX] = sort(eigVal,'descend');
[B,IX] = sort(sortMat(1,:),'descend');
coffMatrix = eigVect(:,IX);
% 排序后的特征向量就是新的坐标系
lowData = normData * coffMatrix;
% 分量得分
explained = 100*B/sum(B);
%特征值
eigValSort = B;
%%
% [U,S,V] = svd(data);
end

　　

我们在实际应用PCA的时候需要注意保留以下几个值。

1、每个特征的均值meanValue，用于验证集和测试集的归一化

2、系数矩阵coffMatrix，用于求取转换后的训练数据，和转换后的验证数据，测试数据

3、各分量的得分scores，用以确定最终的所需要的维度。

下面借鉴matlab帮助中心的例子实现撰写以下代码：

clc
clear
creditrating = readtable('CreditRating_Historical.dat');
creditrating(1:5,:);
X = table2array(creditrating(:,2:7));
Y = creditrating.Rating;
XTest = X(1:100,:);
XTrain = X(101:end,:);
YTest = Y(1:100);
YTrain = Y(101:end);

[coeffMatrix,scoreTrain,eigval,score,meanValue] = myPCA(XTrain);

sum_score = 0;
idx = 0;
while sum_score < 95
    idx = idx + 1;
    sum_score = sum_score + score(idx);
end
idx
scoreTrain95 = scoreTrain(:,1:idx);
mdl = fitctree(scoreTrain95,YTrain);
%关键步骤：1、测试集减去均值，均值是训练集各个特征值的均值
for i=1:size(XTest,1)
    XTest(i,:) = XTest(i,:)-meanValue;
end
%关键步骤：2、均值化之后的值乘以训练集的系数矩阵（新基），转化为该基下来对应的值
scoreTest95 = XTest*coeffMatrix(:,1:idx);
% 新基下面的值作为预测数据
YTest_predicted = predict(mdl,scoreTest95);

matlab中也有自带的pca函数

[coeff, score, latent, tsquared, explained, mu] = pca(x,varargin)；

详细的参数说明可以通过在命令行输入 doc pca查看

也可以通过matlab的帮助中心查看：https://ww2.mathworks.cn/help/stats/pca.html?requestedDomain=cn

帮助中心中有丰富的例子可以帮助理解。