Gaussian discriminant analysis 高斯判别分析

高斯判别分析（附Matlab实现）

生成学习算法

高斯判别分析（Gaussian Discriminant analysis，GDA），与之前的线性回归和Logistic回归从方法上讲有很大的不同，GDA是一种生成学习算法（Generative Learning Algorithms），而之前的属于判别学习算法（Discriminative Learning Algorithms）。

它们的主要区别是：

判别学习算法是直接训练出p（y|x）；

生成学习算法是分别训练出各个类别的概率模型，之后再用Bayes公式算法出p（y|x）；

通俗的说，判别模型是通过训练样本训练出一个模型，再用测试点x带入这个模型，最后算出x的可能类别；而生成学习模型是通过训练样本训练出各个类别的多个模型，再将预测点x分别代入不同类别的模型中，进而判断x到底属于哪个类别（一般就看代入后那个模型的概率大就认为x是哪一类，当然也有例外）。

高斯判别分析

GDA就是一种生成学习算法，通过生成不同类别的模型，再进一步估计出预测样本的具体类别，为了简化问题，这里只讲二分类情况下的问题。

前提：

条件概率p（x|y）服从多维正态分布，且输入特征x是连续且随机的。

其分布函数为：

其中p(y)为类别i的先验概率，φ为y=1的先验概率值，μ0和μ1分别为y=0和y=1的期望，Σ为样本的协方差，由此可以看出y是服从Bernoulli（φ）的分布，x|y=0和x|y=1分别服从N（μ0，Σ）和N（μ1，Σ）。

Ps:这里y=0和y=1时用的是同一个协方差，至于为什么？我感觉很难说清

其似然函数如下

为了使似然函数达到最大，可得和参数的估计值为

有了这些估计值我们就能生成属于各个类别的模型了。

In Matlab

这代码其实很简单，分别算出各参数的值，再带入matlab预有的生成函数就行

代码如下：

clear all; close all; clc

% data 

x = [0.230000 0.394000;
0.238000 0.524000;
0.422000 0.494000;
0.364000 0.556000;
0.320000 0.448000;
0.532000 0.606000;
0.358000 0.660000;
0.144000 0.442000;
0.124000 0.674000;
0.520000 0.692000;
0.410000 0.086000;
0.344000 0.154000;
0.490000 0.228000;
0.622000 0.366000;
0.390000 0.270000;
0.514000 0.142000;
0.616000 0.180000;
0.576000 0.082000;
0.628000 0.286000;
0.780000 0.282000];

x1 = x(:,1);
x2 = x(:,2);

y = [0;
    0;
    0;
    0;
    0;
    0; 
    0;
    0;
    0;
    0;
    1;
    1;
    1;
    1;
    1;
    1;
    1;
    1;
    1;
    1];

[m, n] = size(x);

% plot the datas
figure
pos = find(y); neg = find(y == 0);      %find是找到的一个向量，其结果是find函数括号值为真时的值的编号
plot(x(pos, 1), x(pos, 2), '+')
hold on
plot(x(neg, 1), x(neg, 2), 'o')
hold on
xlabel('axis X')
ylabel('axis Y')

m_ones = ones(m,1);  % 20 * 1的矩阵，元素全为1

sum0 = (1-y)' * m_ones; % 标记为0的样本个数
sum1 = y' * m_ones;     % 标记为1的样本个数

mu0 = [(1-y)'*x1/sum0 (1-y)'*x2/sum0];  % 标记为0的期望
mu1 = [y'*x1/sum1  y'*x2/sum1];         % 标记为1的期望

sigma = cov(x1,x2);     % 协方差

[x y]=meshgrid(linspace(0,1,50)',linspace(0,1,50)'); 
X=[x(:) y(:)]; 
z1=mvnpdf(X,mu0,sigma);
contour(x,y,reshape(z1,50,50),4);
hold on;

[x y]=meshgrid(linspace(0,1,50)',linspace(0,1,50)'); 
X=[x(:) y(:)]; 
z2=mvnpdf(X,mu1,sigma);
contour(x,y,reshape(z2,50,50),4);
hold off

效果图如下：