高斯判别分析模型（ Gaussian discriminant analysis）及Python实现

高斯判别分析模型（ Gaussian discriminant analysis）及Python实现

http://www.cnblogs.com/sumai

1.模型

         高斯判别分析模型是一种生成模型，而之前所提到的逻辑回归是一种判别模型，生成模型和判别模型的详细了解可参考这篇文章：

         http://blog.sciencenet.cn/home.php?mod=space&uid=248173&do=blog&id=227964

         简单的来说，我们的目标都是p(y|x)，判别模型是构造一个函数f(x)去逼近p(y|x)，而对于生成模型则是通过贝叶斯公式p(y|x) = p(x|y)p(y)/p(x)，求得p(x|y)和p(y)来间接得到p(y|x)。

        

         首先，高斯判别分析模型对变量x和y有如下假设：

          

　　    这样，可以给出概率密度函数：

 

 

2.评价

         该模型的对数似然函数如下：

 

        

3.优化

         对各个参数进行求导后令等式为0，得到：

         

　　  Φ是训练样本中结果 y=1 占有的比例。
　　  μ0是 y=0 的样本中特征均值。
　　  μ1是 y=1 的样本中特征均值。
　　  Σ是样本特征方差均值。

 

4.python代码实现

# -*- coding: utf-8 -*-
"""
Created on Tue Mar 08 16:16:36 2016

@author: SumaiWong
"""

import numpy as np
import pandas as pd
from numpy import dot
from numpy.linalg import inv

iris = pd.read_csv('D:\iris.csv')
dummy = pd.get_dummies(iris['Species']) # 对Species生成哑变量
iris = pd.concat([iris, dummy], axis =1 )
iris = iris.iloc[0:100, :] # 截取前一百行样本

X = iris.ix[:, 0:4]
Y = iris['setosa'].reshape(len(iris), 1) #整理出X矩阵 和 Y矩阵

def GDA(Y, X):
    theta1 = Y.mean() #类别1的比例
    theta0 = 1-Y.mean() #类别2的比例
    mu1 = X[Y==1].mean() #类别1特征的均值向量
    mu0 = X[Y==0].mean() #类别2特征的均值向量
       
    X_1 = X[Y==1]
    X_0 = X[Y==0]
    A = dot(X_1.T, X_1) - len(Y[Y==1])*dot(mu1.reshape(4,1), mu1.reshape(4,1).T)
    B = dot(X_0.T, X_0) - len(Y[Y==0])*dot(mu0.reshape(4,1), mu0.reshape(4,1).T)
    sigma = (A+B)/len(X) #sigma = X'X-n(X.bar)X.bar'=X'[I-1/n 1 1]X  

    return theta1, theta0, mu1, mu0, sigma