广义线性回归

1.概述

广义线性模型[generalize linear model]线性模型的扩展，通过联结函数建立响应变量的数学期望值与线性组合的预测变量之间的关系。其特点是不强行改变数据的自然度量，数据可以具有非线性和非恒定方差结构。是线性模型在研究响应值的非正态分布以及非线性模型简洁直接的线性转化时的一种发展。

 

2.原理

给定随机变量YYY，观测值为yyy,服从指数型分布

y|x,theta~ ExponentialFamily(η)

预测的值hθ(x)=E[T(y)∣x]通常T(y)=y

假设E(Y)=μ,且μ与η由如下关系:g(μ)=η,则μ=g-1(η),g(μ)称之为联系函数。

η = transpose(theta)*X

 

常见的指数族分布：伯努利分布、高斯分布、多项式分布、泊松分布、指数分布、伽马分布、贝塔分布、狄利克雷分布、维希特分布……

 

以逻辑回归(逻辑回归就是广义线性回归的一种)为例说明:

 

 

其中g(z) = logit(p)即为联系函数。