gamma函数及相关其分布
gamma函数的定义及重要性质
\[\Gamma(x)=\int_0^{\infty}t^{x-1}e^{-t}dt\]
\[\Gamma(x+1) = x \Gamma(x)\]
\[\Gamma(n) = (n-1)! \]
\[\Gamma(0) = 1\]
\[\Gamma({1\over 2}) = 2\int_0^{+\infty}e^{-u^2}du = \sqrt\pi\]
gamma函数的图像
在matlib中，我们可以方便的用下面的代码画出gamma函数的图像。
x = -10:0.001:10;
plot(x,gamma(x));
axis([-10.1,10.1,-4,4]);
随机变量\(Y=X^2\)的概率密度
假设随机变量\(X\)具有概率密度\(f_X(x),-\infty<x<\infty\),求\(Y=X^2\)的概率密度。
\begin{align*}F_Y(y) &=P(Y\leq y)=P(X^2 \leq y) \\
&=P(-\sqrt{y} \leq x \leq \sqrt{y}) \\ &=F_X(\sqrt{y})-F_X{(-\sqrt{y})} \end{align*}
\[f_Y(y)=\left\{
\begin{aligned}
\frac{1}{2\sqrt{y}}[f_X(\sqrt{y})+f_X(\sqrt{-y}], y >0, \\
0, y \leq 0 \\
\end{aligned}
\right.\]
设\(X \sim N(0,1)\)，其概率密度为\(\varphi(x)=\frac{1}{\sqrt{2\pi}}e^{\frac{-x^2}{2}}, -\infty<x<\infty\),则\(Y=X^2\)的概率密度如下：
\[f_Y(y)=\left\{
\begin{aligned}
\frac{1}{\sqrt{2\pi}}y^{-1/2}e^{-y/2}, y>0, \\
0, y \leq 0 \\
\end{aligned}
\right.\]
Gamma分布
\(X \sim \Gamma(\alpha, \theta)\)
\[f_X(x)=\left\{\begin{aligned}
\frac{1}{\theta^\alpha\Gamma(\alpha)}x^{\alpha-1}e^{-x/\theta}, x> 0, \alpha>0,\theta>0 \\
0, x \leq 0, \alpha>0,\theta>0 \\
\end{aligned}
\right.\]
当\(\alpha= 1 , \theta = \lambda 时，\Gamma(1,\lambda)\) 就是参数为\(\lambda\)的指数分布,记为\(exp (\lambda)\) ；
当\(\alpha= n/2 , \theta = 2 时，\Gamma(n/2,1/2)\)就是数理统计中常用的\(\chi^2(n)\) 分布。
数学期望(均值)、方差分别为
\[E(X) = \alpha\theta\]
\[D(x) = \alpha\theta^2\]
Gamma分布是指在地震序列的有序性、地震发生率的齐次性、计数特征具有独立增量和平稳增量情况下，可以导出地震发生\(i\)次时间的概率密度为Gamma密度函数。
gamma分布的一个重要应用就是作为共轭分布出现在很多机器学习算法中。
gamma的密度函数和分布函数图像如下：
注意：这儿\(\alpha=1.5,\theta = 1/0.6 或者 \beta=0.6\),因为gamma函数有两种表达方式，一种用\(\theta\),一种用\(\beta\),它们的关系是\(\theta=\frac{1}{\beta}\)
x=0:0.1:5; figure; plot(x,[gampdf(x,1.5,0.6);gamcdf(x,1.5,0.6)])
Gamma分布的可加性
设\(X \sim \Gamma(\alpha, \theta),Y \sim \Gamma(\beta,\theta)\),\(X,Y\)的概率密度如下：
\[f_X(x)=\left\{
\begin{aligned}
\frac{1}{\theta^\alpha\Gamma(\alpha)}x^{\alpha-1}e^{-x/\theta}, x> 0, \alpha>0,\theta>0 \\
0, x \leq 0, \alpha>0,\theta>0 \\
\end{aligned}
\right.\]
\[f_Y(y)=\left\{
\begin{aligned}
\frac{1}{\theta^\beta\Gamma(\beta)}y^{\beta-1}e^{-y/\theta}, y > 0, \beta>0,\theta>0 \\
0, y \leq 0, \beta>0,\theta>0\\
\end{aligned}
\right.\]
则有\(Z=X+Y\)的分布为：\(X+Y \sim \Gamma(\alpha + \beta,\theta)\)
\(\chi ^2\)（卡方)分布及其性质
设\(X_1,X_2,…,X_n\)是来自总体\(N(0,1)\)的样本，则称统计量
\[\chi^2=X_1^2+X_2^2+…+X_n^2\]
为服从自由度为\(n\)的\(\chi^2\)分布，记为\(\chi^2 \sim \chi^2(n)\)
它的概率密度函数为：
\[f(x,n)=\left\{
\begin{aligned}
\frac{1}{2^{n/2}\Gamma(n/2)}x^{n/2-1}e^{-x/2}, x> 0 \\
0, x \leq 0, \\
\end{aligned}
\right.\]
用下面的matlib代码，我们能够画出卡方分布概率密度函数图:
%卡方分布 x=0.0:0.01:30; y=chi2pdf(x,1); y1=chi2pdf(x,2); y2=chi2pdf(x,4); y3=chi2pdf(x,6); y4=chi2pdf(x,11); plot(x,y,'-r',x,y1,'-g',x,y2,'-b',x,y3,'-c',x,y4,'-m'); legend('自由度1','自由度2','自由度4','自由度6','自由度11'); axis([0,30,0,0.2]);
由上面的式子可以知道：
\[\chi^2=\sum\limits_{i=1}^{n}X_i^2 \sim \Gamma(\frac{n}{2},2)\]
1）若 \(X \sim \chi(n)\),则\(E(X)=n,D(X)=2n\)
2)若\(X \sim \chi(n_1)\), \(Y \sim \chi(n_2)\),且\(X,Y\)相互对立，则有\(X+Y \sim \chi^2(n_1+n_2)\)
