机器学习系列——预备基础(一)高斯分布
1、高斯密度函数
-
为常数
- 若变量 X 满足上述函数,则称其服从参数为 μ,σ 的正态分布或高斯分布
- 记作 X~N(μ,σ^2 )
2、参数的极大似然估计
- μ 的极大似然估计
(一维数据)
(高维数据)
- x 和 μ 的马氏距离:
,∑ 是 x 和 μ 的协方差矩阵
- 当协方差矩阵 ∑ 是单位矩阵,马氏距离就变成了欧氏距离
-
- μ 的极大似然估计=
-
- 由上式可得,
- 即
- 由上式可得,
- 此处的
是 μ 的无偏估计
-
的极大似然估计
的极大似然估计=
- 由上式可得,
- 即
- 此处的
是
的有偏估计,而
的无偏估计应该是