高斯分布
高斯分布也称为正态分布,μ为平均值,它描述了正态分布概率曲线的中心点。σ为标准差,σ2为方差,σ描述了曲线的宽度。在中心点附近概率密度大,远离中心点概率密度小。
高斯分布图
概率曲线下方的面积为1(积分为1),概率和为1。μ为中心点,σ为宽度。σ小时图形更尖更高,σ大时图形更矮更宽,因为面积不变为1,μ变化时表示中心点的转移。
参数估计
假设我们猜测每个样本xi服从某种分布(如正态分布),我不知道这些参数(μ,σ2)的值是多少.
参数估计=>给定数据集,希望能估算出(μ,σ2)的值
如图在x轴上的这些数据,我们猜测它们服从高斯分布,因为它们在中心点μ的位置出现得较频繁,远离中心点的位置则较稀疏,符合高斯分布的概率分布。
我们将μ估计为样本的平均值,将σ2估计为样本减去平均值,取平方再求平均,有的版本是使用(m-1),这两个差别较小(因为在较大的m的情况下),机器学习领域使用1/m较多。
总结:
有一个训练集,猜测它服从高斯分布,则
1>根据样本来估算出u
2>根据样本来估算出σ2