代价函数与最大似然

在参数模型中，例如神经网络和线性模型，其目标都是学习一组参数θ，将输入向量映射到输出向量 。

现在假设输入、输出都是一维的， 即：

　y = f*(x)

其中f*未知。现在用

　y = f(x;θ)

去逼近目标映射f^*.

目标映射虽然未知，但可以通过给定x值，观测其y值。假设现在我们通过观测得到一组数据：

　(x₁,y₁)、(x₂,y₂)、... 、(x_n,y_n)

由于是观测数据，故必然有误差，所以(下面所有出现的i = 1,2, .. , n)：

　y_i  ≠  f*(x_i)

假设误差项为ε_i ,则有：

　y_i  =  f*(x_i) + ε_i

对于f(x;θ)同样也要考虑该误差项：

　y_i  =  f(x;θ) + ε_i

现在假设，误差项 ε_i服从均值为0，方差为σ²的高斯分布, 且ε_i独立同分布，即：

 　ε_i ~ N(0,σ² )

故有：

依据高斯分布的性质，有在x_i 条件下，y_i服从均值为f(x_i;θ) ,：方差为σ²的高斯分布，即：

　y_i|x_i  ~ N(f(x_i;θ) , σ² )

故有：

其中

称之为似然函数。那么为了得到参数θ，可用最大似然估计。即出现这样一组观测数据的概率为：

把θ当做变量，最大化这个概率，等价于最大会这个概率的对数，则有：

 

最大化lnL(θ)，等价于最小化