损失函数:最小二乘法与极大似然估计法
最小二乘法
对于判断输入是真是假的神经网络:
\[\hat y =sigmod\bigg (\sum_i (w_i\cdot x_i + b_i) \bigg)
\]
为了比较单次结果与标签\(y\)之间有多少的差距,可以直观的得到:
\[min\ |y-\hat y|
\]
当同时有\(n\)次结果时:
\[min\ \sum_{j=1}^n|y_i-\hat y_i|
\]
但是绝对值在其定义域内不完全可导,因此可改为如下形式,且不改变大小关系:
\[min\ \frac{1}{2} \sum_{j=1}^n (y_i-\hat y_i)^2
\]
吴恩达老师在课上说:用最小二乘法做梯度下降法会特别麻烦,所以不建议使用,具体为什么?
极大似然估计法
用来根据现实世界的事件发生频率,来反推出发生这些事件最可能的概率模型是什么样子。
似然也就是,该某模型可能是真实模型的可能性
假设对于投硬币来说,有三种硬币,其正反面重量不同,其投的正面的概率\(\theta\)分别为\(0.1,0.7,0.8\)。某一时刻某人挑选了一种硬币,并且投了10次硬币\(C_i\),出现\(7\)次正,\(3\)次反。如何确定此人所挑选是哪种硬币?
可以分别计算选择不同种硬币时发生7次正,3次反的可能性有多大,即:
\[\begin{align}
L &= P(C_1,C_2,\dots, C_{10}|\theta)\\
&= \prod_{i=1}^{10}P(C_i|\theta)\\
&= \prod_{i=1}^{10}\theta ^{[C_i=1]}\cdot(1-\theta)^{[C_i=0]}
\end{align}
\]
当\(\theta =0.1\)时:
\[L=(0.1)^7\cdot (0.9)^3 =7.29\times 10^{-8}
\]
当\(\theta =0.7\)时:
\[L=(0.7)^7\cdot (0.3)^3 =2.22\times 10^{-3}
\]
当\(\theta =0.8\)时:
\[L=(0.8)^7\cdot (0.2)^3 =1.68\times 10^{-3}
\]
可以得到此人所选的硬币最可能是\(\theta =0.7\)的硬币。这就是基本的似然估计。
而对于单个输出神经网络中,给出的一张张图片,便可以类比为抛出的硬币,硬币的正反就相当于人对于图片的标注结果(是或不是)。而神经网络要做的事,就是根据所给的图片,求得这些图片所表示的最可能的概率模型是什么样子。
对于硬币来说每次输入的硬币是相同的,因此对于每一次投掷\(i\),其\(\theta_i=0.1\),而对于神经网络中的图片来说,他们都是互不相同的,其\(\theta_i = Network_{w,b}(x_i)\)
\[\begin{align}
L &= P(y_1, y_2, \dots, y_n|W,b)\\
&=\prod_{i=1}^nP(y_i|W,b)\\
&=\prod_{i=1}^nP(y_i|\theta_i)\\
&=\prod_{i=1}^{n}\theta_i ^{[y_i=1]}\cdot(1-\theta_i)^{[y_i=0]}
\end{align}
\]
因为\(y_i\)要么是为真,要么为假,因此又等于:
\[\begin{align}
L &=\prod_{i=1}^n\theta_i^{y_i}\cdot (1-\theta_i)^{1-y_i}\\
log(L) &= \sum_{i=1}^n y_i\cdot log(\theta_i) +(1-y_i)\cdot log(1-\theta_i)
\end{align}
\]
因此我们做的就是最大化\(log(L)\),即:
\[\begin{align}
max\; log(L)&=max\;\sum_{i=1}^n y_i\cdot log(\theta_i) +(1-y_i)\cdot log(1-\theta_i)\\
&=min\;-\sum_{i=1}^n y_i\cdot log(\theta_i) +(1-y_i)\cdot log(1-\theta_i)\\
\end{align}
\]
其实\(\theta_i\)又可理解为神经网络的输出即\(\hat y_i\),而\(y_i\)可理解为标签的\(y_i\),因此又可以写成:
\[min\;-\sum_{i=1}^n y_i\cdot log(\hat y_i) +(1-y_i)\cdot log(1-\hat y_i)\\
\]
有没有联想到什么?
对于多分类\(m\)神经网络模型,\(\theta_i=Network_{W,b}(x_i)\)就是一个向量,同时为了便于书写,将\(y_i\)处理成\(one-hot\)向量,则可由公式\(13\)往下推导:
\[\begin{align}
L &=\prod_{i=1}^nP(y_i|\theta_i)\\
&=\prod_{i=1}^n\prod_{j=1}^m \theta_{ij}^{y_{ij}}\\
log(L)&=\sum_{i=1}^n\sum_{j=1}^my_{ij}\cdot log(\theta_{ij})\\
\end{align}
\]
推荐详细讲解视频:https://www.bilibili.com/video/BV1Y64y1Q7hi