有关损失函数推导

损失函数推导

线性回归

首先损失函数是为了衡量模型预测的数据与真实数据之间的区别，那么问题来了为什么是平方损失，而不是绝对值损失，四次方损失。

一个很浅显的理解：二次方简单,导数是线性的且连续，而且离预测值远的值会被放大。

推导

假设模型已被训练到最佳，这时候与真实值必然会存在一些误差。比如房子供应商的心情突然好了，进行促销。这些都是不可知的，但所有的误差叠加到一起，
可以将其看做成一个高斯分布。也就是说所有点的误差$ϵ\sim \mathcal{N}(0,{\sigma }^2)$，
误差为x的概率$P(ϵ=x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{\frac{x^2}{-2{\sigma }^2}}$
所以每个$X{X}^i$因为误差取得$y{y}^i$的概率$P(y{y}^i|X{X}^i)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{\frac{(X{X}^i\theta \theta -y{y}^i{)}^2}{-2{\sigma }^2}}$。
以上都是对一训练好的模型来说的。

而对于$\theta \theta$未确定来说，$X{X}^i$因为误差取得$y{y}^i$的概率$P(y{y}^i|X{X}^i;\theta \theta )=\frac{1}{\sqrt{2\pi }\sigma }{e}^{\frac{(X{X}^i\theta \theta -y{y}^i{)}^2}{-2{\sigma }^2}}$
这时$y^i$都发生的概率应为$P(yy|XX;\theta \theta )$，将其设为$\mathcal{L}(\theta \theta )$

$$\begin{array}{rcl}\mathcal{L}(\theta \theta )& =& P(yy|XX;\theta \theta )\\ & =& \prod _{i=1}^{n}P(y{y}^i|X{X}^i;\theta \theta )\\ & =& \prod _{i=1}^n\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(X{X}^i\theta \theta -y{y}^i{)}^2}{2{\sigma }^2}}\end{array}$$

如上式，所表示的是$yy$发生的概率，只需要求能使得这个式子取得最大值的$\theta \theta$即可，观此式，为积式，而且还有许多我们可以通过$\log$函数将其转化为和式并去掉指数函数。设$\mathcal{l}(\theta \theta )=\log (\mathcal{L}(\theta \theta ))$

$$\begin{array}{rcl}\mathcal{l}(\theta \theta )& =& \log (\mathcal{L}(\theta \theta ))\\ & =& \log (\prod _{i=1}^n\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(X{X}^i\theta \theta -y{y}^i{)}^2}{2{\sigma }^2}})\\ & =& \sum _{i=1}^n(\log (\frac{1}{\sqrt{2\pi }\sigma })+\log (e^{-\frac{(X{X}^i\theta \theta -y{y}^i{)}^2}{2{\sigma }^2}}))\\ & =& n\log (\frac{1}{\sqrt{2\pi }\sigma })+\sum _{i=1}^n\frac{(X{X}^i\theta \theta -y{y}^i{)}^2}{2{\sigma }^2}\\ & =& n\log (\frac{1}{\sqrt{2\pi }\sigma })+\frac{\sum _{i=1}^n(X{X}^i\theta \theta -y{y}^i{)}^2}{2{\sigma }^2}\end{array}$$

由此得到了函数$\sum _{i=1}^n(y^i-X^i\theta {)}^2$，即$(XX\theta \theta -yy{)}^T(XX\theta \theta -yy)$，且只需要求函数的最小值，就是求$\mathcal{L}(\theta \theta )$的最大值。

即：
$J(\theta \theta )=(XX\theta \theta -yy{)}^T(XX\theta \theta -yy)$

这时求其梯度得

$$\begin{array}{rcl}\frac{\partial J(\theta \theta )}{\partial \theta \theta }& =& \frac{\partial ((XX\theta \theta -yy{)}^T(XX\theta \theta -yy))}{\partial \theta \theta }\\ & \stackrel{xx=XX\theta \theta -yy}{=}& (\frac{\partial x{x}^{T}xx}{\partial xx}{)}^T\frac{\partial (XX\theta \theta -yy)}{\partial \theta \theta }\\ & =& (2xx{)}^{T}XX\\ & =& 2(XX\theta \theta -yy{)}^{T}XX\end{array}$$

逻辑回归

$$h(X{X}^i)=\frac{1}{1+e^{-X{X}^i\theta \theta }}$$

求逻辑回归线性回归同理:

$$\begin{array}{rcl}\mathcal{l}(\theta \theta )& =& \log (\mathcal{L}(\theta \theta ))\\ & =& \log (P(yy|XX;\theta \theta ))\\ & =& \log (\prod _{i=1}^{n}P(y{y}^i|X{X}^i;\theta \theta ))\\ & =& \log (\prod _{i=1}^n{h}_{\theta \theta }(XX{)}^{y{y}^i}(1-h_{\theta \theta }(XX){)}^{1-y{y}^i})\\ & =& \sum _{i=1}^n(y{y}^i\log (h_{\theta \theta }(XX))+(1-y{y}^i)\log (1-h_{\theta \theta }(XX)))\end{array}$$

令

$$J(\theta \theta )=-\mathcal{l}(\theta \theta )$$

对其求梯度得

$$\begin{array}{rcl}\frac{\partial J(\theta \theta )}{\partial \theta \theta }& =& \frac{-\sum _{i=1}^n(y{y}^i\log (h_{\theta \theta }(XX))+(1-y{y}^i)\log (1-h_{\theta \theta }(XX)))}{\partial \theta \theta }\\ & =& -\sum _{i=1}^n\frac{y{y}^i\log (h)+(1-y{y}^i)\log (1-h)}{\partial h}\frac{h(\theta \theta )}{\partial \theta \theta }\\ & =& -\sum _{i=1}^n(\frac{y{y}^i}{h}-\frac{1-y{y}^i}{1-h})h(1-h)X{X}^i\\ & =& -\sum _{i=1}^n(y{y}^i(1-h)-h(1-y{y}^i))X{X}^i\\ & =& \sum _{i=1}^n(h_{\theta \theta }(X{X}^i)-y{y}^i)X{X}^i\\ & =& (\left[\begin{array}{c}⋮\\ h_{\theta \theta }(X{X}^i)\\ ⋮\end{array}\right]-yy{)}^{T}XX\end{array}$$

为什么是sigmoid

在线性回归的时候我们假设了误差$ϵ$，将其视为一个高斯分布，得到每个$y{y}^i$的概率，
为什么到了逻辑回归就不用假设，而是$h_{\theta \theta }$直接得到的就是概率呢？是通过推导得出来的还是只是因为此函数比较优异？

见链接