Logistic Regression - Formula Deduction
Sigmoid Function
\[\sigma(z)=\frac{1}{1+e^{(-z)}}
\]
feature:
- axial symmetry：
\[\sigma(z)+ \sigma(-z)=1
\]
- gradient:
\[\frac{\partial\sigma(z)}{\partial z} = \sigma(z)[1-\sigma(z)]
\]
由性质1 可知，
\[\frac{\partial\sigma(z)}{\partial z} = \sigma(z) \sigma(-z)
\]
Logistic Function
\[\sigma(x;\theta)= \frac{1}{1+e^{-\theta x}}
\]
首先我们考虑 \(2\) 分类问题, 所以\(f(x)\)的值域也是 \([-1,1]\)。
\[P(y=1|x,\theta) = \sigma(x)
\]
即对于给定的样本\(x\)，其属于类别 \(1\) 的概率是 \(f(x)\)。则属于类别 \(-1\) 的概率是
\[P(y=-1 | x,\theta) = 1-\sigma(x)= \sigma(-x)
\]
上述概率也可以写作:
\[P(y | x,\theta) = \left\{\begin{split}\sigma(x),~~~~y=1 \\ \sigma(-x),y=-1 \end{split}\right.
\]
代价函数的形式是：
\[\mathcal{l}(\theta) = \frac{1}{n} \sum_{i=1}^{n} \log \sigma(y_i x_i)
\]
Note
- 之所以记 \(y\in [-1,1]\) 而不是 \(y \in [0,1]\)，因为前者能简化计算公式，不需要再做分类计算了。
- 如果采用 \(y \in [0,1]\), 那么我们的代价函数就变成了：
\[\mathcal{l}(\theta) = \frac{1}{n} \sum_{i=1}^{n} y_i \log \sigma(x_i) + (1-y_i) \log (1-\sigma(x_i))
\]
详情请参见： [Logistic Regression分类器]（http://www.cnblogs.com/guyj/p/3800519.html）
