线性回归

方程

损失函数

求导

令导数为0，得到

逻辑回归

逻辑回归函数

函数的图像：

逻辑回归函数如何解决二元分类过程？

当P(y=1|x)的值>0.5时输出1,否则输出0

逻辑回归的损失函数

梯度值：

梯度下降法

为什么?（逻辑回归的损失函数）

似然函数

假设分段函数f(x)结果只两个值0，1，为1的概率为p，为0的概率就是1-p，规范一些，可以描述如下：

我们把训练数据(X,y)代入公式，让矩阵中所有的p(1-p)相乘。

为什么要相乘？有人说是因为要用一个函数将y=0和y=1的形式统一起来，其实不准确，应该是为了“最大似然估计”。
参考:https://www.zhihu.com/question/65350200