逻辑回归

逻辑回归

在线性回归的基础上，套用sigmoid等平滑函数，将线性回归的结果映射成事件的概率。

值得注意的是线性回归的结果可以是任意大小的数值，所以它可以被用于预测任务中，如预测股票价格。而逻辑回归的结果只能在（0，1）之间，也就是一个事件可能发生的概率，所以更多的被应用在分类任务上，比如股票是否该买或者卖。

逻辑回归（Logistic Regression）是一种用于解决二分类（0 or 1）问题的机器学习方法，用于估计某种事物的可能性。比如某用户购买某商品的可能性，某病人患有某种疾病的可能性，以及某广告被用户点击的可能性等。

逻辑回归（Logistic Regression）与线性回归（Linear Regression）都是一种广义线性模型（generalized linear model）。逻辑回归假设因变量 y 服从伯努利分布，而线性回归假设因变量 y 服从高斯分布。 因此与线性回归有很多相同之处，去除Sigmoid映射函数的话，逻辑回归算法就是一个线性回归。可以说，逻辑回归是以线性回归为理论支持的，但是逻辑回归通过Sigmoid函数引入了非线性因素，因此可以轻松处理0/1分类问题。

伯努利分布指的是对于随机变量X有, 参数为p(0<p<1)，如果它分别以概率p和1-p取1和0为值。EX= p,DX=p(1-p)。

如何评估逻辑回归的训练进度？

不同于线性回归，需要找到所有样本点对于整体分布的距离当作loss函数的评估目标。交叉熵函数。
\(L = -\Sigma[y_{true}log(p)+(1-y_{true}log(1-p))]\)