逻辑回归

逻辑函数

来源于数字电路,输入量和输出量之间的关系是一种逻辑上的因果关系，输出是0或1。函数定义:

最大似然估计

在已知试验结果（即是样本）的情况下，用来估计满足这些样本分布的参数，把可能性最大的那个参数作为真实的参数估计。

正则化 L1/L2 regularization

为了避免过拟合overfitting（模型虽然很好的匹配训练样本，但对新样本预测时效果却很差），在进行训练过程中，给损失函数加上正则化因子。
L1正则：正则化因子是参数向量中各个元素绝对值之和，也叫稀疏规则算子
L2正则：正则化因子是参数向量各元素的平方和再求平方根

求解的过程就是求得∑cost的最小值