菜鸟机器学习散点总结（一）

散点总结系列全是自己在学习过程中总结出来的一些知识点，参考了各位大牛的博客和知乎上一些人的回答，非原创，只是个搬运工。。。。。

一、关于逻辑回归

　　1.模型

　　

　　2.逻辑回归是用极大似然估计来学习参数 ，关于逻辑回归的一些推导如下：

　　单个样本的后验概率：，整体的概率：

　　

　　为了计算方便，对似然函数取log得到:

　　

　　得到上面的函数后，要求该似然函数的最大值，但一般我们是需使loss function最小，所以取逻辑回归的损失函数为-l(θ)：

　　

　　对θ求偏导之后，得到θ的更新式子，该式子和线性回归得出的更新式子是一样的。线性回归和逻辑回归拟合曲线不同，代价函数也不同（平方误差），线性回归只有一个全局最优解

　　

　　3.关于几个损失函数的对比

　　

　　解释下上图的黑色为0-1损失，蓝色为指数损失，红色为对数损失就是逻辑回归用的，绿色为合页损失SVM用的。

　　对数损失标准形式为：，逻辑回归中P(Y=y|x)表达式如下：

　　，写在一个式子里就是：。

　　之所以和图中的对数损失形式不太一样，是因为图中取的是y=+1/-1的情况，逻辑回归中取的的1/0，只是两个式子合并起来的时候形式不同，本质是一样的。

 

二、关于决策树

　　1.ID3:算一遍每个特征分完类后的信息增益，挑个最大的分类，信息增益为g(D,A)=H(D)-H(D|A)。

　　2.ID3例子

　　

　　3.C4.5用信息增益比来代替信息增益，因为信息增益有利于类别多的特征，其中gr(D,A)=g(D,A)/H(D)。

　　4.CART算法：回归树用平方误差最小化准则，分类数用基尼指数最小化准则，GBDT每棵树用的就是CART树，具体在GBDT中解释。