机器学习的相关知识-逻辑回归

这个资源真好机器学习500问，其实完全看这个就够了，我只是做一下笔记，膜拜膜拜。刚开始学的时候，因为是偏深度学习一些，导致一些基础的东西，不太牢靠，就记录一下，写的不好，请多担待。

数学基础蛮重要，了解的但不仅限于矩阵、求导、矩阵相关运算（特征向量、特征值、奇异值等等）、概率（贝叶斯公式、各种分布）相关知识。

逻辑回归

• 生成模型，知道了联合概率概率密度模型$P(X,Y)$，在求出后验概率$P(Y|X)$，再利用它进行分类。贝叶斯$P(Y|X)=P(X,Y)/P(X)$ ，基本就是变分自编码器的思想了，隐马尔可夫，语音序列的预测。首先知道$Y_1$中的$X$是什么样子的，再知道$Y_2$中的$X$是什么样子的，这样给了我一些$X$就可以知道到底是和$Y_1,Y_2$哪个接近。我研究$X$之间的相互关系，知道属于$Y_1$的有哪些共同特征，一般是数据量大的时候用。
• 判别模型，直接求出$Y=f(X)$或者直接条件概率分布$P(Y|X)$对问题直接求解。典型的判别模型包括k近邻，感知级，决策树，支持向量机等。就是直接根据输入的X进行判断，看下它满足哪个Y的特征，是哪个就是哪个。我不去求证$X$本身有什么特性，我只管它满足哪些条件是$Y_1,Y_2$，一般在小样本里用。

朴素贝叶斯和逻辑回归

逻辑回归是判别模型，依据最大似然，逻辑回归要求特征参数间的关系是线性的。
朴素贝叶斯是生成模型，依据是贝叶斯，需要条件独立假设。

线性回归和逻辑回归

	线性回归	逻辑回归
目的	预测	分类
$y^{(i)}$	未知	（0,1）
函数	拟合函数	预测函数
参数计算方式	最小二乘法	极大似然估计

就比如给定身高让我预测体重，拟合就是要知道具体多重，预测就是知道偏重还是偏轻。

最小二乘法

它就是假设录入的数据有误差，去找最接近真实值的数据。就好比，我用五把尺子去量同一个物体，但是出来五个不一样的数$x_1,x_2...$，那最真实的是多少呢？法国数学家，阿德里安-马里·勒让德就说让总的误差平方最小的值就是真实值。公式$$S=\sum (x-x_i{)}^2$$通过让这个$S$最小，那就是$$\sum (x-x_i{)}^2=0$$$x$就是真值。其实也就是求这五个数的算数平均数了。既然$x$是量出来的，那也可以用一个公式表示$x=f(c)$，从而能把$f(c)$求出来。也就是求导嘛，公式有了，求一些系数的偏导就好了。

极大似然估计

就拿抛硬币举例子，连着抛10次，6次向上，4次向下，单抛硬币向上的概率最大为多少。最大似然估计可以往正态分布上引用，我的理解就是从现象，反推概率。把所有单次抛硬币的概率遍历一遍，比如0.1，0.2…算出发生这个现象的最大值，曲线画出来就是概率分布了，发现0.6时最大，那就是0.6了。