摘要：
##混淆矩阵，精准率和召回率 评论回归算法的好坏点击这里 评价分类算法是不能单单靠一个分类准确度就可以衡量的，单用一个分类准确度是有问题的 比如说，一个癌症预测系统，输入体检信息，就可以判断是否得了癌症，这个系统的预测准确率有99.9%，但是不能说这个系统就是好的，因为如果患有癌症的概率是0.1%， 阅读全文
摘要：
##OvO与OvR 前文书道，逻辑回归只能解决二分类问题，不过，可以对其进行改进，使其同样可以用于多分类问题，其改造方式可以对多种算法（几乎全部二分类算法）进行改造，其有两种，简写为OvO与OvR OvR one vs rest，即一对剩余所有，如字面意思，有的时候称为OvA，one vs all 阅读全文
摘要：
##在逻辑回归中使用多项式特征以及在sklearn中使用逻辑回归并添加多项式 ###在逻辑回归中使用多项式特征 在上面提到的直线划分中，很明显有个问题，当样本并没有很好地遵循直线划分（非线性分布）的时候，其预测的结果是不太准的，所以可以引用多项式项，从线性回归转换成多项式回归，同理，为逻辑回归添加多 阅读全文
摘要：
##决策边界 逻辑回归的原理详见这里 总的来说，可以总结为一个式子 而决策边界就是 其为两个为两个向量的点乘，同时也可以代表一条直线，如果X有两个特征 转换成可以具体实现的式子以后可以得到 具体的实现 （在notebook中） 使用自己编写的回归算法，且依旧使用鸢尾花数据集 import numpy 阅读全文
摘要：
##实现逻辑回归算法 实现代码 在python chame中创建LogisticRegression.py文件，写入想要实现的功能 其中，可以将原先的LinearRegression复制过来，详情可见以前的关于线性回归的博客，修改类名，不用的功能直接删除，添加上sigmoid函数以及计算结果概率向量 阅读全文
摘要：
##逻辑回归算法 逻辑回归算法的概念不咋叙述 逻辑回归算法看上去是解决回归问题的算法，但是其实是解决的分类问题，那么回归算法是如何解决分类问题呢？逻辑回归的原理是将样本的特征和样本发生的概率联系起来，即预测这个样本的发生概率是多少，而这个概率是一个数，因此可称这个为回归问题 对于机器算法来说，其本质 阅读全文
摘要：
##L1,L2,以及弹性网络 前情提要： 模型泛化与岭回归与LASSO ###正则 ridge和lasso的后面添加的式子的格式上其实和MSE，MAE，以及欧拉距离和曼哈顿距离是非常像的 虽然应用场景不同，但是其表示出来的数学思想是非常相近的 对明科夫斯基距离进行泛化可以得到 对于任何向量x，都可以 阅读全文
摘要：
##模型泛化与岭回归与LASSO ###模型正则化 模型正则化，简单来说就是限制参数大小 模型正则化是用什么思路来解决先前过拟合的由于过于拟合导致的曲线抖动（线性方程前的系数都很大） 线性回归的目标就是求一个最优解，让损失函数尽可能的小也就是使求出来的均方误差尽可能的小 如果过拟合的话，就会让the 阅读全文
摘要：
##偏差方差权衡 Bias Variance Trade off 什么叫偏差，什么叫方差 根据下图来说 偏差可以看作为左下角的图片，意思就是目标为红点，但是没有一个命中，所有的点都偏离了 方差可以看作为右上角的图片，意思就是目标为红点，虽然还在周围，没有太偏，但是太过分散了，不够集中，这就有很高的方 阅读全文
摘要：
##验证数据集与交叉验证 一些相关前提： 过拟合和欠拟合以及为什么要对分为训练数据集和测试数据集 可视化模型误差之学习曲线 ###验证数据集 严格意义上来说，使用训练数据集和测试数据集来进行是有不太好的地方，这样得出来的模型，可能导致一个问题，即这个最后得到的模型是过拟合了这个特定的测试数据集 不断 阅读全文