摘要： 一、其它 查看文档的方式：API、help() 通过查 scikit-learn 库的 API ，查看 scikit-learn 中各个模块下的各个方法的功能、用法； 模块的方法下有多种参数，每一种参数有多种设置，第一个设置为该参数的默认状态； 模块下的方法的具体封装：在各个模块安装目录下的 .py 阅读全文

摘要： 一、基础理解 1）定义 ROC（Receiver Operation Characteristic Curve） 定义：描述 TPR 和 FPR 之间的关系； 功能：应用于比较两个模型的优劣； 召回率(Recall)和精度(Precise)是广泛用于信息检索和统计学分类领域的两个度量值，用来评价结果 阅读全文

摘要： 一、Precision - Recall 的平衡 1）基础理论 调整阈值的大小，可以调节精准率和召回率的比重； 精准率和召回率是相互牵制，互相矛盾的两个变量，不能同时增高； 逻辑回归的决策边界不一定非是 ，也可以是任意的值，可根据业务而定：，大于 threshold 时分类为 1，小于 thresh 阅读全文

摘要： 一、基础 疑问1：具体使用算法时，怎么通过精准率和召回率判断算法优劣？ 根据具体使用场景而定： 疑问2：:有些情况下，即需要考虑精准率又需要考虑召回率，二者所占权重一样，怎么中欧那个判断？ 方法：采用新的评价标准，F1 Score； 二、F1 Score F1 Score：兼顾降准了和召回率，当急需 阅读全文

摘要： 一、实例 1）构造极度偏差的数据 import numpy as np from sklearn import datasets digits = datasets.load_digits() X = digits.data y = digits.target.copy() # 构造极度偏斜的数据 阅读全文

摘要： 一、分类精准度的缺陷 1）评论算法的好坏 回归问题：MSE、MAE、RMSE、R^2（以为最好的标准）； 分类问题：分类准确度（score() 函数）； 分类算法的评价要比回归算法的评价标准复杂的多； 评论分类算法好坏的指标，有多种，具体选择评价指标时要根据数据和应用场景而定； 2）分类准确度类评价 阅读全文

摘要： 一、基础理解 问题：逻辑回归算法是用回归的方式解决分类的问题，而且只可以解决二分类问题； 方案：可以通过改造，使得逻辑回归算法可以解决多分类问题； 改造方法： 改造方法不是指针对逻辑回归算法，而是在机器学习领域有通用性，所有二分类的机器学习算法都可使用此方法进行改造，解决多分类问题； 二、原理 1） 阅读全文

摘要： 一、基础理解 使用逻辑回归算法训练模型时，为模型引入多项式项，使模型生成不规则的决策边界，对非线性的数据进行分类； 问题：引入多项式项后，模型变的复杂，可能产生过拟合现象； 方案：对模型正则化处理，损失函数添加正则项（αL2），生成新的损失函数，并对新的损失函数进行优化； 优化新的损失函数： 二、正 阅读全文

摘要： 一、基础 逻辑回归中的决策边界，本质上相当于在特征平面中找一条直线，用这条直线分割所有的样本对应的分类； 逻辑回归只可以解决二分类问题（包含线性和非线性问题），因此其决策边界只可以将特征平面分为两部分； 问题：使用直线分类太过简单，因为有很多情况样本的分类的决策边界并不是一条直线，如下图；因为这些样 阅读全文

摘要： 一、基础理解 决策边界：在特征空间内，根据不同特征对样本进行分类，不同类型间的分界就是模型针对该数据集的决策边界。 决策边界，用于分类问题中，通过决策边界可以更好的可视化分类结果； 在二维特征空间中，决策边界为一条直线，理论上，在该直线上 θ.T.x = 0，但实际上不一定存在这样的样本点； 通过决 阅读全文