摘要：
1.集成学习思想 1.1 Bagging 用一堆弱学习器，分别去解决同一个分类或回归问题，最终 投票决定分类结果 或 取均值决定回归结果。保证弱学习器的多样性。训练不同模型用的数据集采用【有放回随机抽样】。 1.2 随机森林 基学习器是 决策树，由原来的在所有特征的所有可能分裂点选取最佳分裂点，改成 阅读全文
摘要：
1. 模型理念 香农信息论：一个系统越是混乱，信息熵越高，系统越是有序，信息熵越低。S = ∑ ( -p log(p) )，因此，系统内变量越多，信息熵越大，变量之间出现的概率越平均，信息熵越大。 在银行借贷决策模型中，判定一个人是否可以借贷，每个选中这个人的一个特征数据进行判断，然后再上次判断的基 阅读全文
摘要：
1. 模型理念 利用 条件概率&全概率公式，由果推因，从已知的某个现象特征求得目标属性的方法。 所谓朴素：概率求解的过程中，假设数据特征之间是互相独立的，联合概率可以直接概率密度相乘。 2. 模型构建及特性 2.1 模型推理以及训练参数 由 条件概率公式 可以得知，在已知数据的各项特征前提下，求解当 阅读全文
摘要：
1. 模型理念 在Logistic回归模型中，决策边界一旦能够将数据完全正确的分类，优化过程（梯段下降过程）就会立刻停止，因为在这个时候损失函数已经取得了最小值。而SVM则是求得所有正确解中的最优解。 支持向量积：以决策边界为中心，向两个方向做平行面直到两个平行面都恰好与两个类别的支持向量相交。两个 阅读全文
摘要：
1. 模型理念 对于求解二分类问题，寻找一个决策边界，使得不同类别的点在边界的两侧，并用点到决策边界的 距离 表示该点属于某个类别的 概率。点到决策面的距离 d 直接将点代入决策面公式即可；距离到概率的映射函数需要符合概率的公理化定义，选用Sigmoid函数，（多分类问题选用 Softmax函数）。 阅读全文