摘要： 老师强调：作为计算机工程师，传统的算法和数据结构是最基础的内容，要掌握。 一、节点数据集的划分 1）决策树算法的思想 解决分类问题时，决策树算法的任务是构造决策树模型，对未知的样本进行分类； 决策树算法利用了信息熵和决策树思维： 2）划分步骤 划分点：某一特征的某一个数值；（根据该特征值对数据集样本 阅读全文

摘要： 一、决策树思维、决策树算法 1）决策树思维 决策树思维是一种逻辑思考方式，逐层的设定条件对事物进行刷选判断，每一次刷选判断都是一次决策，最终得到达到目的；整个思考过程，其逻辑结构类似分叉的树状，因此称为决策树思维； 例一：公式招聘时的决策树思维 此过程形成了一个树的结构，树的叶子（录用 / 考察）节 阅读全文

摘要： 一、SVM 思想在解决回归问题上的体现 回归问题的本质：找到一条直线或者曲线，最大程度的拟合数据点； 怎么定义拟合，是不同回归算法的关键差异； SVM 的思路解决回归问题： SVM 解决回归问题的思路与解决分类问题的思路相反，解决分类问题时，希望 Margin 区域内没有样本点或者样本点尽可能的少； 阅读全文

摘要： 一、高斯核函数、高斯函数 μ：期望值，均值，样本平均数；（决定告诉函数中心轴的位置：x = μ） σ2：方差；（度量随机样本和平均值之间的偏离程度：， 为总体方差， 为变量， 为总体均值， 为总体例数） σ：标准差；（反应样本数据分布的情况：σ 越小高斯分布越窄，样本分布越集中；σ 越大高斯分布越宽 阅读全文

摘要： 一、核函数（Kernel Function） 1）格式 K(x, y)：表示样本 x 和 y，添加多项式特征得到新的样本 x'、y'，K(x, y) 就是返回新的样本经过计算得到的值； 在 SVM 类型的算法 SVC() 中，K(x, y) 返回点乘：x' . y' 得到的值； 2）多项式核函数 业 阅读全文

摘要： 一、基础理解 数据：线性数据、非线性数据； 线性数据：线性相关、非线性相关；（非线性相关的数据不一定是非线性数据） 1）SVM 解决非线性数据分类的方法 方法一： 多项式思维：扩充原本的数据，制造新的多项式特征；（对每一个样本添加多项式特征） 步骤： 方法一： 方法二： 使用scikit-learn 阅读全文

摘要： 一、基础理解 Hard Margin SVM 和 Soft Margin SVM 都是解决线性分类问题，无论是线性可分的问题，还是线性不可分的问题； 和 kNN 算法一样，使用 SVM 算法前，要对数据做标准化处理； 原因：SVM 算法中设计到计算 Margin 距离，如果数据点在不同的维度上的量纲 阅读全文

摘要： 一、Hard Margin SVM SVM 的思想，最终用数学表达出来，就是在优化一个有条件的目标函数： 此为 Hard Margin SVM，一切的前提都是样本类型线性可分； 1）思想 SVM 算法的本质就是最大化 margin； margin = 2d，SVM 要最大化 margin，也就是要最 阅读全文

摘要： 1）平面中，点到直线的距离：； 阅读全文

摘要： 一、基础理解 1）简介 SVM（Support Vector Machine）：支撑向量机，既可以解决分类问题，又可以解决回归问题； SVM 算法可分为：Hard Margin SVM、Soft Margin SVM，其中 Soft Margin SVM 算法是由 Hard Margin SVM 改 阅读全文