摘要：
一元通用函数 abs、fabs ：逐元素地计算整数、浮点数或复数的绝对值 sqrt：计算每个元素的平方根（类似于**0.5） square：计算每个元素的平方（类似于**2） exp：计算每个元素的自然指数值ex log、log10、log2、log1p：分别对应自然对数（e为底）、对数10为底、对 阅读全文
摘要：
随机森林模型 bagging模型的核心思想是每次同类别、彼此之间无强关联的基学习器，以均等投票机制进行基学习器的组合。 具体的方式是：从训练集样本中随机抽取一部分样本，采用任意一个适合样本数据的机器学习模型对该样本进行训练，得到训练好的基学习器；然后再次抽取样本，训练一个基学习器；重复你想要的次数， 阅读全文
摘要：
支持向量机模型 支持向量机（support vector machines, SVM）是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；SVM还包括核技巧，这使它成为实质上的非线性分类器。SVM的的学习策略就是间隔最大化，可形式化为一个求解凸二次规划的 阅读全文
摘要：
logistic回归模型 logistic回归就是将线性回归模型的结果输入一个Sigmoid函数，将回归结果映射到0-1之间，表示类别“1”的概率。 线性回归表达式：zi = w*xi + b Sigmoid函数：yi = 1/(1 + e-zi) ，zi为自变量，yi为因变量，e为自然常数 将yi 阅读全文
摘要：
决策树理论 参考：https://www.cnblogs.com/fm-yangon/p/14072896.html 决策树的sklearn实现 决策树模型（分类与回归参数方法属性一致）： from sklearn.tree import DecisionTreeClassifier from sk 阅读全文
摘要：
KNN模型定义： K近邻（K-Nearest Neighber，俗称KNN模型）。 其思想是：对于任意一个新的样本点，我们可以在M个已知类别标签的样本点中选取K个与其距离最接近的点作为她的最近邻近点，然后统计这K个最近邻近点的类别标签，采取多数投票表决的方式，把K个最近邻点中占绝大多数类别的点所对应 阅读全文
摘要：
回归模型定义： 1、回归分析是预测性建模技术，主要用来研究因变量（yi）与自变量（xi）之间的关系，通常被用来做预测分析、时间序列等。 2、公式：h(xi) = wxi + b = ∑j = 1wjxj + b 3、实质为根据过去的经验学习中学习出这些权重系数wj和偏置常数b各自取多少才能使得回归预 阅读全文
摘要：
Woe公式如下： woe反映的是在自变量每个分组下违约用户对正常用户占比和总体中违约用户对正常用户占比之间的差异。 IV公式如下： IV衡量的是某一个变量的信息量，相当于是自变量woe值的一个加权求和，其值的大小决定了自变量对于目标变量的影响程度；从另一个角度来看的话，IV公式与信息熵的公式极其相似 阅读全文
摘要：
信息熵的公式 其中代表随机事件X为的概率。 演示： 性别（x）考试成绩（y） 男 优 女 优 男 差 女 优 男 优 X的信息熵计算为： p(男) = 3/5 = 0.6 p(女) = 2/5 = 0.4 根据上面的计算公式可得： 列X的信息熵 为： H（x）= - ( 0.6 * log2(0.6 阅读全文
摘要：
决策树理论 决策树是一种机器学习的方法。决策树的生成算法有ID3, C4.5和C5.0等。决策树是一种树形结构，其中每个内部节点表示一个属性上的判断，每个分支代表一个判断结果的输出，最后每个叶节点代表一种分类结果。 决策树是一种十分常用的分类方法，需要监管学习（有教师的Supervised Lear 阅读全文