摘要：
原始问题： 假设$f(x),c_{i}(x),h_{j}(x)$是定义在$R^{n}$上的连续可微函数，考虑约束最优化问题： $\underset{x\in R^{n}}{min}f(x)$ $s.t. \ c_{i}(x)\leq 0,i=1,2,3...k$ $h_{j}(x)= 0,j=1,2 阅读全文
摘要：
硬间隔： 超平面通过如下方程描述： $w^{T}x+b=0$ 则任意一点到超平面的距离： $r=\frac {|w^{T}x+b|} {||w||}$ 假设超平面(w,b)能将训练样本正确分类，即对于$(x_{i},y_{i})\subset D$，若$y_{i}=+1$，则有$w^{T}x_{i} 阅读全文
摘要：
信息熵：离散型，对取值数目较多的属性有所偏好，因为一个有n个取值的属性都不相同则分成n个类别（节点），每一个节点的纯度都是1（信息熵为0）。 样本集合D中第k类样本所占的比例是$p_{k}(k=1,2,3....|y|)$，则D的信息熵且$End(D)$的值越小则D的纯度越高： $Ent(D)=-\ 阅读全文