摘要：
三、贝叶斯网 1、贝叶斯网定义 贝叶斯网也称信念网，借助有向无环图（DAG）来刻画属性之间的依赖关系，使用条件概率表（CPT）来描述属性的联合概率分布。 贝叶斯网有效地表达了属性间地条件独立性。 举例： 给定父结点集，贝叶斯网假设每个属性与其非后裔属性独立，则属性间的联合概率分布定义为： 2、贝叶斯 阅读全文
摘要：
二、朴素贝叶斯分类器 1、相关三概率 给定 N 个类别，设随机样本向量x={x1,x2,…,xd} ，相关的三个概率： （1）先验概率P(c) ：根据以前的知识和经验得出的c类样本出现的概率，与现在无关。 （2）后验概率P(c|x) ：相对于先验概率而言，表示x 属于c类的概率。 （3）条件概率P( 阅读全文
摘要：
一、贝叶斯决策 贝叶斯决策论是概率框架下实施决策的基本方法，对分类任务来说，在所有相关概率已知的理想情形下，贝叶斯考虑如何基于这些概率和误判损失来选择最优的类别标记。 朴素贝叶斯分类算法是基于贝叶斯定理与特征条件独立假设的分类方法。 1、条件概率 概率指的是某一事件A发生的可能性，表示为P(A)。 阅读全文
摘要：
五、SVM算法实验代码 1、线性SVM import numpy as np from sklearn.datasets import load_iris import matplotlib.pyplot as plt data = load_iris() x = data.data y = dat 阅读全文
摘要：
四、序列最小优化算法（smo算法） 1、smo算法基本思想 支持向量机的学习问题可以形式化为求解凸二次规划问题。 这样的凸二次规划问题具有全局最优解， 并且有许多最优化算法可以用于这一问题的求解。 但是当训练样本容量很大时， 这些算法往往变得非常低效， 以致无法使用。 所以，如何高效地实现支持向量机 阅读全文
摘要：
三、核函数 1、核技巧 若不存在一个能正确划分两类样本的超平面, 怎么办 ? 数学上可以证明，如果原始空间是有限维，即属性数有限，则一定存在一个高维特征空间使样本可分。将样本从原始空间映射到一个更高维的特征空间 , 使样本在这个特征空间内线性可分。 我们的数据集有时候是非线性可分的情况，如下图： 对 阅读全文
摘要：
二、对偶问题 1、优化问题的类型 （1）无约束优化问题： 求解方法：求取函数f(x)的导数，然后令其为零，可以求得候选最优值，再在这些候选值中验证；如果是凸函数，可以保证是最优解。 （2）有等式约束的优化问题： 即把等式约束hi(x)用一个系数与f(x)写为一个式子，称为拉格朗日函数，而系数称为拉格 阅读全文