机器学习第5周--炼数成金-----线性分类器，Knn算法，朴素贝叶斯分类器，文本挖掘

分类：分类的意义

传统意义下的分类：生物物种
预测：天气预报
决策：yes or no
分类的传统模型
分类（判别分析）与聚类有什么差别？
有监督学习，无监督学习，半监督学习

 

常见分类模型与算法

线性判别法
距离判别法
贝叶斯分类器
决策树
支持向量机(SVM)
神经网络

 

文本挖掘典型场景

网页自动分类
垃圾邮件判断
评论自动分析
通过用户访问内容判别用户喜好

 

网页自动分类

自动化门户系统（百度新闻，谷歌新闻等）
搜索引擎根据用户标签类型推送不同类别的搜索结果

 

距离判别法

原理：计算待测点与各类的距离，取最短者为其所属分类
马氏距离（薛毅书p445，为什么不用欧氏距离？），计算函数mahalanobis( )

 

最近邻算法Knn

算法主要思想：
1 选取k个和待分类点距离最近的样本点
2 看1中的样本点的分类情况，投票决定待分类点所属的类

 

 

贝叶斯分类器

背景知识：朴素贝叶斯文本分类器原理

贝叶斯无处丌在

Aoccdrnigto a rscheearchat CmabrigdeUinervtisy, it deosn'tmttaerin wahtoredrthe ltteersin a wrodare,

the olnyiprmoetnttihngis tahtthe fristand lsatltteerbe at the rghitpclae.

The rsetcan be a toatlmsesand you can sitllraedit wouthitporbelm.

Tihsis bcuseaethe huamnmniddeosnot raederveylteterby istlef, but the wrodas a wlohe.
研表究明，汉字的序顺并不定一能影阅响读，比如当你看完这句话后，才发这现里的字全是乱的。
Prof. Daniel Kahneman的研究

 

贝叶斯信念网络

BayesBelief Network，简称BBN
朴素贝叶斯分类器需要特征乊间互相独立的强条件，制约了模型的适用
用有向无环图表达变量乊间的依赖关系，变量用节点表示，依赖关系用边表示
祖先，父母和后代节点。贝叶斯网络中的一个节点，如果它的父母节点已知，则它条件独立于它的所有非后代节点
每个节点附带一个条件概率表（CPT），表示该节点和父母节点的联系概率

 

建模步骤

创建网络结构（丏业人员知识）
计算CPT（通过学习数据）
如果数据不完备，则需要进行训练计算（类似神经网络，采用梯度下降法）

 

CPT计算

如果节点X没有父母节点，则它的CPT乊包含先验概率P(X)
如果节点X只有一个父母节点Y，则CPT中包含条件概率P(X|Y)
如果节点X有多个父母节点Y1，Y2…，Yk，则CPT中包含条件概率P(X| Y1，Y2…，Yk)