理解机器学习里的贝叶斯
贝叶斯分类器的工作原理:就是求条件概率然后比较大小:
条件概率概念:在已知b发生的情况下,a发生的概率。我们写做:p(a|b)。
例如:已知一本书有这些tag:tag1,tag2,tag3……它属于“人文”分类的概率是多少?属于“非人文”分类的概率呢?
假设p1表示在这种情况下,它属于“人文”的概率,p2表示这种情况下,它属于“非人文”的概率。
如果p1>p2,那么这本书就属于“人文”,反过来就是“非人文”。我们不考虑p1=p2的情况。
所以,问题就变成了,如何通过tag1,tag2,tag3…来计算p1和p2?
知一本书有这些tag:tag1,tag2,tag3……它属于“人文”分类的概率表示为p(type1|tag:tag1,tag2,tag3...),
类似的 属于“非人文”分类的概率表示为p(type2|tag:tag1,tag2,tag3...),利用贝叶斯公式:
P(A|B)P(B)=P(B|A)P(A),可以得到p(type1|tag1,tag2,tag3...) = p(tag1,tag2,tag3...|type1)* p(type1)/ p(tag1,tag2,tag3...),
p(type2|tag1,tag2,tag3...) = p(tag1,tag2,tag3...|type2)* p(type2)/ p(tag1,tag2,tag3...),
所以只需要得到p(tag1,tag2,tag3...|type1),p(type1), p(tag1,tag2,tag3...) 的值就可以得到p(type1|tag1,tag2,tag3...)
但做为分类器的大小比较,我们发现不需要全部得到值就可以比较大小,因为分母都是p(tag1,tag2,tag3...),所以我们只需要得到
p(tag1,tag2,tag3...|type1)* p(type1)和p(tag1,tag2,tag3...|type2)* p(type2)的大小来比较即可;
对于p(type1)的计算就是在整个训练数据中出现的type1类书籍出现的概率;p(type2)同理;简单;
对于计算 p(tag1,tag2,tag3...|type1),我们用到的是朴素贝叶斯,也就是说tag1和tag2和tag3等每个tag出现的概率是不互相影响的是
独立的;所以p(tag1,tag2,tag3...|type1)=p(tag1|type1)*p(tag2|type1)*p(tag3|type1)*p(...|type1),也就是说,我们可以计算每一个
tag,在type1书籍的所有tag中出现的概率,然后将它们乘起来,就得到我们想要的p(tag1,tag2,tag3...|type1);