随笔分类 -  统计机器学习

摘要：logistic回归是统计学习中经典的分类方法，他属于对数线性模型。本博文主要给出logistic的c++实现，具体理论请读者自行google。 本文用到的数据集来自于一个医学网站，具体出处不记得了（非常歉意）。数据的格式如下： 10009 1 0 0 1 0 1 10025 0 0 1 2 0 0 20035 0 0 1 0 0 1 20053 1 0 0 0 0 0 30627 1 0 1 2 0 0 30648 2 0 0 0 1 0每行有7个列值，第一列是一个ID号，在具体操作中，忽略该列。之后的5列，每一个都表示一个特征的取值；最后一列是分类标记（0或1）... 阅读全文

摘要：朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于搞机器学习的同学们来说，这是相对简单但效果较好的模型。朴素贝叶斯方法的理论设输入为n维特征向量X={x1,x2,...,xn}，输出为类标记集合Y={c1,c2,...ck}。朴素贝叶斯法通过训练数据集学习联合概率分布P(X,Y)，其中X是n维,Y是分类标记。有了模型P(X,Y)，要预测一个特征向量的分类标记，则分别计算P(X,Y=c1),P(X,Y=c2),...P(X,Y=ck)，选择取最大值的p(X,Y=cm)，将cm作为X的分类标记。但对于模型P(X,Y)中的X是n维随机变量，若每一维特征取值最少有两个值，那么模型P(... 阅读全文