摘要：
逻辑斯谛分布：设X是连续的随机变量，X服从逻辑斯谛分布是指X具有下列分布函数和密度函数：$$F(x)=P(X\leq x)=\frac{1}{1+e^{\frac{-(x-\mu)}{\gamma}}}$$,$$f(x)=F(x)=\frac{e^{\frac{-(x-\mu)}{\gamma}}}... 阅读全文
摘要：
朴素贝叶斯法将实例分为到后验概率最大的类中。这等价于期望风险最小化，设选择0-1损失函数：$$L(Y,f(x))=\left( 1,Y \neqf(X) \\ 0,Y=f(X) $$式中$f(X)$是分类决策函数。这时，期望风险函数为$R_{exp}\,(f)=E[L(Y,f(X))]$ 阅读全文
摘要：
朴素贝叶斯法将实例分为到后验概率最大的类中。这等价于期望风险最小化，设选择0-1损失函数：$$L(Y,f(x))=\left( 1,Y \neqf(X) \\ 0,Y=f(X) $$ 阅读全文
摘要：
接着上一篇的继续来写。朴素贝叶斯法分类时，对给定的输入x，通过学习得到的模型计算后验概率分布P（Y=ck|X=x）,然后将后验概率最大的类作为x的类输出。后验概率计算根据贝叶斯定理进行：P（Y=ck|X=x）=P（X=x|Y=ck）*P（Y=ck)/(sum (k)P（X=x|Y=ck）*P（Y=c... 阅读全文
摘要：
朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。，对于给定的训练数据集，首先基于特征条件独立假设学习输入与输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y，朴素贝叶斯方法实现简单，学习与预测的效率都很高，是一种常用的方法。下面主要说一下朴素贝叶斯的... 阅读全文
摘要：
k近邻模型主要包含三个基本要素：距离度量、k值的选择、分类决策规则模型：k近邻法中，当训练集、距离度量、k值及分类决策规则确定后，对于一个新的输入实例，它所属的类唯一确定，这相当于根据上述要素将特征空间划分为一些子空间，确定子空间里的每一点所属的类。距离度量：特征空间中的两个实例点的距离是两个实例点... 阅读全文
摘要：
k 近邻算法是一种基本分类与回归方法。我现在只是想讨论分类问题中的k近邻法。k近邻算法的输入为实例的特征向量，对应于特征空间的点，输出的为实例的类别。k邻近法假设给定一个训练数据集，其中实例类别已定。分类时，对新的实例，根据其k个最近邻的训练实例的类别，通过多数表决等方式进行预测。下面主要叙述... 阅读全文