PRML-4 分类的线性模型

一些记号

\(1.输入变量\)

\[x \]

\(2.分类\)

\[C_k,k=1,2,...,K,共K个离散值 \]

\(3.决策边界/决策面/决策区域\)

\[D维输入空间中的(D − 1)维超平面 \]

\[y(x) = constant ，即w^T x + w_0 = constant \]

\(4.预测变量，是一个实数变量\)

\[t \]

\[二元表示方法中，目标变量 t \in {0, 1} ，其中t = 1 表示类 C_1 ，而 t = 0 表示类别 C_2 \]

\[对于K>2的情况,使用“1-of-K”编码规则 \]

2.三种解决分类的办法

• 1.最简单的方法是构造一个直接把向量\(x\)分到具体的类别中判别函数（discriminant function）
• 2.一个更强大的方法是在推断阶段对条件概率分布\(p(C_k|x)\)进行建模，然后使用这个概率分布进行最优决策
• • 有两种不同的方法来确定条件概率$ p(C_k|x) $
• • 2.1 一种是直接对它建模，例如把条件概率分布表示为参数模型，然后使用训练集来最优化参数
• • 2.2 另一种是生成式的方法。在这种方法中，我们对类条件概率密度\(p(x|C_k)\)以及先验概率分布\(p(C_k)\)建模，然后使用贝叶斯定理来计算需要的后验概率分布
    $ p(C_k|x) = \frac{p(x|C_k)p(C_k)}{p(x)} \tag{4.2} $

3.激活函数

模型的预测\(y(x,w)\)是由参数\(w\)的线性函数给出的。在最简单的情况下，模型对输入变量也是线性的，因此形式为\(y(x) = w^Tx + w_0\)，即\(y\)是一个实数。然而对于分类问题，我们想预测的是离散的类别标签，或更一般地，预测位于区间\((0, 1)\)的后验概 率。为了达到这个目的，我们考虑使用非线性函数\(f(\dot)\)对$ w $的线性函数进行变换，来推广这个模型，即

$ y(x) = f(w^Tx + w_0) \tag{4.3} $

在机器学习的文献中\(f(\dot)\)被称为激活函数（activation function），而它的反函数在统计文献中被称为链接函数（link function）