线性分类器

1.种类

感知器
Logistic回归
Softmax回归
交叉熵和对数似然
支持向量机

Softmax回归是多分类，其他都是二分类

2.线性回归模型

$f(x;w,b)=w^Tx +b ,y\in R$

3.线性分类模型

$g(f(x;w))=\begin{cases} 1 & if\ f(x;w)>0\\ 0& if\ f(x;w)<0\\ \end{cases}$

4.二分类问题Binary Classification

训练集

$\{(x^{(n)}),y^{(n)}\}_{n=1}^{N}$

二分类问题

$x^{(n)}\in \mathbb{R}^D$
$y^{(n)}\in\{0,1\}$

模型

$g(f(x;w))=\begin{cases} 1 & if\ f(x;w)>0\\ 0& if\ f(x;w)<0\\ \end{cases}$

损失函数

$0-1函数:\mathcal{L}_{01}(y,g(f(x;w)))=I(y\ne g(f(x;w)))- 不可求导$

5.多分类问题Mult-class Classification

训练集

$\{(x^{(n)}),y^{(n)}\}_{n=1}^{N}$

二分类问题

$x^{(n)}\in \mathbb{R}^D$
$y^{(n)}\in\{1,2,...,C\},C>2$

模型

损失函数

$0-1函数:\mathcal{L}_{01}(y,g(f(x;w)))=I(y\ne g(f(x;w)))- 不可求导$

5.argmax方式

$一种改进的"一对其余"方式,共需要C个判别函数$
$f_c(x;w_c)=w_c^T+b_c,c\in {1,2,...,C}$
$"argmax"方式的预测函数定义为$
$y=argmax_{c=1}^C\ f_c(x;w_c)$