Softmax回归

1.多分类问题

\(y=argmax_{c=1}^{C}\ f_c(x;w_c)\)
\(f_c(x;w_c)=w_c^T x+b_c,\ c\in \{1,...,C\}\)
学习准则
\(转换为条件概率建模\)
\(p_{\theta}(y=c|x)\)
模型问题
\(已知 f_c(x;w_c)=w_c^Tx+b_c, \ c\in \{1,...,C\},求p_{\theta}(y=c|x)\)

2.Softmax函数

\(对于K个标量x_1,...,x_k\)
\(softmax(x_k)=\frac{e^{x_k}}{\sum_{i=1}^{K}e^{x_i}}\)
\(则利用softmax函数,目标类别y=c的条件概率为\)
\(p_{\theta}(y=c|x)=softmax(w_c^Tx)=\frac{e^{w_c^Tx}}{\sum_{c=1}^{C}e^{w_c^Tx}}\)
\(向量表示\)
\(\hat y =softmax(W^Tx)=\frac{e^{W^Tx}}{1_c^Te^{W^Tx}}\)

3.参数学习

3.1模型：Softmax回归

\(向量表示\)
\(\hat y =softmax(W^Tx)=\frac{e^{W^Tx}}{1_c^Te^{W^Tx}}\)

3.2学习准则：交叉熵

\(-\sum_{y=1}^{C}p_r(y|x)log\ p_{\theta}(y|x),p_r表示real,真实分布\)
\(向量形式\)
\(-y^T\log\ \hat y,y=[I(1=c),I(2=c),...,I(C=c)]^T,one-hot向量\)

3.3优化：梯度下降

\(R(W)=-\frac{1}{N}\sum_{n=1}^{N}x^{(n)}(y^{(n)})^T \log \hat y^{(n)}\)
\(y=[I(1=c),I(2=c),...,I(C=c)]^T,one-hot向量\)
\(\frac{\partial(R(W))}{\partial W} =-\frac{1}{N}\sum_{n=1}^{N}x^{(n)}(y^{(n)}-\hat y^{(n)})^T\)

4.问题

\(如果用softmax做二分类回归，和logistic回归的区别是什么？\)