最大熵模型
摘要：最大熵模型预备知识 信息量：一个事件发生的概率越小，信息量越大，所以信息量应该为概率的减函数，对于相互独立的两个事有p(xy)=p(x)p(y)，对于这两个事件信息量应满足h(xy)=h(x)+h(y)，那么信息量应为对数函数： 对于一个随机变量可以以不同的概率发生，那么通过信息量期望的方式衡量，即信息熵。 信息熵：一条信息(属性、特征)的信息量大小和它的不确定性...
阅读全文
posted @ 2017-04-11 15:15
04 2017 档案
Softmax回归(Softmax Regression, K分类问题)
摘要：Softmax回归：K分类问题， 2分类的logistic回归的推广。其概率表示为： 对于一般训练集： 系统参数为： Softmax回归与Logistic回归的关系 当Softmax回归用于2分类问题，那么可以得到： 令θ=θ0-θ1，就得到了logistic回归。所以...
阅读全文
posted @ 2017-04-05 21:57
凸优化
摘要：概念 1)凸优化：是指一种比较特殊的优化，是指求取最小值的目标函数为凸函数的一类优化问题。 2)两个不等式： 两个正数的算数平均值大于几何平均值，即： 给定可逆矩阵Q，对于任意的向量x，y有： 3)凸集：集合C中任意两个不同点的线段仍在集合C内，则称集合S为凸集。 凸函数的上方区域一定是凸集ó一个函数上方是凸集，则该函数一...
阅读全文
posted @ 2017-04-05 21:40
