摘要：要点 熵：$H(X)=E_{X\sim P}[I(X)]=-E_{X\sim P}[\log P(x)]$ 相对熵：$D_{p||g}=E[\log\frac{p(x)}{g(x)}]\geqslant 0$。 互信息：$I(X;Y)=\sum_{x,y} P(x,y) \log \frac {P( 阅读全文

摘要：简介 可学习理论针对于监督学习，从问题空间$X\times Y$中采样，输出一个预测函数$h:X\to Y$，来判定X与Y之间的对应关系。 主要难点在于： 因此学习问题定义为一个三元组$(S,H,L)$。未知数据分布$(x,y)\sim D$的情况下，可学习理论给出了得到预测函数集合中最优函数，需要 阅读全文