摘要:
在机器学习中,对于有监督学习可以将其分为两类模型:判别式模型和生成式模型。简单地说,判别式模型是针对条件分布建模,而生成式模型则针对联合分布进行建模。 1. 基本概念 假设我们有训练数据(X,Y),X是属性集合,Y是类别标记。这时来了一个新的样本,我们想要预测它的类别。 我们最终的目的是求得最大的条 阅读全文
摘要:
1.熵与最大熵原理 熵是随机变量不确定性的度量,不确定性越大,熵值就越大;若随机变量退化成定值,熵为0。均匀分布是“最不确定”的分布 假设离散随机变量X的概率分布为P(x),则其熵为: 联合熵和条件熵 两个随机变量的X,Y的联合分布,可以形成联合熵,用H(X,Y)表示 条件熵H(X|Y) = H(X 阅读全文
摘要:
什么是熵(Entropy) 简单来说,熵是表示物质系统状态的一种度量,用它老表征系统的无序程度。熵越大,系统越无序,意味着系统结构和运动的不确定和无规则;反之,,熵越小,系统越有序,意味着具有确定和有规则的运动状态。熵的中文意思是热量被温度除的商。负熵是物质系统有序化,组织化,复杂化状态的一种度量。 阅读全文