摘要：
复合熵： 条件熵： 复合熵和条件熵之间的关系： 这个公式把复合熵、条件熵以及熵联系到一起了。 条件熵仅能大于等于零而不会有负值，而且不大于原来的熵，即当知道y时，不确定度肯定是有所降低了。 在x与y独立无关时，条件熵与原熵值相等 信息增益是通过熵与条件熵的差计量的 掷一次骰子，由于六种结局（点）的出 阅读全文
摘要：
解释1： 他的假设服从指数分布族 解释2： 最大熵模型，即softmax分类是最大熵模型的结果。 关于最大熵模型，网上很多介绍： 在已知部分知识的前提下，关于未知分布最合理的推断就是符合已知知识最不确定或最随机的推断，其原则是承认已知事物（知识），且对未知事物不做任何假设，没有任何偏见。 所以，最大 阅读全文
摘要：
今天学习回归算法的过程中，对于常见到的名词：极大似然、最小二乘以及梯度下降做一个总结 机器学习的基本框架大都是模型、目标和算法！ 如何让模型尽可能好的拟合或者分类数据呢？那么就需要有目标函数，所以要定下模型的cost function，其中的获取损失函数的方法。 对于线性回归，可以采用他的似然函数、 阅读全文
摘要：
对于逻辑回归，之前看了多遍感觉自己理解了，今天突然发现自己根本没有理解，就连基本的损失函数都没有理解，回过头在看了一下，才明白其中一些表达试的含义。 譬如，上面对于某个x的预测值，sigmoid之后的值，如上所示，其实是被用来当作判断的概率值啊 如上，假设得到的 预测值为h(x)，这个值判读为1的概 阅读全文
摘要：
独立、相关的关系： 独立，两个事件的发生没有任何关系 相关，一般指线性相关，不相关指不线性相关，但或许满足非线性相关 同分布： 意味着X1和X2具有相同的分布形状和相同的分布参数，对离散随机变量具有相同的分布律，对连续随机变量具有相同的概率密度函数，有着相同的分布函数，相同的期望、方差。 独立同分布 阅读全文