小时候挺菜 - 博客园

2018年12月8日

摘要：一、无偏估计所谓总体参数估计量的无偏性指的是，基于不同的样本，使用该估计量可算出多个估计值，但它们的平均值等于被估参数的真值。在某些场合下，无偏性的要求是有实际意义的。例如，假设在某厂商与某销售商之间存在长期的供货关系，则在对产品出厂质量检验方法的选择上，采用随机抽样的方法来估计次品率就很公平。阅读全文

posted @ 2018-12-08 13:00 小时候挺菜阅读(9411) 评论(0) 推荐(0) 编辑

样本方差与总体方差

摘要：一、方差（variance)：衡量随机变量或一组数据时离散程度的度量。概率论中方差用来度量随机变量和其数学期望（即均值）之间的偏离程度。统计中的方差（样本方差）是每个样本值与全体样本值的平均数之差的平方值的平均数。概率论中的方差表示方法：样本方差，无偏估计、无偏方差（unbiased va 阅读全文

posted @ 2018-12-08 11:59 小时候挺菜阅读(47878) 评论(2) 推荐(9) 编辑

2018年12月6日

通过示例总结条件熵、交叉熵、相对熵、互信息

摘要：条件熵： H(Y|X)表示在已知随机变量X的条件下，随机变量Y的不确定性，H(Y|X)定义为：举个例子：有一堆西瓜，已知这堆西瓜的色泽，以及每种色泽对应好瓜和坏瓜的个数，如下所示，设X表示色泽，Y表示好瓜或者坏瓜。则：这个例子就是计算条件熵的一个过程，现在证明条件熵公式：有很多书上的条件熵阅读全文

posted @ 2018-12-06 10:59 小时候挺菜阅读(595) 评论(0) 推荐(0) 编辑

详解机器学习中的熵、联合熵、条件熵、相对熵和交叉熵

摘要：原文地址：https://www.cnblogs.com/kyrieng/p/8694705.html 1、信息熵 (information entropy) 熵 (entropy) 这一词最初来源于热力学。1948年，克劳德·爱尔伍德·香农将热力学中的熵引入信息论，所以也被称为香农熵 (Shann 阅读全文

posted @ 2018-12-06 10:36 小时候挺菜阅读(4452) 评论(0) 推荐(0) 编辑

2018年12月5日

互信息

摘要：一、概念互信息，Mutual Information，缩写为MI，表示两个变量X与Y是否有关系，以及关系的强弱，或者说是X与Y的相关性。如果 (X, Y) ~ p(x, y), X, Y 之间的互信息 I(X; Y)定义为: Note: 互信息 I (X; Y)可为正、负或0。互信息实际上是更阅读全文

posted @ 2018-12-05 20:32 小时候挺菜阅读(2752) 评论(0) 推荐(1) 编辑

条件熵

摘要： 1 信息熵以及引出条件熵我们首先知道信息熵是考虑该随机变量的所有可能取值，即所有可能发生事件所带来的信息量的期望。公式如下：我们的条件熵的定义是：定义为X给定条件下，Y的条件概率分布的熵对X的数学期望这个还是比较抽象，下面我们解释一下：设有随机变量（X,Y），其联合概率分布为条件熵H（Y| 阅读全文

posted @ 2018-12-05 20:13 小时候挺菜阅读(1017) 评论(0) 推荐(0) 编辑

信息熵

摘要：一、通俗解释熵是衡量“信息量“大小的一个数值。什么叫”信息量“？举个例子。假设你现在玩一个猜硬币正反面的游戏，有个人扔一次硬币，你猜正反面，猜对了可以拿100块钱，猜错了就没有钱。现在有一个能预知未来的人，他知道本次抛硬币的结果，并且他愿意告诉你，只要你给他一定数量的钱。那么在如下四种情况下阅读全文

posted @ 2018-12-05 13:00 小时候挺菜阅读(6226) 评论(0) 推荐(0) 编辑

特征值和特征向量（三）

摘要：一、先看一下教科书上的定义：设A是n阶方阵，如果存在常数及非零n向量x，使得，则称是矩阵A的特征值，x是A属于特征值的特征向量。给定n阶矩阵A，行列式的结果是关于的一个多项式，成为矩阵A的特征多项式，该特征多项式构成的方程称为矩阵A的特征方程。定理：n阶矩阵A的n个特征值就是其特征方程的n个跟；阅读全文

posted @ 2018-12-05 10:27 小时候挺菜阅读(1302) 评论(0) 推荐(0) 编辑

特征值与特征向量（一）

摘要：转自：http://mini.eastday.com/bdmip/180328092726628.html# 定义：对于给定矩阵A，寻找一个常数λ（可以为复数）和非零向量x，使得向量x被矩阵A作用后所得的向量Ax与原向量x平行，并且满足Ax=λx。 2 特征值和特征向量的几何意义看到硬生生的定义阅读全文

posted @ 2018-12-05 10:24 小时候挺菜阅读(13010) 评论(0) 推荐(2) 编辑

特征值和特征向量（二）

摘要：转自：https://blog.csdn.net/fuming2021118535/article/details/51339881 在刚开始学的特征值和特征向量的时候只是知道了定义和式子，并没有理解其内在的含义和应用，这段时间整理了相关的内容，跟大家分享一下；首先我们先把特征值和特征向量的定义复阅读全文

posted @ 2018-12-05 10:22 小时候挺菜阅读(1526) 评论(0) 推荐(1) 编辑

公告