摘要：
在讨论这些概率分布之前，简单说说什么是随机变量（random variable）。随机变量是对一次试验结果的量化。 举个例子，一个表示抛硬币结果的随机变量可以表示成 Python 1 2 X = {1 如果正面朝上, 2 如果反面朝上} Python Python 1 2 X = {1 如果正面朝上 阅读全文
摘要：
1. 随机变量的概念 顾名思义，随机变量就是“其值随机会而定”的变量。随机变量的反面是“确定性变量”，即其值遵循某种严格的规律的变量，比如从北京到上海的距离。但是从绝对意义上讲，许多通常视为确定性变量的量，本质上都有随机性，只是由于随机性干扰不大，以至在所要求的精度之内，不妨把经作为确定性变量来处理 阅读全文
摘要：
信息熵，不确定度的描述，熵增加，不确定度增加，熵减小，不确定度减小。 离散型随机变量的信息熵 考虑一个一维的离散的随机变量X（此处不考虑扩展到多维的情况），可以取离散的值,对应的概率分别为则离散型随机变量的信息熵为： 连续型随机变量的信息熵 考虑一个一维的连续型的随机变量X，若它的概率密度分布函数为 阅读全文
摘要：
核概率密度估计 本文分为三个部分：第一部分是直方图，讨论了如何创建它以及它的属性是什么样的。第二部分是核密度估计，介绍了它对比直方图有哪些改进和更一般性的特点。 最后一部分是，为了从数据中抽取所有重要的特征，怎么样选择最合适，漂亮的核函数。 直方图 直方图是最简单，并且也是最常见的一种的非参数概率密 阅读全文
摘要：
我们观测世界，得到了一些数据，我们要从这些数据里面去找出规律来认识世界，一般来说，在概率上我们有一个一般性的操作步骤 1. 观测样本的存在 2. 每个样本之间是独立的 3. 所有样本符合一个概率模型 我们最终想要得到的是一个概率密度的模型，有了概率密度模型以后，我们就可以统计预测等非常有用的地方，因 阅读全文
摘要：
本文主要从最原始的概率问题开始，并引出条件概率，从逆概引出释然性，最后过度到贝叶斯公式的理解 1. 概率问题 “假设袋子里面有N个白球，M个黑球，你伸手进去摸一个球出来，摸出黑球的概率是多大”？ P(黑) = M/(M+N) P(白) = N/(M+N) 这很好计算，上面的计算公式中，用到了黑球除以 阅读全文
摘要：
1 范数 向量的范数可以简单形象的理解为向量的长度，或者向量到零点的距离，或者相应的两个点之间的距离。 向量的范数定义：向量的范数是一个函数||x||,满足非负性||x|| >= 0，齐次性||cx|| = |c| ||x|| ，三角不等式||x+y|| <= ||x|| + ||y||。 常用的向 阅读全文