2021年10月12日

陈希孺概率与数统：入门级自学佳作

摘要：概率论与数理统计，严格来说是两门学科。但由于这两门课的入门都比较简单，内容不多，且数理统计的底层基础就是概率论。因此对于初学者，最好将这两门课放到一起学习，而国内大多数的工学专业，也都是将这两门课合并在一起，作为工学专业的“数学三件套”之一（另外两门是高等数学和线性代数），并且在研究生入学考试中作为阅读全文

posted @ 2021-10-12 09:35 分析101 阅读(753) 评论(0) 推荐(0) 编辑

2021年9月28日

依分布收敛的定义细节

摘要： 1 定义依分布收敛的定义是这样的：随机变量序列${X_n}{n=1}^{\infty}$，若它们的累积分布函数cdf序列${F_1}{n=1}^{\infty}$，与某个随机变量$X$的cdf $F$，满足 \[ \lim_{n\to\infty} F_n(x)=F(x) \] 在任意$F 阅读全文

posted @ 2021-09-28 12:59 分析101 阅读(1100) 评论(0) 推荐(0) 编辑

2021年8月12日

Jensen不等式及其应用

摘要： Jensen不等式的形式有很多种，这里重点关注有关于随机变量期望的形式。 1 Jensen不等式 Jensen不等式：已知函数$\phi: \mathbb{R}\to\mathbb{R}$为凸函数，则有$\phi[\text{E}(X)]\leq \text{E}[\phi(X)]$。有时候，阅读全文

posted @ 2021-08-12 20:16 分析101 阅读(2464) 评论(0) 推荐(0) 编辑

2021年6月29日

最小角回归详解

摘要：本文介绍LAR（Least angle regression，最小角回归），由Efron等（2004）提出。这是一种非常有效的求解LASSO的算法，可以得到LASSO的解的路径。 1 算法介绍我们直接看最基本的LAR算法，假设有$N$个样本，自变量是$p$维的：先对$X$（\(N\times p 阅读全文

posted @ 2021-06-29 17:34 分析101 阅读(991) 评论(0) 推荐(0) 编辑

2021年6月24日

QR分解与线性回归

摘要： 1 一元回归与多元回归任何一本初级水平的计量经济学、统计学或机器学习相关书籍，都会详细推导多元线性线性回归的解，在这里就不再赘述。我们给出本文用到的一些设定。$y$为$N$维因变量向量，假设$y=X\beta+\epsilon$，如果自变量为$p$维，将$X$排为$N\times (p+1)$矩阅读全文

posted @ 2021-06-24 17:40 分析101 阅读(690) 评论(0) 推荐(0) 编辑

2021年6月22日

Curse of Dimensionality

摘要： 1 Curse of dimensionality 我们知道，$k$-NN算法是一种非常简单又很有效果的算法，它的核心思想就是局部近似。究其原因，就是因为它可以很好地对条件期望进行近似，一方面它用样本均值代替了期望，另一方面它用给定某个点的邻域代替了该点，结合起来，就是用在邻域内的样本均值，取代阅读全文

posted @ 2021-06-22 16:08 分析101 阅读(113) 评论(0) 推荐(0) 编辑

2021年6月17日

LASSO的解法

摘要： LASSO非常实用，但由于它的惩罚项不可以常规地进行求导，使得很多人以为它无法显式地求出解析解。但其实并不是这样的。 1 单变量情形：软阈值法 1.1 软阈值的分类讨论将$N$个样本的真实值记为$N$维向量$y$，将$N$个样本的自变量记为$z$，假设我们已经将自变量做过标准化，即$z' \ell 阅读全文

posted @ 2021-06-17 15:56 分析101 阅读(1776) 评论(0) 推荐(0) 编辑

2021年6月15日

经验分布函数简介

摘要： 1 概念如果我们想知道某个随机变量$X$的分布$F$，这在一般情况下当然是无法准确知道的，但如果我们手上有它的一些独立同分布的样本，可不可以利用这些样本？一个很简单的办法就是，把这些样本的“频率”近似为随机变量的“概率”。经验分布函数（empirical distribution functio 阅读全文

posted @ 2021-06-15 14:20 分析101 阅读(3143) 评论(0) 推荐(0) 编辑

2021年6月14日

Hoeffding不等式简介

摘要： 1 Hoeffding不等式 Hoeffding不等式是非常有用的一个不等式，在机器学习、统计学等领域，都发挥着巨大的作用。它的思想与Markov不等式有些类似，我们先给出它的形式： Hoeffding不等式：$Y_1,\ldots,Y_n$为独立观测，$E(Y_i)=0$，\(a_i\leq 阅读全文

posted @ 2021-06-14 19:35 分析101 阅读(891) 评论(0) 推荐(0) 编辑

2021年6月10日

正态分布密度函数的系数

摘要：正态分布的密度函数，可以一般化地写为 \[ f(x) = k \exp\left[-\dfrac{1}{2}(x-b)' A (x-b)\right] \] 事实上，如果某个多维随机变量的密度函数可以写成该形式，那么它就服从正态分布。其中$b$是均值，正定矩阵$A$是协方差矩阵的逆，它们共同决定的正阅读全文

posted @ 2021-06-10 23:13 分析101 阅读(676) 评论(0) 推荐(0) 编辑