摘要：本文介绍LAR（Least angle regression，最小角回归），由Efron等（2004）提出。这是一种非常有效的求解LASSO的算法，可以得到LASSO的解的路径。 1 算法介绍 我们直接看最基本的LAR算法，假设有$N$个样本，自变量是$p$维的： 先对$X$（\(N\times p 阅读全文

摘要：1 一元回归与多元回归 任何一本初级水平的计量经济学、统计学或机器学习相关书籍，都会详细推导多元线性线性回归的解，在这里就不再赘述。 我们给出本文用到的一些设定。$y$为$N$维因变量向量，假设$y=X\beta+\epsilon$，如果自变量为$p$维，将$X$排为$N\times (p+1)$矩 阅读全文

摘要：1 Curse of dimensionality 我们知道，\(k\)-NN算法是一种非常简单又很有效果的算法，它的核心思想就是局部近似。究其原因，就是因为它可以很好地对条件期望进行近似，一方面它用样本均值代替了期望，另一方面它用给定某个点的邻域代替了该点，结合起来，就是用在邻域内的样本均值，取代 阅读全文

摘要：LASSO非常实用，但由于它的惩罚项不可以常规地进行求导，使得很多人以为它无法显式地求出解析解。但其实并不是这样的。 1 单变量情形：软阈值法 1.1 软阈值的分类讨论 将$N$个样本的真实值记为$N$维向量$y$，将$N$个样本的自变量记为$z$，假设我们已经将自变量做过标准化，即$z' \ell 阅读全文

摘要：1 概念 如果我们想知道某个随机变量$X$的分布$F$，这在一般情况下当然是无法准确知道的，但如果我们手上有它的一些独立同分布的样本，可不可以利用这些样本？一个很简单的办法就是，把这些样本的“频率”近似为随机变量的“概率”。 经验分布函数（empirical distribution functio 阅读全文

摘要：1 Hoeffding不等式 Hoeffding不等式是非常有用的一个不等式，在机器学习、统计学等领域，都发挥着巨大的作用。 它的思想与Markov不等式有些类似，我们先给出它的形式： Hoeffding不等式：$Y_1,\ldots,Y_n$为独立观测，\(E(Y_i)=0\)，\(a_i\leq 阅读全文

摘要：正态分布的密度函数，可以一般化地写为 \[ f(x) = k \exp\left[-\dfrac{1}{2}(x-b)' A (x-b)\right] \] 事实上，如果某个多维随机变量的密度函数可以写成该形式，那么它就服从正态分布。其中$b$是均值，正定矩阵$A$是协方差矩阵的逆，它们共同决定的正 阅读全文

摘要：1 CEF error的有限性问题 在回归中，记条件期望函数（conditional expectation function，CEF）为$E[Y|X=x]$，则可将因变量$Y$分解为 \[ Y=E[Y|X=x]+e \] 可记$e=Y-E[Y|X=x]$为条件期望函数误差（CEF error）。 阅读全文

摘要：本文整理一些与极限和连续有关的概念和定理。 1 实数线的拓扑 我们先从探讨“距离”的概念出发。我们知道对于$x,y\in R$，可以定义一个非负的Euclidean distance\(|x-y|\)。通过这个，我们可以定义某个点$x\in R$的$\varepsilon$-邻域（\(\vareps 阅读全文