Yongkang Zhang

摘要： ng在coursera上的机器学习课已经讲过了PCA，这里不再过多赘述。但是下面要介绍PCA的数据预处理过程，并证明，为什么PCA选取的主成分是协方差矩阵对应的特征值前k大的特征向量。 PCA前的数据预处理 令$\mu=\frac 1 m \sum_{i=1}^m x^{(i)}$是m个数据的均值， 阅读全文

摘要： 问题描述 现在要用多元高斯分布模型拟合若干样本点$x^{(i)}\in \mathbb R^n$，但样本特征维数$n\gg$样本数$m$，此时，求出的协方差矩阵 $$\Sigma_{n\times n}=\frac 1 m (x^{(1)} \mu,\cdots,x^{(m)} \mu)(x^{(1 阅读全文

摘要： 琴生不等式(Jensen's inequality) 对于函数$f(x)\in \mathbb R(x\in \mathbb R)$，当$f''(x)\geq 0$时，f(x)为凸函数，当$f''(x) 0$时，f(x)为严格凸函数 若把自变量x换成向量，则当f的hessian矩阵H半正定(记作$H 阅读全文

摘要： K means聚类 ng在coursera的机器学习课上已经讲过K means聚类，这里不再赘述 高斯混合模型 问题描述 聚类问题：给定训练集$\{x^{(1)},\cdots,x^{(m)}\}$，每个数据没有任何标签。这是一个无监督学习问题 模型描述 首先，我们认为每个数据所属的类别满足一定的概 阅读全文

摘要： 考虑如下的在线学习问题： 1.学习模型为$h_\theta(x)=g(\theta^Tx)$，其中，$z\geq 0$时$g(z)=1$，$z $\|u\|=1$,$(\theta^{(k+1)})^Tu=\|\theta^{(k+1)}\|\cdot\|u\|\cos\phi\leq\|\thet 阅读全文

摘要： 模型选择 假设目前有d个学习模型构成的集合$\mathcal M=\{M_1,\cdots,M_d\}$，训练集S，下面介绍几种选取模型的方法 Hold out cross validation(Simple cross validation) 1.按一定比例随机将原始训练集S分为训练集$S_{tr 阅读全文

摘要： 偏置与方差的权衡 高偏置(high bias)与高方差(high variance)的概念在Coursera上Ng的机器学习课程中已经提过，这里不再赘述 预备知识 一致限(the union bound)/Boole不等式(Boole's inequality) $$P(A_1\cup \cdots 阅读全文

摘要： 在逻辑回归中，对于输入特征$x$，$|\theta^Tx|$越是大于0，则分类结果为0(1)的置信度将越大。所以要让决策边界离正负样本的距离尽可能远，这就是SVM的motivation 符号约定 为方便描述，样本标签$y\in\{ 1,1\}$，而非之前的{0,1}，并单独表示偏置$b$，使得参数$ 阅读全文

摘要： 广义线性模型(Generalized Linear Models,GLM) 指数分布族(Exponential Family Distributions) 指数分布族被定义为： $$p(y;\eta)=b(y)\exp(\eta^TT(y) a(\eta))$$ 其中$\eta$是自然参数(natu 阅读全文

摘要： 作者：Agenter 链接：https://www.zhihu.com/question/24261751/answer/158547500 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 这几个概念可以用“原因的可能性”和“结果的可能性”的“先后顺序”及“条件关系 阅读全文