摘要：
高数 梯度与法向量的关系 求曲面$f(x^{(1)},...,x^{(n)})=0$在$(x^{(1)}_0,...,x^{(n)}_0)$处的法向量（有$f(x^{(1)}_0,...,x^{(n)}_0)=0$），实际上就是求$z = f(x^{(1)},...,x^{(n)})$在$(x^{( 阅读全文
摘要：
当我们想对某些特定的分布进行抽样时，由于电脑算法只能产生服从于均匀分布的伪随机数，我们可以通过映射的方式来获取特定分布的抽样。于是引出下面的问题： 假设随机变量$X\sim U(0,1)$，对于已知映射$Y = g(X)$，我们知道如何计算$Y$的概率密度函数。但是，如果我们已知的是$Y$的概率密度 阅读全文
摘要：
核密度估计，或称Parzen窗，目标是利用离散的数据本身拟合出一个连续的分布，属于非参数估计。所谓非参数估计，即该估计并没有预设某种分布函数来对其参数进行求解或拟合，比如机器学习中K近邻法也是非参估计的一种。 直方图 首先从直方图切入。对于随机变量$X$的一组抽样，即使$X$的值是连续的，我们也可以 阅读全文
摘要：
特征值之积等于矩阵行列式 对于$n$阶方阵$A$，我们可以解$\lambda$的$n$次方程 $|A-\lambda E|=0$ 来求$A$的特征值。又因为在复数域内，$A$一定存在$n$个特征值$\lambda_1,\lambda_2...\lambda_n$使上式成立。因此作为$\lambda$ 阅读全文
摘要：
简介 统计学习，或者说机器学习的方法主要由监督学习、无监督学习和强化学习组成（它们是并列的，都属于统计学习方法）。 统计学习方法要素 1、假设数据独立同分布。（同数据源的不同样本之间相互独立） 2*、假设要学习的模型属于某个函数的集合，称为假设空间。（你确定了这个函数的样式，就是假设空间，但是函数里 阅读全文
摘要：
拉格朗日乘子法用于求解带等式约束的优化问题。此类问题通常将条件方程转换为单值函数代入待优化函数中，从而将问题转化为无条件极值问题进行求解。然而，有时等式约束复杂无法转换，此时可用拉格朗日乘子法。拉格朗日乘子法使用条件极值的一组必要条件来求出一些可能的极值点（不是充要条件，说明求出的不一定是极值，还需 阅读全文
摘要：
大数定律 表示试验次数无穷大时，样本均值就等于总体均值。 弱大数定律（辛钦大数定律） $X_1,X_2,X_3,...$是相互独立，服从期望$E(X_k) = \mu$分布的随机变量，则对于任意$\epsilon>0$，有： $\displaystyle \lim_{n\to \infty}P\le 阅读全文
摘要：
衡量模型泛化能力的标准就是性能能度量（performance measure）。以下分为两种任务进行记录。 回归任务 均方误差 回归任务最常用的性能度量就是均方误差（mean squared error），即： $\displaystyle E(f;\mathcal{D}) = \frac{1}{m 阅读全文
摘要：
幂法是通过迭代来计算矩阵的主特征值（按模最大的特征值）与其对应特征向量的方法，适合于用于大型稀疏矩阵。 基本定义 设$A = (a_{ij})\in R^{n\times n}$，其特征值为$\lambda_i$，对应特征向量$x_i(i=1,...,n)$，即$Ax_i = \lambda_i x 阅读全文
摘要：
迭代法是通过迭代的方式，一步一步逼近线性方程组解。它不一定能获得精确解，但在迭代多次以后，精度可以无限接近解的真实值。所以当矩阵的维度很高时，在程序中可用这种方法来求解线性方程组。它的基本形式如下： $x^{(k+1)} = Bx^{(k)} + f$ 首先设置一个随机初始值$x^{(0)}$，然后 阅读全文
摘要：
朴素贝叶斯法，就是使用贝叶斯公式的学习方法，朴素就是它假设输入变量（向量）的各个分量之间是相互独立的。所以对于分量之间不独立的分布，如果使用它学习和预测效果就不会很好。 简化策略 它是目标是通过训练数据集学习联合概率分布$P(X, Y)$用来预测。书上说，具体是先学习到先验概率分布以及条件概率分布， 阅读全文
摘要：
下面介绍的各种熵尽管都与数据分布的混乱度相关，但是建议把相对熵（KL散度）和交叉熵单独拿出来理解。交叉熵和相对熵是针对同一个随机变量，它们是机器学习里额外定义的用来评估两个分布差异的方式，无法用韦恩图进行观察；而后面的条件熵等则是针对不同的随机变量之间的关系（可以看完本文再回来看这句话）。 信息熵 阅读全文
摘要：
2016年 6月第一套 factor of 50 五十倍 many of... 表示of后面指代的群体的大部分，of后面的名词需要有冠词；而many仅仅指很多的意思 Many of the remedies are well-known. if not 不然，或者，要不 It says tropic 阅读全文
摘要：
样本均值和样本方差的无偏性 对于独立同分布的样本$x_1...x_n$来说，他们的均值为与方差分别为： $ \begin{aligned}&\bar{x} = \frac{1}{n}\sum\limits_{i=1}^{n}x_i \\& s^2 = \frac{\sum\limits_{i=1}^ 阅读全文
摘要：
Python 中矩阵运算主要使用numpy库。NumPy的主要对象是同种元素的多维数组。这是一个所有的元素都是一种类型、通过一个正整数索引的元素表格(通常是元素是数字）。因此对于随机查找来说，比python自带的list快很多。 在numpy里面通常使用两个变量：array和matrix。其实pyt 阅读全文
摘要：
python绘图库有很多，底层的就是matplotlib，另外还有基于matplotlib的更方便，代码可读性更强的库，比如seaborn、plotnine等。各个库之间的对比： https://www.zhihu.com/question/39684179 matplotlib 在python下一 阅读全文
摘要：
PIP直接安装 首先看一下cmd能不能使用pip（一般安装了python都自带安装pip的），不能就把pip的位置加入环境变量电脑的Path里面。不过我加了环境变量还是没有用，所以只能进入pip的位置运行（我的原因找到了，因为环境变量的path里有单独的条目额外添加了分号“;”，把它去掉就可以了。不 阅读全文
摘要：
函数多参数 函数可以设置传入多个参数： def function(*args) def function(**kwargs) args是函数可以传入无索引参数，kwarg是函数可以传入索引参数，即字典。 如下： 多出来的无索引参数会在函数中整合为元组放在args中，有索引的参数整合为字典存在kwar 阅读全文
摘要：
回归是指拟合函数的模型、图像等。与分类不同，回归一般是在函数可微的情况下进行的。因为分类它就那么几类，如果把类别看做函数值的话，分类的函数值是离散的，而回归的函数值通常是连续且可微的。所以回归可以通过梯度下降法来进行。 比如对于函数$y =b + wx$，$x$是输入变量，$w$和$b$是参数。可以 阅读全文
摘要：
动词不定式和动名词做主语的区别 不定式：强调具体的、一次性的动作 如：to learn an art is very hard.学习一门艺术很困难. 动名词：强调多次的、抽象的动作 如：working in these conditions is not a pleasure.在这种条件下工作一点也 阅读全文
摘要：
正则化 虚拟对抗训练是一种正则化方法，正则化在深度学习中是防止过拟合的一种方法。通常训练样本是有限的，而对于深度学习来说，搭设的深度网络是可以最大限度地拟合训练样本的分布的，从而导致模型与训练样本分布过分接近，还把训练样本中的一些噪声也拟合进去了，甚至于最极端的，训练出来的模型只能判断训练样本，而测 阅读全文
摘要：
安装虚拟机 最开始先安装虚拟机，我是12.5.7版本，如果要跟着我做的话，版本最好和我一致，不然后面可能会出一些莫名其妙的错误，下载链接如下（注册码也在里面了）： 链接：https://pan.baidu.com/s/1qoqeKcgMsjFKPFQFBFP6lg 提取码：2aog 安装虚拟机直接下 阅读全文
摘要：
李航老师书上的的算法说明没怎么看懂，看了网上的博客，悟出一套循环（建立好KD树以后的K近邻搜索），我想应该是这样的（例子是李航《统计学习算法》第三章56页；例3.3）： 步骤 结点查询标记 栈内元素（本次循环结束后） 最近点 最近距离 说明 A B C D E F G 初始化 0 0 0 0 0 0 阅读全文