摘要：
若 $f(x)$ 是区间 $[a,b]$ 上的凹函数，则对任意的 $x_{1},x_{2},...,x_{n} \in [a,b]$，且 $\sum_{i = 1}^{n}\lambda_{i} = 1, \lambda_{i} > 0$，有不等式 $$\sum_{i = 1}^{n}\lambda 阅读全文
摘要：
不等式 $1$： $$a^{2} + b^{2} \geq 2ab$$ 从代数角度来证明： $$(a - b)^{2} \geq 0 \\\Rightarrow a^{2} -2ab + b^{2} \geq 0 \\\Rightarrow a^{2} + b^{2} \geq 2ab$$ 从几何角 阅读全文
摘要：
$GBDT$ 也是集成学习 $Boosting$ 家族的成员，但是却和传统的 $Adaboost$ 有很大的不同。回顾下 $Adaboost$，我们是利用前一轮迭代弱学习器的误差率 来更新训练集的权重，这样一轮轮的迭代下去。$GBDT$ 也是迭代，使用了前向分布算法，但是弱学习器限定了只能使用 $C 阅读全文
摘要：
假设有两枚硬币 $A,B$，以相同的概率随机选择一个硬币，进行如下的掷硬币实验：共做 $5$ 次实验，每次实验独立的掷 $5$ 次。 下面左图是在知道每次选择的是硬币 $A$ 还是硬币 $B$ 的情况下的试验结果；右图是在不知道选择的是硬币 $A$ 还是硬币 $B$ 的情况下的试验结果。 问：在这两 阅读全文
摘要：
1. 项集数据和序列数据 首先我们看看项集数据和序列数据有什么不同，如下图所示： 左边的数据集是项集数据，在 Apriori 和 FP Tree 算法中已经看到过，每个项集数据由若干项组成，这些项没有时间上的先后关系。 而右边的序列数据则不一样，它是由若干数据项集组成的序列。比如第一个序列 <a(a 阅读全文
摘要：
先来看一个直角三角形，如下左图： $\sin A$ 的值与三角形的边长有什么联系呢？ 从右图可以看出，角 $\alpha$ 的正弦对应单位圆上点的纵坐标，如果不理解可以先去阅读博客。 现在要求角 $A$ 的正弦，应该以点 $A$ 为圆心做单位圆，以边 $AC$ 为 $x$ 轴，那么有 $$\sin 阅读全文
摘要：
Overleaf 是一个使用 LaTeX 进行多人协同编辑的平台，可以免费注册和使用，不用下载 LaTeX 软件，是最为著名的 LaTeX 在线协作系统。 科研工作者可以在各大期刊的网站上下载到其 Overleaf 模板，进行论文写作。 国内邮箱是无法注册的，一直会提示无法验证是否是机器人。可以选择 阅读全文
摘要：
集成学习简介 集成学习(ensemble learning)是现在非常火爆的机器学习方法。它本身不是一个单独的机器学习算法，而是通过构建并结合多个机器学习器(例如 同种算法但是参数不同，或者不同算法)来完成学习任务，也就是“博采众长”。一般会获得比任意单个学习器都要好的性能，尤其是在这些学习器 都是 阅读全文
摘要：
$2013$ 年，$Google$ 团队发表了 $word2vec$ 工具。$Word2vec$ 工具主要包含两个模型：跳字模型（$skip-gram$）和连续词袋模型 （$continuous \; bag \; of \; words$，简称 $CBOW$），以及两种高效训练的方法：负采样（$n 阅读全文
摘要：
$Softmax$ 函数，又称归一化指数函数。作用是将多分类的结果以概率的形式展现出来，函数定义如下： $$Softmax(z_{i}) = \frac{e^{z_{i}}}{\sum_{c = 1}^{C}e^{z_{c}}}$$ 其中 $z_{i}$ 为第 $i$ 个节点的输出值，$C$ 为输出 阅读全文