marsggbo

摘要： I. Scan应用——Compact 在介绍这节之前，首先给定一个情景方便理解，就是因为某种原因我们需要从扑克牌中选出方块的牌。 更formal一点的说法如下，输入是 $s_0,s_1,...$, 我们提前预设条件来得到 Predicate ，即每个元素都会根据条件输出 True 或 False 。 阅读全文

摘要： 双调排序是data independent的排序， 即比较顺序与数据无关的排序方法， 特别适合做并行计算，例如用GPU、fpga来计算。 1、双调序列 在了解双调排序算法之前，我们先来看看什么是双调序列。 双调序列是一个先单调递增后单调递减（或者先单调递减后单调递增）的序列。 2、Batcher定理 阅读全文

摘要： I. 复习word2vec的核心思路 1. Skip gram 模型示意图： 2.word vectors的随机梯度 假设语料库中有这样一行句子： I love deep learning and NLP 中心词为 deep ，那么在计算梯度的时候则可以得到如下的梯度向量。 可以很明显地看到该向量非 阅读全文

摘要： 任何采样算法都应该保证频次越高的样本越容易被采样出来。基本的思路是对于长度为1的线段，根据词语的词频将其公平地分配给每个词语： counter就是w的词频。 于是我们将该线段公平地分配了： 接下来我们只要生成一个0 1之间的随机数，看看落到哪个区间，就能采样到该区间对应的单词了，很公平。 但怎么根据 阅读全文

摘要： "【NLP CS224N笔记】Lecture 1 Introduction of NLP" "【NLP CS224N笔记】Lecture 2 Word Vector Representations: word2vec" 阅读全文

摘要： I. Word meaning Meaning 的定义有很多种，其中有： the idea that is represented by a word,phrase,etc. the idea that a person wants to express by using words, signs, 阅读全文

摘要： I. 什么是NLP NLP全称是 Natural Language Processing ，即 自然语言处理 ，这是一门计算机科学、人工智能以及语言学的交叉学科。 NLP涉及的几个层次由下图所示。可以看到输入数据有两大类，分别是语音和文字。在接收到数据之后还需要做一系列的处理。 首先是speech数 阅读全文

摘要： I. 仿射凸集(Affine and convex sets) 1. 线与线段 假设$R^n$空间内两点$x_1,x_2\, (x_1≠x_2)$,那么$y=\theta x_1+(1 \theta)x_2, \theta∈R$表示从x1到x2的线。而当$0≤\theta≤1$时，表示x1到x2的线 阅读全文

摘要： I. 向量梯度 假设有一个映射函数为$f:R^n→R^m$和一个向量$x=[x_1,...,x_n]^T∈R^n$,那么对应的函数值的向量为$f(x)=[f_1(x),...,f_m(x)]^T∈R^m$。 现在考虑$f$对$x_i$的梯度为:$\frac{\partial{f}}{\partial 阅读全文

摘要： 参考文献: "Hyperband: Bandit Based Configuration Evaluation for Hyperparameter Optimization" I. 传统优化算法 机器学习中模型性能的好坏往往与超参数(如batch size,filter size等)有密切的关系。 阅读全文