摘要: 语言模型 对于一个文本中出现的单词 $w_i$ 的概率,他更多的依靠的是前 $n$ 个单词,而不是这句话中前面所有的单词。 $$ P\left(w_{1}, \ldots, w_{m}\right)=\prod_{i=1}^{i=m} P\left(w_{i} | w_{1}, \ldots, w_ 阅读全文
posted @ 2019-05-12 21:56 虾野百鹤 阅读(507) 评论(0) 推荐(0) 编辑
摘要: 句子的依赖结构表现在哪些单词依赖哪些单词。单词之间的这种关系及可以表示为优先级之间的关系等。 Dependency Parsing 通常情况下,对于一个输入句子:$S=w_{0} w_{1} \dots w_{n}$。 我们用 $w_{0}$ 来表示 ROOT,我们将这个句子转换成一个图 G。 依赖 阅读全文
posted @ 2019-05-10 11:08 虾野百鹤 阅读(835) 评论(0) 推荐(0) 编辑
摘要: 前向传播模型 一般我们使用的公式是: $$ a=\frac{1}{1+\exp \left( \left(w^{T} x+b\right)\right)} = \frac{1}{1+\exp \left( \left[w^{T} \quad b\right] \cdot[x \quad 1]\rig 阅读全文
posted @ 2019-05-04 11:10 虾野百鹤 阅读(367) 评论(1) 推荐(0) 编辑
摘要: Theory for f : $\mathbb{R}^{n} \mapsto \mathbb{R}$ 先定义一个标识: scalar product $\langle a | b\rangle=\sum_{i=1}^{n} a_{i} b_{i}$ 我们可以定义导数的公式如下: $$ f(x+h)= 阅读全文
posted @ 2019-05-03 20:34 虾野百鹤 阅读(891) 评论(1) 推荐(0) 编辑
摘要: Global Vectors for Word Representation (GloVe) GloVe 模型包含一个训练在单词 单词的共同出现次数上的加权的最小二乘模型。 什么是Co occurrence Matrix 假设单词与单词的 co occurrence matrix 矩阵用 X 表示, 阅读全文
posted @ 2019-05-01 20:46 虾野百鹤 阅读(496) 评论(0) 推荐(0) 编辑
摘要: How do we have usable meaning in a computer? Represents the words as discrete symbols, (离散型变量) Use the one hot vector to represent the word in sentenc 阅读全文
posted @ 2019-04-28 17:04 虾野百鹤 阅读(1506) 评论(2) 推荐(4) 编辑
摘要: \[ {\displaystyle \sigma _{1/100}(0,10)=\left(1/(1+e^{1/10}),e^{1/10}/(1+e^{1/10})\right)\approx (0.475,0.525).} \] 阅读全文
posted @ 2019-04-24 22:49 虾野百鹤 阅读(267) 评论(2) 推荐(0) 编辑
摘要: | 项目 | 内容 | | | | | 课程 | "软件工程(罗杰)" | | 作业要求 | "结对项目 单词最长链" | | 本次作业的目的 | 体验结对编程 | | 本次作业对我的锻炼 | 熟悉结对编程,了解结对编程的优点和缺点 | | 项目github地址 | "项目地址" | 项目地址 "h 阅读全文
posted @ 2019-03-14 23:15 虾野百鹤 阅读(296) 评论(5) 推荐(0) 编辑
摘要: |项目|内容| | | | | 这个作业属于哪个课程 | "软件工程" | | 这个作业的要求在哪里 | "第一次作业" | | 这个作业在哪个具体方面帮助我实现目标 | 读构建之法,学习软件开发的不二法门 | 快速看完整部教材,列出你仍然不懂的5到10个问题 结对编程 在结对编程的模式下,一对程序 阅读全文
posted @ 2019-03-04 20:19 虾野百鹤 阅读(338) 评论(4) 推荐(0) 编辑
摘要: | 项目 | 内容 | | | | | 这个作业属于哪个课程 | "软件工程" | | 这个作业的要求在哪里 | "第一次作业" | | 我在这个课程的目标是 | 掌握软件开发的一些理论知识,同时在实验中体验软件开发的快乐 | | 这个作业在哪个具体方面帮助我实现目标 | 了解一些大佬们软件开发的经 阅读全文
posted @ 2019-02-26 14:03 虾野百鹤 阅读(258) 评论(3) 推荐(0) 编辑