摘要: 门控循环单元(GRU): 背景: 当时间步数较大或者时间步数较小的时候,循环神经网络的梯度较容易出现衰减或者爆炸。虽然裁剪梯度可以应对梯度爆炸, 但是无法解决梯度衰减的问题。正因为如此,循环神经网络在实际中难以捕捉时间序列中的时间步较大的依赖的关系。门控循环 神经网络的提出,真是为了更好地捕捉时间序 阅读全文
posted @ 2019-04-13 21:44 胡~萝~卜 阅读(459) 评论(0) 推荐(0) 编辑
摘要: 语言模型: 语言模型是自然语言处理中的重要技术,其描述的是一段话的流畅度,给定一个一个长度为 T 的词的序列w1、w2、.....、wt,语言模型将计算该序列的概率: 语言模型可用于提升语音识别和机器翻译的性能。例如,在机器翻译中,如果对英文 “ you go first ” 逐词翻译成中文的话,可 阅读全文
posted @ 2019-04-13 13:05 胡~萝~卜 阅读(528) 评论(0) 推荐(0) 编辑
摘要: 神经联合模型的训练; 输入:双语语料 C={x,y}1N 输出:模型参数 Θ (1)使用对其工具对双语语料进行对齐,获得 C={ x, y, a}1N ,其中 a 为对齐矩阵。 (2)随机初始化神经网络参数 Θ (3)从双语语料 C 中随机采样一个句对{xk,yk,ak},并且从 yk 中随机采样一 阅读全文
posted @ 2019-03-19 20:50 胡~萝~卜 阅读(433) 评论(0) 推荐(0) 编辑
摘要: 在数学中有许多空间表示,比如向量空间、内积空间、欧式空间以及希尔伯特空间等。 1、距离的定义 具体的距离:实际上距离除了我们经常用到的直线距离外,还有向量距离, 函数距离、 曲面距离、折线距离等等,这些具体的距离与距离之间的关系类似于苹果、香蕉等与水果的关系,前面是具体的事物,后面是抽象的概念。 距 阅读全文
posted @ 2019-02-24 16:06 胡~萝~卜 阅读(810) 评论(0) 推荐(1) 编辑
摘要: 《幸福是目的,成功是手段》 幸福感 人的幸福感有多重来源,而且不同的人还会有所不同,比如男欢女爱、财富、成就和影响力都可以让我们感到幸福。不过学者们认为,幸福感的本源只有两个——基因的传承和影响力。 人和其他任何物种一样,都担负着传承基因的使命,因此当人们看到自己的生命可以通过基因一代代延续时,会不 阅读全文
posted @ 2019-02-09 16:47 胡~萝~卜 阅读(446) 评论(0) 推荐(0) 编辑
摘要: “命”和“运” 讲到命运,很多人可能会有这样的的体会:自己无论多么努力,似乎都得不到社会的进一步认可;相反,如果按部就班地做事情,好像也坏不到那里去。冥冥之中似乎被这两条线给框死,其实这就是命。 一个人的小富小贵,可以靠一时的好运气。但是运气是一时的,具有很强的随机性;但是命缺影响着人的一生,起着决 阅读全文
posted @ 2019-01-31 22:03 胡~萝~卜 阅读(292) 评论(0) 推荐(0) 编辑
摘要: PyTorch in Action: A Step by Step Tutorial PyTorch in Action: A Step by Step Tutorial Installation Guide Step 1, donwload the Miniconda and installing 阅读全文
posted @ 2019-01-25 21:33 胡~萝~卜 阅读(223) 评论(0) 推荐(0) 编辑
摘要: 机器翻译 机器翻译大体经过了两个阶段: 理性主义阶段(1949~1992): 主张由人类专家观察不同语言间的转换规律,以规则的形式表示翻译知识。 缺点:翻译知识获取难、开发周期长、人工成本高等 经验主义阶段(1993~2016): 主张以数据为核心,通过数据模型来描述自然语言之间的转换过程,在大规模 阅读全文
posted @ 2019-01-23 16:09 胡~萝~卜 阅读(361) 评论(0) 推荐(0) 编辑
摘要: 统计学习 定义: 统计学习是关于计算机基于数据构建概率统计模型,并运用模型对数据进行预测和分析的一门学科。 研究对象: 研究对象是数据,从数据出发,提取数据的特征,抽象数据的模型,发现数据的知识,又回到对数据的分析和预测中去。 统计学习的前提是假设数据具有一定的统计规律性。 统计学习特点: (1)以 阅读全文
posted @ 2019-01-21 23:12 胡~萝~卜 阅读(243) 评论(0) 推荐(0) 编辑