语言模型
摘要:一、什么是语言模型 假设,对于一个观测值:“yuyanmoxing”,可能是由“语言模型”、“寓言模型”、“语言魔性” ... 等得到的,但是要想得到究竟是哪一个,通常需要计算它们的概率,譬如:P("语言模型"|"yuyanmoxing") > P("寓言模型"|"yuyanmoxing") > .
阅读全文
posted @
2018-08-12 14:36
禅在心中
阅读(383)
推荐(0) 编辑
CNN做序列标注问题(tensorflow)
摘要:一、搭建简单的CNN做序列标注代码 得到结果: 二、CNN主要知识点 待整理。
阅读全文
posted @
2018-08-08 20:30
禅在心中
阅读(2433)
推荐(0) 编辑
对于梯度消失和梯度爆炸的理解
摘要:一、梯度消失、梯度爆炸产生的原因 说白了,对于1.1 1.2,其实就是矩阵的高次幂导致的。在多层神经网络中,影响因素主要是权值和激活函数的偏导数。 1.1 前馈网络 假设存在一个网络结构如图: 其表达式为: 若要对于w1求梯度,根据链式求导法则,得到的解为: 通常,若使用的激活函数为sigmoid函
阅读全文
posted @
2018-08-04 12:29
禅在心中
阅读(37897)
推荐(0) 编辑