001-语言模型
摘要：
语言模型： 我 今天 下午 打 篮球 p(S)=p(w1,w2,w3,w4,w5,…,wn)=p(w1)p(w2|w1)p(w3|w1,w2)...p(wn|w1,w2,...,wn-1) . p(S)被称为语言模型，即用来计算一个句子概率的模型 p(w2|w1)p(w3|w1,w2)...p(wn 阅读全文
posted @ 2018-10-19 21:27 医疗兵皮特儿 阅读(175) 评论(0) 推荐(0) 编辑
009-LSTM网络-长短记忆网络
摘要：
基于RNN网络的2个缺陷（全部记忆，梯度消失），现有RNN网络的升级版LSTM LSTM要做的一件事就是本次有选择的记忆用到下一次的递归工作中。 LSTM网络中，与RNN最大的区别，也是LSTM网络中最核心的东西就是控制记忆的参数C了 C是一个矩阵，用来和输入做内积，用实际的数字控制输入哪些该遗忘， 阅读全文
posted @ 2018-10-19 13:46 医疗兵皮特儿 阅读(323) 评论(0) 推荐(0) 编辑
008---递归神经网络-RNN
摘要：
常规神经网络： 常规的神经网络是各算各的，每个x之间都是独立的 递归神经网络： 递归神经网络要干的一件事就是，在隐藏层中，x1利用了x0的w，x2利用了x1的w，x3利用x2的w。。。。。以此类推 例如下面这个例子： x0表示“我出生” x1表示“在” x2表示“中国” xt表示“我说” xt+1就 阅读全文
posted @ 2018-10-19 11:38 医疗兵皮特儿 阅读(203) 评论(0) 推荐(0) 编辑
