摘要:
感觉会有用,先记录下来,如果大家看了有帮助,深感荣幸,若不幸点开了,万分抱歉。 Instead of predicting the next word in a sequence, BERT makes use of a novel technique called Masked LM (MLM): 阅读全文
摘要:
penalty机制中有L2范数的penalty,它长这个样子: E是指一次前向计算, 输入与输出之间的 误差。后面的一部分就是L2 penalty。 现在让我们来看看C对某个参数Wi求导的结果: 如果我们更新梯度的话: 从上面的一个式子我们可以看出,w若越大,那么w衰减越厉害。(梯度始终为正数) 下 阅读全文
摘要:
本文为手稿,旨在搞清楚为什么BPTT算法会多路反向求导,而不是一个感性的认识。 假设我们要对E3求导(上图中的L3),那么则有: 所以S2是W的函数,也就是说,我们不能说: 因为WS2 = WS2(w),S2里面包含了W这个变量,S2是W的函数,也许有人会说:“S2里面的W是常数吧”,那么请想一想S 阅读全文