摘要：
感觉会有用，先记录下来，如果大家看了有帮助，深感荣幸，若不幸点开了，万分抱歉。 Instead of predicting the next word in a sequence, BERT makes use of a novel technique called Masked LM (MLM): 阅读全文
摘要：
penalty机制中有L2范数的penalty，它长这个样子： E是指一次前向计算， 输入与输出之间的 误差。后面的一部分就是L2 penalty。 现在让我们来看看C对某个参数Wi求导的结果： 如果我们更新梯度的话： 从上面的一个式子我们可以看出，w若越大，那么w衰减越厉害。（梯度始终为正数） 下 阅读全文
摘要：
本文为手稿，旨在搞清楚为什么BPTT算法会多路反向求导，而不是一个感性的认识。 假设我们要对E3求导（上图中的L3），那么则有： 所以S2是W的函数，也就是说，我们不能说： 因为WS2 = WS2(w)，S2里面包含了W这个变量，S2是W的函数，也许有人会说：“S2里面的W是常数吧”，那么请想一想S 阅读全文