2023年11月14日
机器学习——深度循环神经网络
摘要： 到目前为止，我们只讨论了具有一个单向隐藏层的循环神经网络。 其中，隐变量和观测值与具体的函数形式的交互方式是相当随意的。 只要交互类型建模具有足够的灵活性，这就不是一个大问题。 然而，对一个单层来说，这可能具有相当的挑战性。 之前在线性模型中，我们通过添加更多的层来解决这个问题。 而在循环神经网络中 阅读全文
posted @ 2023-11-14 15:43 Yohoc 阅读(40) 评论(0) 推荐(0)
机器学习——长短期记忆网络（LSTM）
摘要： 长期以来，隐变量模型存在着长期信息保存和短期输入缺失的问题。 解决这一问题的最早方法之一是长短期存储器（long short-term memory，LSTM）(Hochreiter and Schmidhuber, 1997)。 它有许多与门控循环单元（ 9.1节）一样的属性。 有趣的是，长短期记 阅读全文
posted @ 2023-11-14 15:10 Yohoc 阅读(208) 评论(0) 推荐(0)
机器学习——门控循环单元(GRU)
摘要： 在 8.7节中， 我们讨论了如何在循环神经网络中计算梯度， 以及矩阵连续乘积可以导致梯度消失或梯度爆炸的问题。 下面我们简单思考一下这种梯度异常在实践中的意义： 我们可能会遇到这样的情况：早期观测值对预测所有未来观测值具有非常重要的意义。 考虑一个极端情况，其中第一个观测值包含一个校验和， 目标是在 阅读全文
posted @ 2023-11-14 11:21 Yohoc 阅读(178) 评论(0) 推荐(0)