2023年5月16日
注意力机制的数学公式梳理
摘要： 本文为个人阅读笔记，参考《动手学深度学习》和蒲公英书《神经网络与深度学习》，两本书对RNN和attention都有简洁明了的介绍，深入浅出。 RNN回顾 循环神经网络使用隐状态$h_{t-1}$存储到时间步t-1的序列信息： $P\left(x_t \mid x_{t-1}, \ldots, x_1 阅读全文
posted @ 2023-05-16 21:45 鸽鸽的书房 阅读(2388) 评论(0) 推荐(0) 编辑