keras实现注意力机制(链接)
注意力机制
注意力模型也称资源分配模型,它借鉴了人类的选择注意力机制,其核心思想是对目标数据进行加权变换。
截止到目前,尝试过的注意力机制,要么是
(1)基于时间步的注意力机制
(2)基于维度的注意力机制(大佬魔改)
都是用于多维数据处理的
在一篇论文中,提到了针对一维向量的注意力机制:Attention本质就是给不同特征给予不同的注意程度,也就是权重分配
该文献中,使用的是相关性系数
Feature_Value = corr * Feature_Value
实现权重的重新分配,从而实现给不同的特征给予不同的重视程度
以上,是目前接触到的注意力机制应用方向,包括:
- 针对多维数据的基于时间步的注意力机制
- 针对多维数据的基于维度的注意力机制
- 针对一维数据的注意力机制(权重分配)
以下,是学习过程中使用的一些精品博客,代码基本都运行过
【注意力参考博客】
https://blog.csdn.net/qq_35649669/article/details/103807915
这是这位大佬的实战
https://blog.csdn.net/qq_35649669/article/details/104793484
【注意力项目地址】
这个是大佬参考的大佬代码,但貌似发生了更新,绘图部分程序跑不出来(基于时间步的注意力机制),主要程序没有任何问题
https://github.com/philipperemy/keras-attention-mechanism
这个是大佬的代码(作者进行了改进,实现了 基于维度的注意力机制)
https://github.com/PatientEz/keras-attention-mechani
【keras实现注意力机制】
启蒙博客+项目,程序亲试可以运行,就是改起来相当费劲,针对多维数据
https://www.cnblogs.com/lunge-blog/p/11496287.html
https://github.com/Choco31415/Attention_Network_With_Keras
【注意力其他博客】
https://mlln.cn/2018/09/02/keras%E6%95%99%E7%A8%8B-n-%E5%BE%AA%E7%8E%AF%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C%E7%9A%84%E6%B3%A8%E6%84%8F%E5%8A%9B%E6%9C%BA%E5%88%B6%E7%9A%84%E7%90%86%E8%AE%BA%E5%92%8C%E5%AE%9E%E7%8E%B0/
https://www.freesion.com/article/6186223004/