注意力机制

 

加速计算(效果不一定好)-> CNN 

 

 如何做选择，可以不同head做不同选择。

 

 

CNN中注意力的获取

　　SENet 的核心思想在于通过网络根据 损失函数值loss去学习特征权重，使得对于任务更为效 果明显的特征图权重变大，无效果或效果不明显的特征 图权重变小的方式来训练模型从而达到更好的结果

 注意力机制：灵活捕捉全局信息和局部信息之间的联系

 

posted @   dunimaa  阅读(19)  评论(0)  编辑  收藏  举报
相关博文：
·  swin transformer
·  LeNet, AlexNet, VGG, GoogLeNet
·  CNN中的注意力机制综合指南：从理论到Pytorch代码实现
·  基于注意力机制
·  注意力机制的网络
阅读排行：
· 震惊！C++程序真的从main开始吗？99%的程序员都答错了
· 【硬核科普】Trae如何「偷看」你的代码？零基础破解AI编程运行原理
· 单元测试从入门到精通
· 上周热点回顾（3.3-3.9）
· winform 绘制太阳，地球，月球 运作规律
点击右上角即可分享
微信分享提示
AI IDE Trae