个人品牌-策意智库

Hi, 请登录

哪里可以学习到Attention模型的发展?

继续咱们的“网络结构1000变”板块,最近上新的内容主要是Attention机制相关的网络结构空间引流吧qq空间推广,即网络如何选择真正感兴趣的区域进行处理,下面是一个代表,更多请移步知识星球网络结构1000变板块。

CBAM

以前介绍过的Dynamic Capacity Network,Perforated CNNs是从空间维度进行Attention,SENet是从通道维度进行Attention,而CBAM(

Convolutional Block Attention Module)则是同时从空间维度和通道维度进行Attention。

通道方向的Attention通过通道内的空间关系获取,原理如下:

同时使用最大pooling和均值pooling算法,然后经过几个MLP层获得变换结果,最后分别应用于两个通道,使用Sigmoid函数得到通道的Attention结果。

空间方向的Attention通过通道之间的空间关系获取空间引流吧qq空间推广,原理如下:

首先将通道本身进行降维,分别获取最大池化和均值池化结果,然后拼接,再使用一个卷积层进行学习。

这两种机制,分别学习了“怎么

试看结束,如继续查看请付费↓↓↓↓
打赏0.5元才能查看本内容,立即打赏

来源【个人品牌】自媒体,更多内容/合作请关注「辉声辉语」公众号,送10G营销资料!

相关推荐

评论

  • 昵称 (必填)
  • 邮箱
  • 网址
二维码
评论