继续咱们的“网络结构1000变”板块,最近上新的内容主要是Attention机制相关的网络结构空间引流吧qq空间推广,即网络如何选择真正感兴趣的区域进行处理,下面是一个代表,更多请移步知识星球网络结构1000变板块。
CBAM
以前介绍过的Dynamic Capacity Network,Perforated CNNs是从空间维度进行Attention,SENet是从通道维度进行Attention,而CBAM(
Convolutional Block Attention Module)则是同时从空间维度和通道维度进行Attention。
通道方向的Attention通过通道内的空间关系获取,原理如下:
同时使用最大pooling和均值pooling算法,然后经过几个MLP层获得变换结果,最后分别应用于两个通道,使用Sigmoid函数得到通道的Attention结果。
空间方向的Attention通过通道之间的空间关系获取空间引流吧qq空间推广,原理如下:
首先将通道本身进行降维,分别获取最大池化和均值池化结果,然后拼接,再使用一个卷积层进行学习。
这两种机制,分别学习了“怎么
试看结束,如继续查看请付费↓↓↓↓
打赏0.5元才能查看本内容,立即打赏
来源【个人品牌】自媒体,更多内容/合作请关注「辉声辉语」公众号,送10G营销资料!