欢迎来智东西
关注我们
智东西
车东西
芯东西
智猩猩
当前页面

Transformer新SOTA!MAFormer再探ViT Backbone新高度,超越SWin、CSWin

AI技术
2022-09-17 10::22

Vision Transformer 及其变体在各种计算机视觉任务中展示了巨大的潜力。但传统的Vision Transformer通常侧重于coarse level的全局依赖,这在全局关系和Token级别的细粒度表示方面存在学习挑战。在本文中,将 Multi-scale Attention Fusion 引入到 Transformer (MAFormer) 中,它探索了用于视觉识别的双流框架中的局部聚合和全局特征提取。作者开发了一个简单但有效的模块,通过在Token级别学习细粒度和粗粒度特征并动态融合它们来探索Transformer在视觉表示方面的全部潜力。多尺度注意力融合 (MAF) 块包括:

  1. 局部窗口注意力分支,学习窗口内的短程交互,聚合细粒度的局部特征;

  2. 通过一种新颖的全局下采样学习(GLD)操作提取全局特征,以有效地捕获整个图像中的远程上下文信息;

  3. 一个融合模块,通过注意力探索两个特征的整合。

MAFormer 在常见的视觉任务上实现了最先进的性能。特别是,MAFormer-LImageNet 上的 Top-1 准确率达到 85.9%,分别超过 CSWin-BLV-ViT-L 1.7% 和 0.6%。在 MSCOCO 上,MAFormer 在目标检测方面的 mAPs 比现有技术 CSWin 高 1.7%,在具有相似大小参数的实例分割方面比现有技术 CSWin 高 1.4%,证明了MAFormer成为通用骨干网络的潜力。

本文方法

1、概览

本文提出了多尺度注意力融合机制,以在Token级别提取细粒度和粗粒度特征并动态融合它们,形成通用vision transformer主干,称为MAFormer,提高各种视觉任务的性能。

图 1(a) 显示了 MAFormer 的整体架构。它以图像 作为输入,其中 W 和 H 表示输入图像的宽度和高度,并采用分层设计。通过降低特征图的分辨率,网络可以捕获不同阶段的多尺度特征。

将输入图像划分为Patch并执行Patch Merge,接收具有 C 个特征通道的 H/4 × W/4 visual tokenstokens流经 MAF 块的两个阶段和原始 Vision Transformer 块的两个阶段。在每个阶段,MAFormer 按照惯例采用了一个Patch Merge层,它将特征图的空间大小下采样 2 倍,同时增加了特征通道维度。

根据最近对特征表示的研究,像 ViT 这样的vision transformer在其较低层中局部和全局参与,但主要关注较高层中的全局信息。根据该模式,在 MAFormer 的前两个阶段合并了多尺度特征表示,而在后两个阶段,使用了原始的vision transformer Block,其中降低了特征的分辨率和完整的计算成本注意力变得负担得起。

2、多尺度注意力融合模块

Local aggregation

以往的混合网络利用cnn提取局部特征,并进一步集成到一个Transformer分支中。然而,这种方法可能存在卷积和自注意力之间不匹配的风险。

MAF中避免了不兼容性,并探索了使用基于局部窗口的多头注意力机制作为细粒度表示。考虑输入,局部聚合定义为:

其中,为第1个Transformer block的输出。

Global feature extraction

虽然局部窗口自注意力方法取得了优异的性能,但它们只能捕获窗口级信息,而无法探索它们之间的依赖关系。此外,由于对粗粒度上下文信息的使用不足,现有的方法在全局依赖关系提取方面仍然受到挑战。因此,对全局依赖关系的有效捕获是模型表示的构成部分。

为了解决这些问题,作者引入了一个带有降采样的全局学习(GLD)模块来从一个大输入中提取全局信息。为此,首先利用一个与特征输入完全连接的单个神经元层。在不删除任何维度的情况下,它输出一个动态学习的降采样上下文抽象。

如图1(c)所示,输入首先展平为,其中L=H×W。然后由一个全连接层全局提取,缩小到比例N。

在实验中调整了几个N和0.5是最优的值,在MAFromer中设置为默认值。此外,通过位置嵌入将输入的Token级位置信息编码到全局表示中。如图1(c)所示,Pos操作采用分层双线性插值作为测度,FC表示为全连接。

其中,为第1个Transformer block的全局分支输出。

Multi-scale attention fusion (MAF)

作者开发了两种类型的双流多尺度表示,如图2所示。首先,在局部表示之上提取全局依赖关系作为一种增强,旨在提供跨局部窗口的信息流。如图2(b)所示,GLD模块接受局部窗口注意力的输出,并将全局表示与局部表示重新融合。然而,这种方法只能捕获局部属性之间的全局相关性,而不能从输入中获取。

因此,作者提出了多尺度注意融合(MAF)度量,直接和分别提取输入的局部和全局尺度。这两种信息流通过注意力输入融合块,如图2(c)所示通过这种方式,MAF块可以捕获每个局部-全局Token对之间的相关性,并提示局部特征自适应地探索它们与全局表示的关系,使它们自己更具代表性和信息性。

给定提取的局部特征局部特征和全局特征,将多尺度注意融合定义为:

其中是学习超参数矩阵。然后计算每对之间的多尺度注意力融合(MAF):

实验

消融实验

Local aggregation与Global feature extraction

Fusion structure analysis

图像分类

目标检测

语义分割

参考

[1].MAFormer: A Transformer Network with Multi-scale Attention Fusion for Visual Recognition

集智书童
16篇文章
关注公众号
集智书童
16篇文章
集智书童的公众号