AAAI2023 | DeMT：CNN+变换器实现多任务学习（分割/深度等）-1 领域背景

人类视觉可以从一个视觉场景执行不同的任务，如分类、分割、识别等。因此，多任务学习（MTL）研究是计算机视觉领域的热点。期望开发一个强大的视觉模型，以在不同的视觉场景中同时执行多个任务，有望高效工作。如图1所示，本文旨在开发一个强大的视觉模型同时学习多个任务，包括语义分割、人体部位分割、深度估计、边界检测、显著性估计和normal estimation。

尽管基于CNN的MTL模型被谨慎地提出以在多任务密集预测任务上实现有希望的性能，但这些模型仍然受到卷积运算的限制，即缺乏全局建模和跨任务交互能力。一些工作（Bruggemann et al.2021；Vandenhende et al.2020）开发了一种蒸馏方案，通过扩大感受野和堆叠多个卷积层来增加跨任务和全局信息传递的表达能力，但仍然无法直接建立全局依赖性。为了建模全局和跨任务交互信息，基于Transformer的MTL模型利用有效的注意力机制进行全局建模和任务交互。然而，由于query、key和value基于相同的特征，这种自关注方法可能无法关注任务感知特征，特定的自关注可能会导致高计算成本，并限制区分特定任务特征的能力。

基于CNN的模型可以更好地捕捉本地领域中的多任务上下文，但缺乏全局建模和任务交互。基于Transformer的模型更好地关注不同任务的全局信息。然而，它们忽略了task感知，并引入了许多计算成本。因此，开发更好的MTL模型的技术挑战是如何结合基于CNN和基于Transformer的MTL模式的优点。为了解决这些挑战，本文引入了可变形混合transformer（DeMT）：一种基于可变形CNN和基于query的transformer优点的简单有效的多任务密集预测方法。

具体来说，DeMT由可变形混合器编码器和任务感知transformer解码器组成。受可变形卷积网络在视觉任务中的成功激励，本文的可变形混合器编码器基于更有效的采样空间位置和信道位置混合（即变形特征），为每个任务学习不同的变形特征。它学习多个变形特征，突出显示与不同任务相关的更多信息区域。在任务感知transformer解码器中，多个变形特征被融合并输入到任务交互模块。使用融合的特征，通过模型任务交互的多头自关注来生成任务交互特征。为了关注每个任务的任务感知，论文直接使用变形特征作为查询标记。希望候选key/value集来自任务交互特性。然后，任务查询块将变形特征和任务交互特征作为输入，并生成任务感知特征。通过这种方式，可变形混合器编码器选择更有价值的区域作为变形特征，以缓解CNN中缺乏全局建模的问题。任务感知transformer解码器通过自关注来执行任务交互，并通过基于查询的transformer来增强任务感知。这种设计既降低了计算成本，又注重任务感知功能。通过在几个公开的MTL密集预测数据集上实验，证明了所提出的DeMT方法在各种指标上取得了最先进的结果！