YoloV8 的改进：信道优先卷积注意力、CBAM 和 SE 的影响等 | CAS 2023.6 月版本

本文独家改进：通道优先卷积注意力，采用多尺度结构来增强卷积运算捕获空间关系的能力，解决CBAM 整合了通道注意和空间注意，但它在其输出特征的所有通道上强制执行一致的空间注意分布。相反，SE只整合了通道注意，这限制了它选择重要区域的能力

通道优先卷积注意力| 亲测在多个数据集能够实现大幅涨点

1.CPCA介绍

​

论文：[2306.05196] Channel prior convolutional attention for medical image segmentation (arxiv.org)

摘要：本文提出了一种高效的通道先验卷积注意力（CPCA）方法，支持注意力权重在通道和空间维度上的动态分布。 通过采用多尺度深度卷积模块，可以有效地提取空间关系，同时保留通道先验。 CPCA具备聚焦信息渠道和重要区域的能力。 基于 CPCA 提出了一种用于医学图像分割的分割网络 CPCANet。 CPCANet 在两个公开可用的数据集上进行了验证。 通过与最先进的算法进行比较，CPCANet 提高了分割性能，同时需要更少的计算资源。

现有研究问题点：

虽然 CBAM 整合了通道注意和空间注意，但它在其输出特征的所有通道上强制执行一致的空间注意分布。相反，SE（图 1(a)）只整合了通道注意，这限制了它选择重要区域的能力。

本文创新：

• 如图 1(c) 所示，作者提出了一种新的通道优先卷积注意力（Channel Prior Convolutional Attention，CPCA）方法，采用多尺度的深度可分离卷积模块构成空间注意力，可以在通道和空间维度上动态分配注意权重。

​

图3：通道先验卷积注意力（CPCA）的整体结构包括通道注意力和空间注意力的顺序放置。特征图的空间信息是由通道注意力通过平均池化和最大池化等操作来聚合的。 随后，空间信息通过共享 MLP（多层感知器）进行处理并添加以生成通道注意力图。 通道先验是通过输入特征和通道注意力图的元素相乘获得的。 随后，通道先验被输入到深度卷积模块中以生成空间注意力图。 卷积模块接收空间注意力图以进行通道混合。 最终，通过通道混合结果与通道先验的逐元素相乘，获得细化的特征作为输出。 通道混合过程有助于增强特征的表示

2.CPCAChannelAttention引入到yolov8

2.1 .CPCAChannelAttention加入ultralytics/nn/modules.py

核心代码：

class CPCAChannelAttention(nn.Module):

    def __init__(self, input_channels, internal_neurons):
        super(CPCAChannelAttention, self).__init__()
        self.fc1 = nn.Conv2d(in_channels=input_channels, out_channels=internal_neurons, kernel_size=1, stride=1, bias=True)
        self.fc2 = nn.Conv2d(in_channels=internal_neurons, out_channels=input_channels, kernel_size=1, stride=1, bias=True)
        self.input_channels = input_channels

    def forward(self, inputs):
        x1 = F.adaptive_avg_pool2d(inputs, output_size=(1, 1))
        # print('x:', x.shape)
        x1 = self.fc1(x1)
        x1 = F.relu(x1, inplace=True)
        x1 = self.fc2(x1)
        x1 = torch.sigmoid(x1)
        x2 = F.adaptive_max_pool2d(inputs, output_size=(1, 1))
        # print('x:', x.shape)
        x2 = self.fc1(x2)
        x2 = F.relu(x2, inplace=True)
        x2 = self.fc2(x2)
        x2 = torch.sigmoid(x2)
        x = x1 + x2
        x = x.view(-1, self.input_channels, 1, 1)
        return x