FPN特征金字塔 完整详解 【论文笔记】-2 FPN网络

     结合之前的工作，作者提出了FPN网络。做法很简单，把低分辨率、高语义信息的高层特征和高分辨率、低语义信息的低层特征进行自上而下的侧边连接，使得所有尺度下的特征都有丰富的语义信息。

     网络大致结构如下：一个自底向上的线路、一个自顶向下的线路、横向连接（lateral connection，图中放大的区域是横向连接）

2.1 自底向上

     自底向上的过程就是神经网络普通的前向传播过程。在前向过程中，feature map的大小在经过某些层后会改变，而在经过其他一些层的时候不会改变，作者将不改变feature map大小的层归为一个stage，因此每次抽取的特征都是每个stage的最后一个层输出，这样就能构成特征金字塔。

2.2 自顶向下

     把高层特征图进行上采样(比如最近邻上采样)，然后把该特征横向连接（lateral connections ）至前一层特征，因此高层特征得到加强。
     上采样几乎都是采用内插值方法，即在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的元素，从而扩大原图像的大小。通过对特征图进行上采样，使得上采样后的特征图具有和下一层的特征图相同的大小，这样做主要是为了利用底层的位置细节信息。

2.3 横向连接

     横向连接：前一层的特征图经过 1×1的卷积核卷积，目的为改变通道数，因为要和后一层上采样的特征图通道数相同。

     连接方式：像素间的加法。

     重复迭代该过程，直至生成最精细的特征图。得到精细的特征图之后，用 3×3的卷积核再去卷积已经融合的特征图，目的是消除上采样的混叠效应，以生成最后需要的特征图。

     混叠效应：在统计、信号处理和相关领域中，混叠是指取样信号被还原成连续信号时产生彼此交叠而失真的现象。当混叠发生时，原始信号无法从取样信号还原。而混叠可能发生在时域上，称做时间混叠，或是发生在频域上，被称作空间混叠。在视觉影像的模拟数字转换或音乐信号领域，混叠都是相当重要的议题。因为在做模拟-数字转换时若取样频率选取不当将造成高频信号和低频信号混叠在一起，因此无法完美地重建出原始的信号。为了避免此情形发生，取样前必须先做滤波的操作。

     所以论文中使用一个 3×3 的卷积核来卷积特征图来产生最后的参考特征图。