图片金字塔与特性金字塔的构建与应用
图像金字塔
图像金字塔是图像多尺度表达的一种,是一种以多分辨率来解释图像的有效但概念简单的结构。一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低,且来源于同一张原始图的图像集合。其通过梯次向下采样获得,直到达到某个终止条件才停止采样。我们将一层一层的图像比喻成金字塔,层级越高,则图像越小,分辨率越低。
在OpenCV中,有关图像金字塔的操作有pyrup()和pyrdown(),分别用来完成上采样和下采样,其实在OpenCV中有关于图片缩放的更直接的函数,即resize()。
图像金字塔分为两类:高斯图像金字塔和拉普拉斯图像金字塔
高斯金字塔是通过高斯平滑(用高斯函数生成的核进行滤波)和亚采样(通过对进行过高斯平滑处理的图像进行隔行隔列采样而得到)获得一些列下采样图像,也就是说第K层高斯金字塔通过平滑、亚采样就可以获得K+1层高斯图像,每层是按从下到上编号的。
高斯金字塔的上采样和下采样是非线性处理,是不可逆的有损处理,因此,如果下采样后的图像想还原回原来的尺寸的话会丢失很多信息,使图片变得模糊,为了解决这个问题,需要提前保存因下采样而造成的缺失信息,拉普拉斯金字塔可以近似地做到这一点。
特征金字塔 Feature Pyramid Networks
为解决目标检测在处理多尺度变化问题时的不足,现在的很多网络都使用了利用单个高层特征(比如说Faster R-CNN利用下采样四倍的卷积层——Conv4,进行后续的物体的分类和bounding box的回归),但是这样做有一个明显的缺陷,即小物体本身具有的像素信息较少,在下采样的过程中极易被丢失,为了处理这种物体大小差异十分明显的检测问题,经典的方法是利用图像金字塔的方式进行多尺度变化增强,但这样会带来极大的计算量。所以提出了特征金字塔的网络结构,能在增加极小的计算量的情况下,处理好物体检测中的多尺度变化问题。
FPN,使每一层不同尺度的特征图都具有较强的语义信息。
这种网络结构,能够在增加较少计算量的前提下融合低分辨率语义信息较强的特征图和高分辨率语义信息较弱但空间信息丰富的特征图。
其实在这篇论文之前,也有人提到得出一张既具有高分辨率又具有较强语义信息的特征图进行预测,但FPN的独特之处在于,它是在以特征金字塔为基础结构上,对每一层级的特征图分别进行预测。
参考
图像金字塔:图像金字塔 - 简书
特征金字塔:【论文笔记】FPN —— 特征金字塔 - 知乎
图像金字塔、特征金字塔(FPN)_福尔摩斯帅双的博客-****博客_图像金字塔和特征金字塔
推荐阅读
-
电力央企数字化智能转型中智能巡检机器人的大模型构建与应用
-
理解JavaWeb开发:JSP的基本知识、语法与特性,内置对象、JavaBean组件以及MVC设计模式的应用
-
探索UiO-66(Zr)-NH2的特性与应用——一种新型金属有机骨架化合物,CAS号为1260119-00-3
-
理解与解析特征金字塔网络(FPN)的实战详解(转帖)
-
改进的递归特征金字塔与灵活空洞卷积在目标检测中的优化效果(包含实现框架及源代码)
-
图像里的关键点探秘:SIFT特征点与图像金字塔详解
-
在简历亮点里玩转层次感:2018年CVPR大会上的PANet与特征金字塔
-
Backbone+FPN详解:构建特征金字塔(Pytorch实践与代码解读)
-
理解与实现:FPN(特征金字塔网络)在语义分割中的工作机制与代码解析
-
好处一览:多层次感知(特征金字塔)、立体空间池化与多层面信息整合的妙用