水下图像质量评估和图像质量增强研究
编者按
海洋面积占据地球总面积的大部分,而且海洋世界蕴藏着丰富的资源,围绕水下成像的相关研究和应用越来越重要。但是,收到水下光照散射、吸收以及噪声等影响,获取的水下图像普遍存在颜色偏差、清晰度差等问题。LiveVideoStackCon 2023 深圳站邀请到福州大学赵铁松老师讲解水下图像质量评价与画质增强研究案例。
文/赵铁松
整理/LiveVideoStack
大家好,我是赵铁松,今天向大家分享水下图像质量评价与画质增强研究案例。
首先介绍一下水下成像面临的问题。
现在我国国力提升要关注海洋技术,对海洋探测需要大量投入,其中需要大量的水下图像研究,特别是引进人工智能的水下图像研究。
海洋面积占据地球总面积的大部分。海洋信息获取通过声纳、换能器、水听器等设备获取,包括海洋资源、地貌、海洋搜救等关键信息。海洋信息传输通过水下无线电磁波通信、水下光纤通信以及水声通信等。
针对水下成像来说,她存在由水带来的前向散射和后向散射的问题,加上水中杂质会产生颜色奇怪的图片,如上图显示。这些问题在陆地成像并不明显,在水下特别显著,而深海光学成像更涉及低光照等问题。
作为替代,深海成像偏向于声纳技术,按技术特点可分为合成孔径声纳、多波束声纳、声透镜声纳等。按照工作方式可分为主动声纳和被动声纳。按装备对象可分为水面舰艇声纳、潜艇声纳、航空声纳等。
针对采集到的水下图像,进行传输则遇到更多的通信问题。水下无线电磁波传输问题是传输距离有限,成本高,信道不稳定;水下光通信同样遇到散射等问题。目前最优选择是水声通信,它同样面临信道窄、不稳定,随着传播距离衰减等问题。
简单总结。水下光学成像问题是光照不均匀,低对比度,色彩降维、模糊化、海洋雪现象。水下声纳成像问题是整体偏暗、对比度低、细节缺失、随机噪声多、前景不明显等。水下信道传输问题是带宽相对有限、信道不稳定。
在这样情况下,我们考虑这样几个问题:一、如何判断一张图片是否可用?二、如果可用,如何进行目标识别?三、如果不可用,是否可以增强或修复?四、如何进行有效的压缩与传输?本次汇报主要关注第一个和第三个问题。
首先讲水下图像质量评价。
质量是图像的重要要素,针对图像的质量评价方法,可以按照三个维度进行分类。
第一个维度是评价对象,是对保真度评价还是效用评价?水下图像主要是保真度和效用,目前和美学关联较小。
第二个维度是已有信息,是有原参考,无原参考还是半参考的评价?水下图像质量不好,没有完美图像作为参考,参考有限。
第三个维度是评价策略,是自上而下还是自下而上的模型?自下而上用感知理论对眼睛进行建模,用模型衡量评价。自上而下通过数据提取特征完成拟合,由于大模型出现,未来可能向自下而上方法倾斜。
大家通常用的水下图像质量评价指标是UCIQE和UNQM,但是这两个指标提出较早。其设计并没有考虑到深度学习算法带来的异常失真。如何选择更好的指标?
我们考虑三个元素。如果一张图像呈现给人,我们需要考虑图像自然性,如图右边展示的MSCN的系数曲线,越对称越接近自然观感,越不对称越偏离自然观感。
如果是面向机器则要考虑其特征显著性。对图像计算梯度,如果梯度足够明显表明显著性满足机器学习的需求。
最后一个要素是结构一致性,也就是水下增强后的图片与之前的图片要在结构上保持一致。我们上面三个要素都是在CIELab空间计算得出。
通过以上三者融合,可以得到更好的质量评价指标。如图所示,我们的算法性能更加鲁棒。我们除了公开算法外,同时还公开了数据集。
第二个图像质量评价工作是针对声呐图像。它具有不同的视觉效果,其应用场景也有不同。水下光学图像可能用于娱乐或目标识别,但水下声呐图像一定用于目标识别。
在这个任务中,Contourlet变换可有助于提取目标识别的特征。我们做了两个实验,验证表明,Contourlet变换提取的声呐图像特征同样有助于识别,且维度越高边缘信息越强。
基于这个想法,我们实现了一个两步算法。第一步,将图像进行Contourlet变换,提取若干子带形成特征,最后汇总成幅度、能量、信息三个特征;第二步,采用集成学习方法来筛选有用特征,且提升算法的泛化性能。
结果显示如图左边呈现,六张图像显示所有打分基本和用户评测分一致,显示出强相关。同时此方法在存在误码情况下,也能很快识别出来,具有高鲁棒性。
接下来讲述水下图像画质增强。
首先水下成像噪声体现为混合噪声,包括色彩降维、非均匀光照、细节丢失和低对比度。混合噪声不是加性噪声,噪声直接叠加画面中,例如雨雾噪声图像,直接去除处理。水下图像的混合噪声模型,较复杂,处理时需要综合考虑多个因素,如光照强度、对比度、颜色等不同尺度的信息。
我们的第一个工作是LCNet。将图像采用拉普拉斯金字塔划分为多个尺度,通过级联子网络能够学习不同尺度的特征,提高整体模型泛化能力,同时通过参数复用降低参数量及GPU加速拉普拉斯分解,提升处理速度。
结果显示,与对比算法相比,结果是最好的,和真实世界图像以及真实世界图像中有挑战的数据集相比较,都具有较好结果。
从计算时间来看,我们的处理速度是最快的,参数量也较少。上面一行图片是处理前图片,下面一行图片是处理后图片,处理后图片目标置信度提升,尤其是可以识别处理前识别不到的目标。
我们提出的第二个算法是CURE-Net,目标是进一步提升画质。网络分3层输入,第一层切为4片,第二层切为2片,第三层不切片,通过不同级别的特征加注意力机制提取信息,逐渐向上层传播,同时增加细节增强模块重建图像细节,监督复原模块用下面所有注意力特征指导整体图像的监督复原。
在上面架构之后,可以看出CURE-Net的结果是更好的,图片更加清晰,颜色更加鲜艳。
我们增强后的算法,更加有助于目标识别。对比实验可以看出,通过多层级联,识别目标越来越多,同时在跨库的验证中有好的性能。
我们提出的第三个算法DGUIR,用于接收端的图像修复。对于多变窄带水声信道导致传输失真问题,修复方法分两步进行,第一步运用失真定位,第二步失真修复。
整个模块分成三个步骤,首先输入生成修复图像的低分辨率先验图像,其次输入对失真图像进行初步修复,最后完成精准修复。
结果明显,相比对比算法,对失真进行较好修复,优于现有水下图像恢复算法,理论上也可以用于视频修复。
最后,跟大家汇报下我们将上述算法形成从算法集成框架,包括水下图像的质量评价、编码、传输、修复和识别。
获取图像之后,通过图像压缩、数据分包,在信道进行编码,进行传输以及图像解调,解码之后会有质量评测,即评价图像是否可用,结果是图像有可能直接用或者进行修复,最终对图像进行显示和分析。
我们在Jetson盒子上集成实现了算法并测试,每秒能处理5-10张水下图像。
采集端给出效用方法,评价图像效用,评价目标是否清晰以及目标是否存在,效用较低的图像直接舍弃。
拿到图像之后对图像进行压缩和重建。
压缩比选择调节QP,以27为初始,步长为8,设置效用阈值为40,如果低于40则丢弃;否则进行压缩传输。
信道传输通过水声信道进行模拟。
在接收端评估信道条件,确认接受图像质量评价方法。如果信道误码率小于阈值,作部分参考质量评价,如果信道误码率大于阈值,作无参考质量评价。
在不同信道上,画面丢失情况是不一样的,SNR为20时,虽然有些丢失,仍然可做目标识别,SNR越低,画面丢失越来越严重。
接收端基于效用评价结果对图像分别处理。
评价采用三个阈值。如果低于阈值2,会重传;如果在阈值在2-3之间,做图像修复;如果阈值在3-4之间,做增强;如果阈值大于4,直接用于下游目标检测。
接下来讲述应用于下游任务的目标检测等。
构建鱼群识别网络和算法,根据鱼群识别网络得出识别目标,例如上图所示,图像4直接做识别,图像3做增强,图像2做修复,都可以检测出目标,检测网络的时间大概每秒不到十帧。
今天分享到此结束,谢谢大家!
推荐阅读
-
水下图像质量评估和图像质量增强研究
-
数字图像处理 若干图像质量评估指标
-
图像质量评估:BRISQUE
-
图像质量评估 IQAtriq 和 hyperIQA 个人理解
-
41 个下载免费 3D 模型的最佳网站-使用说明:使用权限可能因型号而异。因此,在下载文件之前,请仔细检查每个下载页面上的许可证和使用权限。 17. Clara.io Clara.io 是一个创建 3D 内容的全球平台,也是一个培养新 3D 艺术家的社区。Clara.io 提供+100,000个免费的3D模型,包括OBJ,Blend,STL,FBX,DAE,Babylon.JS,Three.JS格式,用于 Clara.io,Unity 3D,Blender,Sketchup,Cinema 4D,3DS Max和Maya。 使用说明:免费,标准和专业帐户仅供个人使用,如果您需要将 clara.io 用于商业用途,请与销售团队联系。 18. 3DExport 3DExport是一个市场,您可以在其中购买和销售用于CG项目的3D模型,3D打印模型和纹理。它提供15 +不同的3D格式供下载,如3DS MAX(.max),Cinema4D(.c4d),Maya(.mb,.ma),Lightwave(.lwo),Softimage(.xsi),Wavefront OBJ(.obj),Autodesk FBX(.fbx)等。它还提供15种不同的语言! 使用说明:免费下载仅供个人和非商业用途。 19. 3D Warehouse 3D Warehouse是一个开放的库,允许用户共享和下载SketchUp 3D模型,用于建筑,设计,施工和娱乐!任何人都可以免费制作,修改和重新上传内容到3D仓库,您可以找到任何您能想到的东西,如家具,电子产品,室内产品等。 使用说明:3D Warehouse中的所有模型都是免费的,因此任何人都可以下载文件以用于SketchUp甚至其他软件,如AutoCAD,Revit和ArchiCAD。 20. CadNav.com CadNav是CGI平面设计师和CAD / CAM / CAE工程师的在线3D模型库,我们提供超过50000 +免费3D模型和CAD模型下载。在CadNav网站上,您可以下载高质量的多边形网格3D模型,3D CAD实体对象,纹理,Vray材料,3D作品,CAD图纸等。 使用说明:免费下载仅供个人和非商业用途。 21. All3dfree.net 就像网站名称一样,它提供免费的3D模型,还包括Vray材料,CAD块,2d和3d纹理集合,无需注册即可免费下载。它是不断更新的,因此您可以查找或请求3DS,MAX,C4D,skp,OBJ,FBX,MTL等格式的模型。 使用说明:所有资源均不允许用于商业用途,否则您将承担责任。 22. Hum3D 自2005年以来,Hum3D帮助来自3多个国家的80D艺术家节省3D建模时间,并制作逼真的3D模型,用于电影,视频游戏,AR应用程序和可视化。所有模型均由首席3D艺术家进行验证,他们检查其是否符合专业要求和最新的3D建模标准。 使用说明:免费下载仅供个人和非商业用途。 23. Artist-3D.com 艺术家-3D 库存的免费 3D 模型下载按通用类别排序。它为人体解剖学、汽车、家具、火箭、卫星等模型提供 AutoDesk 3DS Max 格式。您还可以在浏览他们的网站时找到教程和类似类型的建模。 使用说明:使用权限可能因型号而异。因此,在下载文件之前,请仔细检查每个下载页面上的许可证和使用权限。 24. Free the models 就像本网站的标题一样,它为3d应用程序和3d游戏引擎提供免费的内容模型。您可以为您的任何项目找到许多有趣且有用的模型!它提供3ds,wavefront,bryce,poser,lightwave,md2和unity3d格式的模型。还有一个很棒的纹理集合,可以在您最喜欢的建模和渲染程序中使用。 使用说明:您从这里下载的所有内容都可以免费使用,除非它不能包含在另一个免费的网络或CD收藏中,也不能单独出售。否则,您可以在商业游戏,3D应用程序或渲染作品中使用它。您不必提供信用,但如果您这样做,那就太好了。 25. Resources.blogscopia 本网站由一家名为Scopia的公司创建。他们制作3D图像和视频,您可以找到许多为CGI工作的信息架构设计的模型,所有这些都可以在现实生活中使用。您可以免费下载它们,但是,如果您想一次下载它们,您可以支付 3 到 9 欧元。 使用说明:您可以免费下载模型部分的所有文件。每个压缩文件都包含您也可以在此处找到的许可证。基本上,您可以对文件执行任何操作。唯一的限制是不归属于Scopia的重新分发。 26.ambientCG 1000+公共领域PBR材料适合所有人!环境CG是使用许多不同的方法和资产类型创建的,例如照片纹理(PBR),贴花(PBR),图集(PBR),照片纹理(普通),物质存档(SBSAR),雕刻画笔,3D模型和地形。您可以在所有项目中*使用它们! 使用说明:在 ambientCG 上提供下载的所有 PBR 材料、画笔、照片和 3D 模型均根据知识共享 CC0 1.0 通用许可提供。您可以复制、修改、分发和执行作品,即使是出于商业目的,也无需征得许可。信用将不胜感激。 不要满足于平庸的大理石纹理 - 立即使用我们的免费PBR大理石纹理升级您的3D设计。 27.Pixar One Twenty Eight 这是一个提供官方动画行业经典纹理的网站:皮克斯,创建于 1993 年,该纹理库包括 128 个重复纹理,现在免费提供。 它包含您来到的纹理,包括砖块和动物毛皮。肯定会有一些你可以使用的东西。 使用说明:皮克斯动画工作室的《Pixar One Twenty Eight》根据知识共享署名4.0国际许可协议进行许可。即使出于商业目的,您也可以重新混合、调整和构建您的作品,只要您以相同的条款对新创作进行信用和许可。 访问数以千计的免费纹理并提升您的设计游戏 - 立即开始下载! 28. 3DXO 即使有近 620 个免费贴纸可供下载,3DXO 也不是最大的资源,但它的内容非常有用,不需要注册。无论是简单的墙壁或地板,还是一些奇怪的小东西,您都需要的纹理都可以在此网站上看到。 使用说明:使用权限可能因型号而异。因此,在下载文件之前,请仔细检查每个下载页面上的许可证和使用权限。 29. 3DModelsCC0 3DModelsCC0 与其他产品的不同之处在于它包含超过 250+ 个高质量 3D 模型,并且本网站上的所有内容都是免费的,完全是公共领域!使用我们的模型时无需信用或归属! 使用说明:为每个人提供完全免费的公共领域内容。 30.Sketch up texture club Sketchup Texture Club是一个非营利性的教育和信息门户网站,由3D社区的图像促进协会管理,特别强调面向学生和建筑和室内设计专业人士的可视化和渲染技术,以及所有正在学习3D可视化的人。 使用说明:您无需支付版税或使用费。纹理可以免费下载和使用。不允许将纹理作为竞争产品出售或重新分发,即使图像被修改也是如此。 31. FlippedNormals FlippedNormal 是一个提供计算机图形和 3D 资产的市场,您可以找到许多用于雕刻、建模、纹理、概念艺术、3D 模型、游戏资产或课程的高级资产! 使用说明:使用权限可能因型号而异。因此,在下载文件之前,请仔细检查每个下载页面上的许可证和使用权限。 32. NASA 3D NASA 3D网站是一个在线门户,提供与太空和各种NASA任务相关的大量三维模型和模拟。该网站是用户友好的,并提供有关每个型号的详细信息。该网站允许用户探索和下载几种不同格式的模型,包括 OBJ、STL 和 FBX,只需单击下载按钮即可。 使用说明: 要下载模型,只需单击模型页面上的下载按钮并选择所需的格式。 33. 3DAGOGO (Astroprint) 3DAGOGO 是一个提供广泛 3D 模型的网站,包括角色、车辆和建筑物。3DAGOGO 的独特功能之一是它专注于适合 3D 打印的模型,使其成为希望创建物理原型或模型的设计师的绝佳资源。要使用 3DAGOGO,设计师只需在网站上搜索他们正在寻找的模型类型,然后下载 STL 格式的文件。 使用说明: 要使用 3DAGOGO,只需搜索所需的 3D 模型类型并下载 STL 格式的文件。根据需要自定义模型,并确保在将其用于商业目的之前检查使用权限。 34. FreeCAD FreeCAD是一款了不起的3D建模软件,可让您在计算机上创建令人难以置信的3D设计。该软件可免费下载和使用,它提供了广泛的工具和功能,可用于创建用于各种目的的3D模型。 该网站易于浏览,您可以找到开始使用FreeCAD的所有必要信息。此外,该网站还提供一系列教程和指南,可帮助您了解 3D 建模的来龙去脉。 使用说明: 要下载模型,请访问网站并从库中选择所需的模型。该网站还提供了一系列使用该软件的教程和指南。 35. Pinshape Pinshape是一个提供一系列3D打印模型的网站。网站上提供的型号质量很高,因此您可以确保您的最终印刷产品看起来很棒。该网站提供了广泛的模型,包括从家居用品到小雕像和珠宝的所有物品。 但这还不是Pinshape所能提供的全部!该网站还允许用户上传和共享自己的3D模型。这意味着您不仅可以下载出色的模型,还可以通过分享自己的设计为社区做出贡献。此外,Pinshape 提供了一系列自定义选项,因此您可以调整和调整模型以满足您的特定需求。 使用说明: 要下载模型,请在网站上创建一个帐户,搜索所需的模型,然后单击下载按钮。该网站还为每种型号提供了一系列定制选项。 36.Yeggi Yeggi 提供了大量免费的 3D 模型,您可以下载各种格式的模型,例如 STL、OBJ 和 FBX。该网站易于使用,您可以按关键字、类别或特定网站搜索模型。 Yeggi 对于任何寻找 3D 模型的人来说都是一个很好的资源。它提供了大量的模型集合,从日常物品到复杂的机械,以及介于两者之间的一切。该网站的收藏量在不断增长,每天都有新的型号增加。 使用说明: 要下载模型,请在网站上搜索所需的模型,然后单击下载按钮。该网站还提供指向托管模型的原始网站的链接。 37. Open3DModel 来自开放3D模型的图像 Open3DModel具有各种类别的模型,包括建筑,车辆和角色。无论您需要建筑物,汽车还是人的3D模型,都可以在此网站上找到。 该网站易于浏览,您可以按类别或关键字搜索模型。每个模型都附带预览图像和详细信息,例如文件格式、大小和多边形数量。此信息可以帮助您选择适合您需求的模型。 使用说明: 要下载模型,请访问网站,从库中选择所需的模型,然后单击下载按钮。 使用最好的 3D 资产管理工具简化您的 3D 制作流程。立即试用它们,将您的 3D 项目提升到一个新的水平! 38. 3DExport 对于那些为其 3D 设计项目寻找 3D 模型、纹理和其他资源的人来说,该平台是一个很好的资源。该网站有大量模型可供选择,包括 3D 打印对象、游戏资产等。用户可以按类别、文件格式或价格范围浏览,以找到适合其项目的完美资源。此外,3DExport 还提供一系列教程和其他 3D 资源,以帮助用户提高技能并创建更令人印象深刻的设计。 使用说明: 要使用 3DExport,只需创建一个帐户并浏览可用型号。您可以按类别、格式和价格进行搜索,以找到所需的型号。找到喜欢的模型后,只需下载它并开始在您的项目中使用它。 39.Blend Swap Blend Swap是一个社区驱动的市场,提供与Blender软件兼容的各种免费3D模型。该平台允许用户共享和下载模型、纹理和其他资产,以便在他们的项目中使用。 使用说明: 创建免费帐户后,您可以浏览社区上传的大量3D模型。当您找到要使用的一个时,只需下载它并将其导入您选择的 3D 软件即可。 40. 3DShook 3DShook 是一个高级 3D 模型市场,提供一系列用于建筑、游戏等各个行业的高质量模型。该平台提供基于订阅的模型,具有不同的定价计划,允许用户访问一系列模型。 使用说明: 注册免费帐户后,只需浏览3D模型库,选择您喜欢的模型,然后以您需要的格式下载它们。 41. Smithsonian X 3D 史密森尼 X 3D 对于正在寻找历史文物和文物的高质量 3D 模型的设计师来说,这是一个独特的资源。该平台提供了大量3D模型,这些模型是根据史密森尼博物馆和研究中心中的真实物体扫描创建的。 使用说明:
-
相机图像质量研究(32)常见问题总结:图像处理对成像的影响--振铃效应
-
深度学习中的不确定性量化:2020年实用技术与应用大解析 - 61页精华解读" 这份报告深入剖析了近年来深度学习领域中不确定性量化(UQ)技术的最新发展,包括其在强化学习(RL)中的运用实例。探讨了贝叶斯近似和集成学习等主流UQ方法在各个具体场景中的广泛应用,比如自动驾驶、目标识别、图像修复、医疗影像分析(如分类和分割)、文本理解(如文本分类和风险评估)、以及生物信息学等多个领域。 报告进一步梳理了UQ方法在深度学习领域的关键应用案例,并针对当前面临的挑战及未来研究方向进行了概览和展望,为这一领域的研究人员和实践者提供了有价值的参考指南。