基于 FCN 和互信息的医学图像配准技术研究（学习笔记）

摘要

针对传统配准方法在进行三维多模态图像配准时存在收敛速度较慢、容易陷入极值等问题，提出一种基于全卷积神经网络（Fully Convolutional Networks，FCN）和互信息的配准方法。利用FCN模型提取二维图像深层特征并进行粗配准；将得到的配准结果作为互信息算法的初始搜索点，从而使搜索范围缩小至全局最优解附近；利用互信息算法对参数进一步微调优化，得到最优三维配准结果。实验结果表明，在进行CT-MR图像配准时，所提方法不仅可以大幅度提升配准速度，还能有效避免局部收敛的情况，具有更高的准确性。

内容

1.传统医学图像配准

互信息是最常见的基于灰度配准方法之一。在互信息图像配准中，使用较多的优化算法如下图所示。

2.全卷积神经网络（FCN）

全卷积神经网络（Fully ConvolutionalNetworks，FCN）。FCN 是在CNN 上的发展和延伸，两者最大的区别是FCN 将卷积层替代了全连接层（如图1 所示），正是这种差异，使得FCN能够避免全连接层线性变换导致图像空间位置信息丢失，进一步丰富特征的学习。同时，由于卷积层权值共享的特性，FCN有效减少了网络训练参数的数目，能够提升模型训练的速度，FCN的网络结构如下图所示。

2.1 FCN模型的构建

整个模型由两部分组成，即参考图像和浮动图像各自的多尺度特征提取器Multi-Scale Layer(下图的a部分)，以及通过Concatenate 级联合并（图中为字母C表示）后的公共特征提取器Public Layer。

3.算法流程

文章采用FCN和互信息的混合优化算法实现三维图像配准任务。利用FCN获得的配准结果作为互信息搜索算法的起始点，通过进一步搜索优化得到更高精度的配准参数，整个配准流程如下图所示。

4.实验结果评估标准

1.相似性系数(DSC)

相似性系数用于度量实际配准结果与理论配准结果的重合度，公式如下图所示。

A和B分别表示通过本文方法配准后的浮动图像以及通过标签参数配准后的浮动图像。

2.相关系数(CC)

相关系数数学计算公式如下图所示：

其中，N 代表图像中像素点的个数，Mi表示浮动图像的灰度值，Si 表示参考图像的灰度值，M'、S'分别表示浮动图像和参考图像的平均灰度值。相似性系数（DSC）、互信息（MI） 以及相关系数（CC）指标都是值越高代表配准效果越好。

3.互信息

互信息(Mutual Information)是衡量随机变量之间相互依赖程度的度量。假设存在一个随机变量X和另一个随机变量Y，那么它们的互信息如下图所示。

4.配准时间

即算法运行的时间。

原文链接