医学图像配准概览和深度学习图像配准前沿热点论文VoxelMorph

时间:2024-03-22 14:20:32

【摘要】 图像配准是计算机视觉中的经典难题之一,在医学领域有重要的作用。本文简要介绍了其传统方法和前沿深度学习方法VoxelMorph。

排版说明(上图下文,而不是上文下图)

医学图像配准概览和深度学习图像配准前沿热点论文VoxelMorph

在医学影像处理领域,使用地比较多的图像配准是多模态图像配准和时间序列配准(也被称单模态多时相配准)。

医学图像配准概览和深度学习图像配准前沿热点论文VoxelMorph

医学图像配准在很多医学场景中都具有重要的用途,很多用途都是人眼很难精确办到的事情,是对辅助诊断等热门医疗AI的有效补充。

1.为了提升医疗AI辅助诊断的分类准确率,可以使用传统图像配准方法(比如基于SIFT算子的特征点匹配)进行图像的旋转与缩放校正,也可以使用在深度学习网络中额外接入一个Spatial Transform Network。

2.为了进行定量的疗效评估(特别是科学研究和随访场景),需要将同一病人的不同时间点采集的医学影像进行对比,也需要将不同病人的医学影像进行对比。这时就需要进行标准化。这种标准化涉及到大量的柔性变化,就需要进行柔性图像配准。

3.辅助医生进行术前规划。常规的手术规划依赖于丰富经验的医师的脑海中的精确的三维重建,这种重建经验是稀缺的,且有较强的主观性。多模态影像的图像配准有利于医生进行精确的肿瘤切除、超声消融和靶向干预方案的实施。

4.辅助医生进行术中导航。以血管介入手术为例,为了了解导管的位置每时每刻在血管中的位置,医生需要穿着厚厚的铅板防护服给病人做手术。防护服不能阻挡所有X射线。累积的较大辐射量可能导致医生癌症、精子异常等问题。为了减少医生受到的X线辐射量,可以在术前进行3D血管影像的采集,在术中进行2D的实时血管造影影像采集,然后将2D图像配准到3D影像中,从而减少医生经验的依赖性。

医学图像配准概览和深度学习图像配准前沿热点论文VoxelMorph

图像配准是一个很难的研究方向,也就是说比较难出好的结果。因此,很多年轻学者不愿意选择图像配准进行深入研究。除此之外,金标准稀缺也制约了这个研究方向的发展。

医学图像配准概览和深度学习图像配准前沿热点论文VoxelMorph

图像配准有很多分类方式。医学图像配准中,刚性配准和柔性配准的分类方式比较常见。

医学图像配准概览和深度学习图像配准前沿热点论文VoxelMorph

由于深度学习近年来的迅猛发展,不少研究者也进行了基于深度学习的图像配准工作。传统图像配准方法中效果较好的方法迭代时间长。深度学习可以把迭代时间转移到模型训练时间中去,其实际推理时间可以大大少于传统方法的迭代时间。配准时间的大大缩减是深度学习图像配准的重要优点之一。

医学图像配准概览和深度学习图像配准前沿热点论文VoxelMorph

 

对于真实世界的图像来说,图像配准常常是没有金标准的。对于刚性配准,可以使用相关性(CC)作为评价指标。对于柔性配准,可以使用Dice作为评价指标(前提是数据集中有分割标注)。

医学图像配准概览和深度学习图像配准前沿热点论文VoxelMorph

由于图像配准数据常常是没有金标准的,所以深度学习的方法在无监督方向发展更快[1]。同时,无标注的医学原始数据量也大,更符合深度学习的大数据量要求。

 

医学图像配准概览和深度学习图像配准前沿热点论文VoxelMorph

VoxelMorph是近2年来效果较好的无监督深度学习医学图像变形配准方法之一[2]。医学图像配准概览和深度学习图像配准前沿热点论文VoxelMorph

VoxelMorph使用有监督方式的配准效果更好,但只是小幅度提升而已[2]。

 

医学图像配准概览和深度学习图像配准前沿热点论文VoxelMorph

可以调节VoxelMorph中的基本网络结构来分别提升配准时间和配准精度,但二者不容易得兼[2]。

医学图像配准概览和深度学习图像配准前沿热点论文VoxelMorph

 

VoxelMorph在分割性能上并没有显著提高,但在耗时上让柔性配准进入秒级时代[2]。

医学图像配准概览和深度学习图像配准前沿热点论文VoxelMorph

但在更复杂的存在较大位移的形变场的情况下,配准难度大大提高,Voxelmorph的效果不佳。此时就需要降低配准任务难度。Recursive cascaded networks通过级联递归的方式将一个难任务拆分为多个容易任务让Voxelmorph来配准,取得了不错的效果[3]。

总得来说,无监督深度学习是医学图像配准的具有前景的方向之一,值得进一步探索。

原帖:https://bbs.huaweicloud.com/blogs/174612