传统算法和AI在病理学诊断方面的应用

时间:2024-03-28 22:26:52

目录

病理学概念... 2

病理图像的采集与重建... 3

人工智能、机器学习和深度学习... 3

人工智能在病理方面应用的背景与重要意义... 5

AI在病理方面应用的挑战与机遇... 6

挑战... 6

机遇... 8

传统算法在病理学诊断的应用... 9

图像预处理... 9

1.     图像去噪声... 9

2.     图像增强... 10

图像分割... 11

1.     阈值分割算法... 11

2.     形态学算法... 11

3.     基于聚类分析的图像分割算法... 12

特制提取... 13

1.     纹理特征... 13

2.     几何特征... 13

3.     颜色特征... 14

4.     统计学特征... 14

分类器检测... 14

1.     线性回归(linear regression)... 15

2.     逻辑回归(logistic regression)... 15

3.     朴素贝叶斯... 15

4.     Adaboost 15

5.     SVM分类器... 16

深度学习与传统机器学习... 17

深度学习的优势... 17

机器学习的优势... 18

深度学习在病理学诊断的应用... 19

前列腺癌检测... 19

乳腺癌检测... 22

总结... 25

 

 

 

 

病理学概念

什么是病理学?

病理学(Pathology)是用自然科学的方法,研究疾病的病因、发病机制、形态结构、功能和代谢等方面的改变,揭示疾病的发生发展规律,从而阐明疾病本质的医学科学。

一般病理学主要通过分析组织、细胞和体液样本来诊断疾病。

作为一般研究和研究领域,病理学涉及疾病的四个组成部分:原因,发育机制(发病机制),细胞结构改变(形态变化)和变化后果(临床表现)。

 

一般医学病理学分为:解剖病理学、临床病理学、分子病理学和口腔颌面病理学等。

1 解剖病理学:细胞病理学(有时也称为“细胞学”,细胞水平的研究和诊断疾病。通常以游离的细胞或组织碎片样本,细胞病理学测试被称为涂片测试,因为样品可以涂抹在玻璃显微镜载玻片上用于随后的染色和显微镜检查。);皮肤病理学解剖病理学的一个亚专科,重点在于皮肤和器官的外皮系统等部分研究);组织病理学基于各种形式人体组织的显微镜检查。在临床医学中,组织病理学是指将被处理样本组织切片放置在载玻片上之后由病理学家对活组织或手术标本进行检测。);神经病理学(是对神经系统(脑、脊髓等)组织疾病的研究,被认为是解剖病理学的一个子领域)等。

 

2 临床病理学:基于对血液和尿液等体液的实验室分析来诊断疾病。免疫病理学(有机体对感染的免疫反应研究),有时也被认为属于临床病理学领域。

 

3 分子病理学:分子病理学是通过检查疾病集中的器官、组织或者体液内的分子的研究和诊断。分子病理学本质上是多学科的,并与解剖病理学和临床病理学,分子生物学生物化学蛋白质组学遗传学在某些方面相关联。分子病理学通常用于诊断癌症和传染病。分子病理学主要用于检测癌症,如黑色素瘤,脑干胶质瘤,脑肿瘤以及许多其他类型的癌症和传染病。广泛地用于疾病的基因诊断和治疗。

 

4 口腔颌面病理学:被认为是牙科和病理学结合的专业。活组织检查,细胞涂片和其他组织分析是口腔病理学中的重要诊断工具。

 

什么是病理检查?

病理检查:用以检查机体器官、组织或细胞中的病理改变的病理形态学方法

 

病理检查 (pathological examination) 已经大量应用于临床工作及科学研究。在临床方面主要进行尸体病理检查及手术病理检查。手术病理检查的目的,一是为了明确诊断及验证术前的诊断,提高临床的诊断水平;二是诊断明确后,可决定进一步治疗方案及估计预后,进而提高临床的治疗水平。

 

20世纪90年代病理检查进入组化、免疫组化分子生物学及癌基因检查。随着自然科学的迅速发展,新仪器设备和技术应用到医学中来,超微结构病理、分子病理学免疫病理学、遗传病理学等方法也都应用到病理检查中。

病理图像的采集与重建

病理图像可分为组织学图像和细胞学图像,包括从基本病理诊断HE切片,到特殊染色免疫组化病理图像,也有荧光原位杂交染色图像等为了克服病理切片图像之间的异质性为定量分析带来的干扰,在病理分析中图像归一化的方法是很有必要的

病理切片图像通常含有多达百万数量级的显微结构,信息量极大,其大小可以达到50G,检查一位患者可产生1T的数据如此庞大的数据量十分不利于图像数据的存储传输以及分析为此,在保证图像质量的前提下,应尽量减少图像中的冗余信息,对图像进行重建与压缩,既保留用于后续诊断的必要信息,又节省存储空间与计算花费。

传统的病理诊断是病理医生在显微镜下观察切片,制作切片主要通过活检取一定大小的病变组织样本,制作小片固定样本并用石蜡封存,再切割成4-6 um薄片装入载玻片中。

由于此时的组织切片很薄,大多呈透明色,为了方便病理医生诊断通常需要进行染色增强对比度。常用的染色方法有两种:苏木精-伊红(Hematoxylin-Eosin, H&E)染色和免疫组织化(Immunohistochemistry, IHC)染色。如今随着计算机技术的发展,切片越来越多地被转为数字病理图像,便于保存并且可以通过电脑直接观察和分析病理图像。然而,染色密度、切片平整度以及组织样本的损坏程度等等,均会对病理切片的质量产生影响。另外,在病理切片图像采集过程中,图像压缩时引入变形、噪声的出现以及切片扫描仪本身的特性,都将影响最终得到的电子切片图像的质量。这些因素都为人工智能算法的应用带来了契机,也是目前众多研究者重点关注的问题和重点研究的方向。

 

人工智能、机器学习和深度学习

人工智能(AI)、机器学习(machine learning)和深度学习(deep learning)关系如下图所示。

传统算法和AI在病理学诊断方面的应用

1956年,几个计算机科学家相聚在达特茅斯会议(Dartmouth Conferences),提出了“人工智能”的概念。其后,人工智能就一直萦绕于人们的脑海之中,并在科研实验室中慢慢孵化。之后的几十年,人工智能一直在两极反转,或被称作人类文明耀眼未来的预言;或者被当成技术疯子的狂想扔到垃圾堆里。坦白说,直到2012年之前,这两种声音还在同时存在。

过去几年,尤其是2015年以来,人工智能开始大爆发。很大一部分是由于GPU的广泛应用,使得并行计算变得更快、更便宜、更有效。当然,无限拓展的存储能力和骤然爆发的数据洪流(大数据)的组合拳,也使得图像数据、文本数据、交易数据、映射数据全面海量爆发。

人工智能的先驱们就梦想着用当时刚刚出现的计算机来构造复杂的、拥有与人类智慧同样本质特性的机器。这就是我们现在所说的“强人工智能”(General AI)。这个无所不能的机器,它有着我们所有的感知(甚至比人更多),我们所有的理性,可以像我们一样思考。

我们目前能实现的,一般被称为“弱人工智能”(Narrow AI)。弱人工智能是能够与人一样,甚至比人更好地执行特定任务的技术。例如,Pinterest上的图像分类;或者Facebook的人脸识别。

 

什么是机器学习?

机器学习是人工智能的一个子集。它是人工智能的核心。什么是机器学习?我们习惯上这样理解,传统机器学习就是:用一大堆数据,同时通过各种算法(比如SVM、决策树、逻辑回归等),去训练出来一个模型,然后用这个训练好的模型去完成任务(比如预测任务等)。

常用的机器学习算法有:线性回归、逻辑回归、决策树、随机森林、支持向量机、贝叶斯、K近邻、Kmeans、xgboost等。

什么是深度学习?

深度学习是一种特殊的机器学习,是机器学习的一个子集。深度学习的概念源于人工神经网络。可以这样归纳:含多隐层的多层感知器就是一种深度学习结构。

含一层隐层的神经网络还不能称之为真正的深度学习结构,很多时候也把这种单层的神经网络归为机器学习范畴。当我们把神经网路的隐层加多加深,就得到了真正的深度学习结构。

 

机器学习和深度学习的区别有哪些?

1 对数据量大小的要求不同。当数据量很少的时候,深度学习的性能并不好,而数据量较小的时候,用传统的机器学习的方法更合适。

2 对机器硬件的要求不同。深度学习处理的数据量更大,对机器硬件的要求也会更高。很多时候仅使用现今的CPU无法顺利完成任务,必须借助GPU并行运算等手段来完成。

3 特征处理方式不同。传统的机器学习算法,首先需用PCA、LDA等算法进行特征提取,然后使用机器学习算法(如SVM等)进行模型训练。特征提取过程复杂,对算法工程师要求也很高。另一方面,深度学习特征由算法本身完成提取,如CNN网络中,卷积层的作用就实现了特征的提取。

4 解决问题的方式不同。传统机器学习通常会将问题分解为多个子问题然后逐个解决,而深度学习是提倡“端到端”的解决问题。

5 可解释性不同。机器学习的可解释性很强,许多传统的机器学习算法有明确的数学规则,解释起来相对容易。比如说线性回归,逻辑回归、决策树等这些算法解释起来就很容易。但是深度学习的可解释性就没有那么强了。深度神经网络更像是一种“黑箱子”,网络里面具体每一层是怎么操作的,神经元做了什么,很多时候是不明确的。深度学习的可解释性是一个热门研究话题。

6 使用的开源库和框架不同。比如,scikit-learn库用来做机器学习问题,是很不错的。谷歌的tensorflow用来处理深度学习问题会更好。有时综合使用会更加方便和实用。

人工智能在病理方面应用的背景与重要意义

2011年,美国科学家在《走向精准医疗》的报告中首次提出了“精准医疗”的概念,而我国的精准医疗更侧重于综合多种医疗大数据,为病人量身设计出最佳治疗方案。虽然在两种定义下的精准医疗的侧重点不同,但是其核心是一样的,就是大数据与医疗的结合。

人工智能和大数据等技术在医疗领域的应用,将大大推动精准医疗的发展。病理切片图像作为医疗大数据中举足轻重的一部分,在疾病诊断、治疗方案的制定和疾病预后中具有重要参考价值。通过挖掘其包含的大量信息可得到反映人类健康和疾病的信息,将这些信息应用到临床当中来,将大大提高临床治疗的效果,因此对基于人工智能技术实现以医学图像为介质的精准医疗的研究具有重要意义。

人工智能技术在病理切片图像分析中的应用人工智能技术之所以能在医学图像分析中取得成功,核心在于人工智能技术对大数据的分析能力与爆炸式增长的医学图像数量的相互碰撞,人工智能技术最大限度地发挥了深度学习提取特征的能力,医疗大数据的储备也得到了充分应用。

病理切片图像诊断是临床中鉴别癌症的基础和金标准。然而,病理学诊断是一项复杂的任务,需经过多年的病理学培训。数字病理学图像余其他医学图像类型(如放射学图像)不同,数字病理学图像具有超高的分辨率(超10千兆像素)。对诊断和治疗具有重要意义的区域和细胞特征可能是十分微小和混乱的面对巨大的信息量以及繁重的工作量,即使是经验丰富的病理学家也容易出现误检或错检。因此,标准的癌症诊断需要多位专家的检测和共识,但是这样的消耗是非常昂贵的,并且小型癌症诊疗中心经验丰富的病理学家十分稀缺。

随着近年来人工智能技术的发展以及计算机硬件计算力的提升,基于深度卷积神经网络(CNNs)的深度学习算法已被证明是推进生物医学图像分析的强大助力。CNN可以应用于病理图像的分析任务,例如肿瘤的检测和细胞特征的量化等。但以往的病理诊断方面工作只是小组织图像进行了分类,缺少大规模数据的验证,普适性较差。尽管在所使用的样本数据处理中,取得了不错的成果,具有了公认的人类等级的分类准确性,但还是缺乏可解释性。因此不鼓励使用深度学习作为诊断和预测手段。深度学习应作为辅助诊断的手段,能够给予医生明晰的描述和图表,医生可以通过感知和理解这部分信息来做决策。

人工智能的发展伴随着病理学向数字化方向的转化。因此,将病理学和人工智能结合在一起可能会获得医疗保健方面令人兴奋的变化,尽管仍需要解决大量的技术,伦理和法律问题。但是结合数字病理学与人工智能将促进工作流程的改善和诊断的发展,使研究人员和临床团队能够即时共享和查看图像,并使用计算算法评估和提供有价值的见解,最终可以得到更明智和详细的癌症诊断。这种整合将有助于推进精确肿瘤学的未来,并可为每位患者制定个性化的护理计划。

AI在病理方面应用的挑战与机遇

挑战

  1. 缺少标签数据

大多数AI算法需要大量高质量的训练图像。理想情况下,这些训练图像必须“标记”(即注释)。这通常意味着病理学家需要在所有图像中手动描绘感兴趣的区域(即,异常或恶性)。除了所涉及的时间限制外,手动注释通常也会给应用程序开发带来困难,有可能引入噪音。对于病理学家来说,大量图像的详细注释不仅无聊,而且在处理低分辨率或模糊图像,网速慢和特征模糊时也特别具有挑战性。目前,只有少量公开可用的数据集包含可用的标记图像。例如,医学图像计算和计算机辅助干预学会2014脑肿瘤数字病理学竞赛,提供了脑肿瘤的数字组织病理学图像数据。对于本次比赛,在对脑肿瘤进行分类时,目标是区分多形性胶质母细胞瘤(GBM)与低级别胶质瘤(LGG)的图像。训练集有22个LGG图像和23个GBM图像,测试(验证)集有40个图像。另一个例子是包含许多数字切片的Camelyon数据集(即带有像素级标记和未标记切片的测试集)用于自动检测经过苏木精和曙红(H和E)染色的淋巴结全切片图像中乳腺癌的转移情况。幸运的是,强调组织病理图像识别的多类型数据集正在逐渐出现。此外,计算科学家可以利用一些方法来最大化有限的训练数据,例如数据增强(即,人工改造原始训练图像)。

  1. 诊断任务的非布尔性质

许多已发表的研究论文涉及数字病理学中的分类问题,其主要涉及二分类,仅具有两个可能的值,即“是”或“否”(例如,良性或恶性)。这是对病理学诊断的复杂性的极大简化。病理诊断采用多种过程,包括认知,临床方面的理解,感知和实践经验。有时,病理学家会使用谨慎的语言或描述性术语来处理困难和罕见的病例。这对潜在的疾病监测和治疗产生了影响。因此,二分类可能仅在简单明显的情况下是可取的。临床实践中很少出现这种情况。

  1. 维度障碍

全病理切片处理主要针对极大尺寸的千兆像素数字图像。大于50,000乘50,000像素的图像尺寸非常常见。然而,深度ANN(人工神经网络)适用于在更小的图像尺寸上操作(即,不大于350乘350像素)。“拼接”是AI算法中的一种解决方案。然而,即使对于贴片,通常也需要对它们进行下采样以便能够将它们输入到深度网络中。小于1.5μm2的区域就已经不适用于大多诊断的需求,而且这大部分区域至少是1000乘1000像素。对这些贴片进行下采样可能会导致关键信息丢失。另一方面,输入尺寸较大贴片图像需要更深的拓扑结构和更多的神经元,这使得它们更难以训练,也许无法训练。

 

  1. 所需计算费用的可负担性

深度学习解决方案严重依赖于使用图形处理器(GPU)。在普通计算机上进行深度学习的训练和使用会非常缓慢,因此是不切实际的。很明显,在实践中部署深度网络必须能够访问GPU集群。因此,高计算力的计算机作为训练或使用深度人工智能解决方案的先决条件,在计算费用上会受到一定的限制。

  1. 缺乏透明度和可解释性

深层人工神经网络(ANNs)在物体和场景识别方面的成果令人印象深刻。然而,当用作分类器时,它们没有消除人工神经网络的一个主要缺点,即缺乏互通性。有些人认为人工神经网络在训练后会体现出一个“黑匣子”。虽然研究人员已经开始研究创造性的方法来解释人工智能的结果,目前还没有一种既定的方法可以很容易地解释为什么在处理组织病理学扫描时,网络做出了具体的决定。换句话说,为了提供输出(即决定)而在深度ANN内执行的数百万次乘法和加法无法提供理解其决策背后基本原理的可验证路径。这在医学界通常是不可接受的,因为参与诊断研究的医生和其他专家通常需要证明具体决定的根本原因。通向可靠诊断的途径必须透明且完全易于理解。如果深度学习算法需要认可以及获得监管部门批准用于临床实践,这也很重要。

机遇

  1. 深层特征-预训练更好

迁移学习近年来备受关注。用神经网络的词语来表述,就是一层层网络中每个节点的权重从一个训练好的网络迁移到一个全新的网络里,而不是从头开始,为每个特定的任务训练一个神经网络。这样做的好处,可以从下面的例子中体现,假设你已经有了一个可以高精确度分辨猫和狗的深度神经网络,你之后想训练一个能够分别不同品种的狗的图片模型,你需要做的不是从头训练那些用来分辨直线,锐角的神经网络的前几层,而是利用训练好的网络,提取初级特征,之后只训练最后几层神经元,让其可以分辨狗的品种。预训练网络对包括医疗领域在内的许多领域具有明显的潜力。此外,如果使用迁移学习而不是尝试从头开始训练新网络,则可以克服上述一些挑战。

  1. 手动特征提取-不要忘记计算机视觉

深度学习在开发一些AI算法方面的成功已经将许多计算机视觉算法推到了一边,其中包括特征提取。许多成熟的特征提取方法,如局部二值法和最近局部编码投影已经证明至少与深度学习提取特征的水平相同,在某些情况下甚至更好。传统算法的过程可以被完全理解,它们的结果可以被解释(至少是人类),并且它们的提取不需要过多的学习计算资源。尽管深度学习和其他AI算法对于病理学界来说是非常奇特的技术,但使用“投影”和其他传统技术可能更符合许多医学专业人员的知识。利用手动特征提取(例如,核尺寸和腺体形状)的许多计算机视觉方法可以更容易地用于数字病理学中以提供高识别精度。

  1. 生成框架:学会看而不是判断

大多数成功的人工智能技术都属于一类判别模型,这种方法可以将数据分为不同的级别,但最常见的是分为两组(例如,恶性与良性结合)。判别模型受制于我们已经列出的大多数挑战,最值得注意的是它们的开发需要标记数据。相比之下,生成模型专注于学习(重新)生成数据而无需做出任何判定。朴素贝叶斯,限制玻尔兹曼机和生成对抗网络是生成算法的例子。通常,生成算法学习联合概率(表征图像特征的统计数据)并猜测标签(说明图像中的内容),而判别模型会直接预测数据所属的标签或类别。深度生成模型已被用于间质性肺病分类和功能性磁共振成像分析等。

  1. 无监督学习:当我们不需要标签时

深度学习解决方案的以前成功案例导致监督学习的过度使用。这些是需要标记数据的算法,其中感兴趣区域由人类专家手动描绘的图像。然而,无监督学习几十年来一直是人工智能的支柱,近年来几乎已经被遗忘,可能是因为监督的人工智能方法取得了令人印象深刻的成功。我们需要重新发现无监督算法的潜力,例如作为自组织地图和等级聚类,并将它们充分地融入常规病理学实践的工作流程中。由于标记图像不是病理学家的日常例程的一部分,因此在没有监督的情况下提取特征(即标记数据)可能是非常有价值的。

  1. 虚拟同行复查-将病理学家置于中心

把所有的挑战和机遇放在一起,很明显病理学家应该是算法开发和执行的核心;我们需要病理学家为前者验证算法性能,而后者将为病理学家提供一些提取的知识。智能算法不是代表病理学家做出决定,而是在(在解剖学/病理学上)类似于被检查患者的相关特征时,从存档中找到经过验证的诊断病例,并从中提取可靠的信息。可以使用实验室档案,区域档案,甚至是经过审查的诊断病例的国家或全球资料库来执行对类似病例(已经由其他同事诊断和治疗)治疗的任务。例如,如果患者进行活组织检查,则可以将诊断与先前的样本进行比较,以用于质量保证目的(例如,将子宫颈活组织检查组织学诊断与最近的巴氏试验解释进行实时细胞学和组织病理学相关性比较)。使用人工智能,让最终决策权归病理学家所有,这样做可能更为可取,这样做可以为他们提供尽可能多的外在有意义的知识参考,以协助这一诊断过程。

  1. 自动化

人工智能软件工具如果得到充分利用和实施,就有可能处理枯燥而平凡的任务(例如,计算有丝分裂和筛查容易识别的癌症类型)并简化复杂任务(例如,对需要紧急关注的活组织检查进行分类并预测适当的病灶位置)。例如,最近已经证实乳腺癌可以通过AI方法进行“恶性区域”的“可以被病理学家容易识别”的图像检索,灵敏度高于92%。这当然有助于减少病理学家的工作量并协助分类。

  1. 复兴的苏木素-伊红图像

常用的染色方法是苏木素-伊红(hematoxylin - eosin)染色法,简称H.E染色法。这种方法对任何固定液固定的组织和应用各种包埋法的切片均可使用。苏木素是一种碱性染料,可使组织中的嗜碱性物质染成蓝色,如细胞核中的染色质等;伊红是一种酸性染料,可使组织中的嗜酸性物质染成红色,如多数细胞的细胞质、核仁等在H.E染色的切片中均呈红色。

近年来,我们目睹了分子检测的增加,有时代替组织形态学评估。然而,通过研磨组织用于此类分析,可能失去对组织病理学(例如,宿主对癌症的基质反应)和空间关系(例如,肿瘤微环境,对瘤形成的免疫应答和移植中的排斥)的有价值的信息。随着计算病理学的出现,特别是当与新兴技术(例如,多路复用和三维成像)相结合时,我们能够更深入地分析病理图像的各个像素,以获得诊断,治疗和潜在的尚未开发的预后信息。此外,大多数用于有丝分裂检测,分割,核分类和预测格里森分数的AI方法一直使用H.E染色图像。

  1. 使病理学家能够访问数据科学

AI有可能提升病理学家在医学中的作用。AI工具通过生成或分析海量图像数据,以其高价值、高效率、高准确性和高满意度等方面能够给病理学家带来福音,这些是合情合理的。

传统算法在病理学诊断的应用

传统算法应用于病理诊断的一般流程:

 

图像预处理

图像预处理的目的是使计算机易于识别可能存在的病变,让计算机能够从复杂的解剖背景中将病变及可疑结构识别出来。针对不同的病变,需要采用不同的图像处理和计算方法,基本原则是可以较好地实现图像噪声去除和图像增强,通过设计好的处理过程,计算机得以将可疑病变从正常解剖背景中分离、显示出来。

  1. 图像去噪声

图像中的噪声可以应用滤波技术以去除。在医学图像分析中,噪声去除是非常重要的。医学图像中最常受影响的噪声包括高斯噪声,椒盐噪声,散斑和泊松噪声。从输入图像中去除噪声并恢复原始图像的质量称为图像恢复。在此过程中,恢复正确的像素值。中值滤波器适用于椒盐噪声以及泊松噪声。维纳滤波器对散斑和高斯噪声很有效。由于医学图像的特殊性质,图像的细节也是需要关注的部分,因此应用边缘保持的滤波方式(如边缘保持的双边滤波等)效果会更好。另外,也有通过频域滤波的方式(低通、高通和带通滤波等)去除噪声的案例,即设置适当的截止频率滤除噪声所处的频段。

  1. 图像增强

1.传统图像增强算法最具代表性的是直方图均衡化算法。病理图像细节纷繁复杂,直方图均衡化可以有效的提高图像的对比度。另外,限制对比度自适应直方图均衡(CLAHE算法)在很多情况下会起到更好的效果。与普通的自适应直方图均衡化相比,CLAHE不同的地方在于直方图修剪过程,用修剪后的直方图均衡图像时,图像对比度会更自然。通常获取来的病理图像是有颜色的,彩色直方图均衡化实现均衡各个通道动态范围内的所有阶特征,以每个通道下累计分布函数变换为基础,实现RGB颜色空间下的图像细节增强。

 

                    a 原始图像                                              b 直方图均衡化后的图像

2.白平衡算法。由于病理图像获取所用的硬件不同,在很多情况下会存在色差,这对病理图像的特征识别和诊断也造成了一定的障碍。一般图像色彩校正算法会使用白平衡算法。它可以针对偏暗和偏亮的颜色进行特定处理(指定一个特定的值);对其他像素进行小幅度的拉伸;最后对三个通道进行合并得到结果。

 

                     a 原始图像                                              b 白平衡后的图像

图像分割

       图像分割是医学图像处理的重要分支,主要完成对图像中感兴趣区域或目标区域的分割,实现目标与背景的分离。常见的分割算法有:阈值分割算法、形态学算法、基于聚类分析的图像分割算法等。

  1. 阈值分割算法

阈值分割算法中常用的是最大类间方差法(OTSU),这是一种自适应的计算阈值的方法。其基本原理是根据图像灰度级的特性把图像分为目标和背景两个区域。

 

                     a 原始图像                                                     b OTSU后的图像

  1. 形态学算法

基于形态学算法的图像分割,主要使用的是分水岭算法,它是一种图像区域分割算法。在分割过程中,会把连接像素间的相似性作为重要的参考依据,从而将在空间位置上相近并且灰度值相近(通过求梯度)的像素点互相连接起来构成封闭的轮廓。分水岭算法常用的操作步骤:彩色图像灰度化,然后再求梯度图,最后在梯度图的基础上进行分水岭算法,求得分段图像的边缘线。

使用分水岭算法常常存在过度分割的现象,这是因为很多很小的局部极值点的存在,比如下面的图像,这样的分割效果是毫无用处的。为了解决过度分割的问题,可以使用基于标记(mark)图像的分水岭算法,就是通过先验知识,来指导分水岭算法,以便获得更好的图像分段效果。通常的mark图像,都是在某个区域定义了一些灰度层级,在这个区域的洪水淹没过程中,水平面都是从定义的高度开始的,这样可以避免一些很小的噪声极值区域的分割。

传统算法和AI在病理学诊断方面的应用 传统算法和AI在病理学诊断方面的应用

                     a Mark图像                                             b 分水岭分割后的图像

  1. 基于聚类分析的图像分割算法

聚类分析是一种统计学分析方法,通过中样本数据集的特征的相似性进行聚类,合并相似度高的样本。常用的聚类分割算法有K-means分割、模糊C均值分割等。

       K均值(K-Means)算法是一种无监督的聚类学习算法,他尝试找到样本数据的自然类别,分类的K是由用户自己定义,K均值在不需要任何其他先验知识的情况下,依据算法的迭代规则,把样本划分为K类。K均值的核心就是不断移动类别划分的中心点,直到该点稳定下来或者达到所设置的最大迭代次数,这时当前中心点所划分的类别就是最终的K均值对样本数据的聚类。相似度函数是关系到聚类效果好坏的关键因素。

       200倍病理图像,K=4为例,K均值聚类算法实验结果如下:

 

特制提取

       特征提取是把目标或目的区域中最原始,最有代表性的性质找出来,并将其转换为具有明显物理意义或统计意义的特征。对于医学病理图像,组织或细胞病变后都会产生相应的变化,这些变化就会成为它们被识别的特征。这些特征差异性大、数量多。因此特征提取时,会将特征进行分类,例如:纹理特征、几何特征、颜色特征、统计学特征等。

这些特征参数提取后将会作为识别病变的参数输入到分类器中,这方面会在后续内容介绍。

  1. 纹理特征

纹理特征刻画了图像中重复出现的局部模式与他们的排列规则,常用于图像分类和场景识别。纹理特征的优点:1. 包含多个像素点的区域中进行统计计算;2. 常具有旋转不变性;3. 对于噪声有较强的抵抗能力。缺点:1. 当图像的分辨率变化的时候,所计算出来的纹理可能会有较大偏差;2. 有可能受到光照、反射情况的影响;3. 从2-D图像中反映出来的纹理不一定是3-D物体表面真实的纹理;

纹理特征的提取方法:1. 统计方法。典型代表是一种被称为灰度共生矩阵(GLCM)的纹理分析方法。GLCM提取的纹理特征具有较好的鉴别能力,但是这个方法在计算上是非常复杂的,尤其是对于像素级的纹理分类更具有局限性。2. 几何法。几何法是建立在纹理基元理论基础上的一种纹理特征分析方法,其中的纹理基元即为基本的纹理元素。在几何法中,比较有影响的算法有Voronio棋盘格特征法。但几何法应用和发展极其受限,且后继研究很少。3. 模型法。模型法中存在假设:纹理是以某种参数控制的分布模型方式为基础而形成的。由于模型法从纹理图像的实现来估计计算模型参数,同时以参数为特征,或采用某种分类策略进行图像分割,所以模型参数的估计是模型法的核心问题。模型型纹理特征提取方法以随机场模型方法和分形模型方法为主。由于主要是通过模型系数来标识纹理特征,模型系数的求解有难度;计算量很大。由于基于MRF模型的纹理图像分割是一个迭代的优化过程,它由局部到全局的收敛速度很慢(即使条件迭代模式(ICM)能加速寻找解),通常需要迭代数百次才能收敛;参数调节不方便,模型不宜复杂。4. 信号处理法。信号处理的方法是建立在时域、频域分析,以及多尺度分析的基础上。这种方法对纹理图像某个区域内实行某种变换后,再提取出能够保持相对平稳的特征值,并以该特征值作为特征,表示区域内的一致性以及区域之间的相异性。信号处理法的经典算法有:Tamura纹理特征、自回归纹理模型、小波变换等。5. 结构分析法。结构分析法认为,纹理是由纹理基元的类型、数目、以及基元之间的“重复性”的空间组织结构与排列规则来描述的,而且纹理基元几乎具有规范的关系。结构分析法的典型算法:句法纹理描述算法、数学形态学方法。

  1. 几何特征

几何特征也可以称为形状特征。它具有两类表示方法:一类是轮廓特征;另一类是区域特征。轮廓特征针对目标边界,而区域特征针对目标区域。

典型的几何特征描述方法:1. 边界特征法。通过边界特征的描述来获取图像的几何特征参数。Hough变换是常用的算法,是利用图像全局特性而将边缘像素连接起来组成区域封闭边界的一种方法,其基本思想是点与线的对偶性。2. 傅里叶形状描述符法。傅里叶形状描述符(Fourier shape deors)基本思想是用物体边界的傅里叶变换作为形状描述,利用区域边界的封闭性和周期性,将二维问题转化为一维问题。由边界点导出三种形状表达,分别是曲率函数、质心距离、复坐标函数。3. 几何参数法。形状的表达和匹配采用更为简单的区域特征描述方法,例如采用有关形状定量测度(如矩、面积、圆度等)的形状参数法(shape factor)。4. 形状不变矩法。力矩最初是物理概念,它是表示力与物体重心到力的距离的乘积。后来人们把它引用到数字图像处理领域,用来表示区域特性的重心与区域几何中心的距离大小,它是描述区域特性的一种重要参数。由于矩的旋转、平移不变性,所以广泛应用于区域特征(肿块)提取中。

  1. 颜色特征

颜色特征是使用率非常频繁的视觉特征。颜色特征往往和图像中所包含的物体或场景具有很强的相关性。通常病理医生使用H&E染色法经过这种染色的切片,会使细胞核内的染色质与细胞质的核糖体呈现蓝紫色,细胞质和细胞质基质呈现粉红色。因此颜色特征提取也是十分必要且常用的特征提取手段。

颜色特征提取方法:1. 颜色直方图。颜色直方图描述的是不同色彩在整幅图像中所占的比例,适用于表征难以自动分割的图像。病理图像结构复杂多样难以分割,因此可用颜色直方图进行表征。颜色直方图特征匹配方法:直方图相交法、距离法、中心距法、参考颜色表法、累加颜色直方图法。2. 颜色集。颜色集是对颜色直方图的一种近似首先将图像从RGB颜色空间转化成视觉均衡的颜色空间(如HSV空间),并将颜色空间量化成若干个柄。然后,用色彩自动分割技术将图像分为若干区域,每个区域用量化颜色空间的某个颜色分量来索引,从而将图像表达为一个二进制的颜色索引集。在图像匹配中,比较不同图像颜色集之间的距离和色彩区域的空间关系。3. 颜色矩。这种方法的数学基础在于:图像中任何的颜色分布均可以用它的矩来表示。此外,由于颜色分布信息主要集中在低阶矩中,因此,仅采用颜色的一阶矩(mean)、二阶矩(variance)和三阶矩(skewness)就足以表达图像的颜色分布。

  1. 统计学特征

统计学特征主要包括:均值、方差等数学统计参数。在病理学图像中的应用,如:细胞核大小均值、方差,腺腔大小均值、方差等。首先正常图像中目标或目标区域统计学特征的计算得到相应参数,然后与病变区域进行比较,来初步判断病变程度。例如:一般情况下,正常前列腺分化程度好,腺腔较大,很少出现小腺腔;而前列腺癌由于间质浸润往往出现小腺腔,因而腺腔大小均值与前列腺病变程度相关。

分类器检测

病理学图像分类的传统方法主要是使用机器学习的算法,机器学习算法种类很多,如回归、聚类、推荐等。普遍认同的算法有:SVM、Adaboost等。

  1. 线性回归(linear regression)

线性回归是用于回归的,而不像Logistic回归是用于分类,其基本思想是用梯度下降法对最小二乘法形式的误差函数进行优化,可以通过normal equation求得参数的解。

缺点:顾名思义,线性回归是假设数据服从线性分布的,这一假设前提也限制了该模型的准确率,因为现实中由于噪声等的存在很少有数据是严格服从线性的。不能拟合非线性数据。

优点:实现简单,计算简单。

  1. 逻辑回归(logistic regression)

逻辑回归属于判别式模型,有很多正则化模型的方法(L0,L1,L2等)。而且你不必像在用朴素贝叶斯那样担心你的特征是否相关。与决策树与SVM机相比,你还会得到一个不错的概率解释,你甚至可以轻松地利用新数据来更新模型(使用在线梯度下降算法,online gradient descent)。

Sigmoid函数:

 

       缺点:特征空间很大时,逻辑回归的性能不是很好;容易欠拟合;不能很好的处理大量多类特征或变量。

       优点:实现简单,应用广泛;分类是计算量非常小,速度快;观测样本概率很便利;对逻辑回归而言,多重共线性并不是问题,它可以结合L2正则化来解决该问题。

 

  1. 朴素贝叶斯

朴素贝叶斯属于生成式模型(关于生成模型和判别式模型,主要还是在于是否是要求联合分布),非常简单,你只是做了一堆计数。如果注有条件独立性假设(一个比较严格的条件),朴素贝叶斯分类器的收敛速度将快于判别模型(如逻辑回归),所以你只需要较少的训练数据即可。

缺点:不能学习特征间的相互作用;需要计算先验概率;分类决策存在错误率。

优点:有稳定的分类效率;对小规模的数据表现很好,能处理多分类任务。

  1. Adaboost

AdaBoost算法中不同的训练集是通过每个样本对应的权重来实现的。开始时,每个样本对应的权重是相同的,即其中N为样本个数,在此样本分布下训练出一个弱分类器。对于分类错误的样本,加大其对应的权重,而对于分类正确的样本,降低其权值,这样分错的样本就被凸显出来,从而得到一个新的样本分布。在新的样本分布下,再次对样本进行训练,得到弱分类器。以此类推,将所有的弱分类器重叠加起来,得到强分类器。

缺点:对异常值和噪声比较敏感。

优点:精度高;提供框架,易扩展构建多个子分类器;不易发生过拟合。

  1. SVM分类器

支持向量机(Support  Vector  Machine,SVM)是一个二分类模型,由 Vapnik在1995年首次提出。SVM是一个由分类超平面定义的判别分类器。也就是说给定一组带标签的训练样本,算法将会输出一个最优超平面对新样本(测试样本)进行分类。

传统算法和AI在病理学诊断方面的应用

上图中,可以看到存在多条直线将两类图形分开。但那种分割是最好的,我们可以直观地定义如下规则:如果一条分割的直线离坐标点太近,那它就不是最佳的。因为它会对噪声敏感,不能正确的推广。因此,我们的目标是找到一条分割线,它要离所有的样本点都尽可能的远。SVM算法就是找一个超平面,并且它到离他最近的训练样本的距离要最大。即最优分割超平面最大化训练样本边界。

传统算法和AI在病理学诊断方面的应用

分隔超平面:上述将数据集分割开来的直线叫做分隔超平面。超平面:如果数据集是N维的,那么就需要N-1维的某对象来对数据进行分割。该对象叫做超平面,也就是分类的决策边界。间隔:一个点到分割面的距离,称为点相对于分割面的距离。数据集中所有的点到分割面的最小间隔的2倍,称为分类器或数据集的间隔。最大间隔:SVM分类器是要找最大的数据集间隔。支持向量:离分割超平面最近的那些点。

SVM算法其实就是最大化支持向量到分割面的距离。另外,目前上面讲的都是针对线性可分的数据集。非线性的数据集,需要核函数转换空间,才具有非线性数据处理能力。SVM首先在低维空间完成计算,然后通过核函数(RBF,poly,linear,sigmoid)将输入空间映射到高维特征空间,最终在高维特征空间中得到最优的分类间隔。

 

训练分类器流程

D1为原结直肠病理图像(包含训练集425张,测试集400张),D2为经过腺体分割的病理图像。分别提取轮廓特征、颜色特征和纹理特征,每一类特征可获得一个一维特征向量,最后用这些向量训练SVM分类器。

东南大学的唐静通过三类特征及其组合结合SVM分类器构造病理诊断模型,进而对两类病理图像数据集进行诊断,并用诊断指标衡量诊断的结果。通过实验对比分析,病理诊断模型在分割出腺体结构的数据集上具有更高的诊断精度,其中,轮廓和纹理的组合SVM模型取得了最高诊断正确率也仅为83.75%,这从侧面印证了传统图像处理方式诊断结直肠病理良恶性是比较困难的。同样的数据,基于CIFAR和VGG两种深度学习网络的诊断效果远高于基于轮廓和纹理特征的SVM的诊断效果。

深度学习与传统机器学习

深度学习的优势

1. 在典型的传统机器学习中,第一步是特征提取。这意味着要对对象进行分类,必须确定对象的哪些特征是重要的,并实现能够捕获这些特征的算法。为此目的已经提出了计算机视觉领域中的许多复杂算法,并且提取了各种尺寸,形状,纹理和其他特征。这个过程在很大程度上是任意的,因为机器学习研究人员或从业者经常要猜测哪些特征将用于特定任务,这便存在无用和冗余特征的风险,更重要的是,有可能不包含真正有用的特征。在深度学习中,特征提取和决策过程是合并训练的,因此不需要选择应该提取哪些特征;这是由网络在训练过程中决定的。然而,允许神经网络选择其自身特征的成本是要求更大的数据集来训练。

 

2. 适应性强。与传统的ML算法相比,深度学习技术可以更容易地适应不同的领域和应用。迁移学习使得预先训练的深度网络有效的适用于同一领域内的不同应用场景。例如,在计算机视觉中,预先训练的图像分类网络通常用作对象检测和分割网络的特征提取前端。将这些预先训练的网络用作前端,可以减轻整个模型的训练负担,并且有助于在更短的时间内实现更高的性能。此外,不同领域使用的深度学习的基本思想和技术往往是可以相互可转换的,因为基础知识非常相似。

3. 一流的表现:深度网络已经实现了远远超过传统机器学习方法的精确度,包括语音、自然语言、视觉和玩游戏等许多领域。在许多任务中,经典机器学习甚至无法竞争。例如,下图显示了ImageNet数据集上不同方法的图像分类准确性,蓝色表示经典机器学习方法,红色表示深度卷积神经网络(CNN)方法。

 

机器学习的优势

1. 处理小量数据。为了实现高性能,深层网络需要非常大的数据集。对于小体量的数据集,传统的机器学习算法通常优于深度网络。

2. 经济成本低。机器学习不需要太高的计算机配置,对计算力的要求比较低。因此,所需的经济成本要比深度学习低很多。深度学习网络需要快速的CPU、高端的GPU、SSD存储以及快速和大容量的RAM。

3. 更容易理解:由于传统机器学习中涉及直接特征提取,这些算法很容易解释和理解。此外,调整超参数并更改模型设计更加简单,因为我们对数据和底层算法都有了更全面的了解。另一方面,深层网络是“黑匣子”型,即使现在研究人员也不能完全了解深层网络的“内部”。由于缺乏理论基础、超参数和网络设计也是一个相当大的挑战。所以在可解释性方面,机器学习会更胜一筹。

深度学习在病理学诊断的应用

深度学习是人工智能的一个分支,深度学习算法在各种复杂任务中表现出突破性的性能,尤其是与图像相关的任务。效果上经常匹配或超过人类表现。由于放射学医学领域主要依赖于从图像中提取有用信息,因此它是深度学习的一个非常自然的应用领域,近年来该领域的研究迅速发展。

 

深度学习在病理学诊断方向的应用有很多:有丝分裂检测、细胞核检测和分类,细胞分割、结肠腺分割、乳腺癌检测、淋巴结转移检测、前列腺癌检测等。我们在这里主要介绍一下前列腺癌检测、乳腺癌检测。

前列腺癌检测

前列腺癌是最常见的癌症形式之一,也是北美癌症死亡的第三大原因。作为计算机辅助检测(CAD)工具的集成部分,已经深入研究了扩散加权磁共振成像(DWI)以准确检测前列腺癌。随着深度卷积神经网络(CNN)在诸如对象检测和分割等计算机视觉任务中的显着成功,不同的CNN架构在医学成像研究界越来越多地被研究用于癌症检测的更准确的CAD工具的解决方案。

在这项工作中,Sunghwan Yoo等人开发并实施了一个基于CNNs的自动化流程,用于检测临床上显着的前列腺癌(PCa)。它将427名患者的DWI图像用作数据集,其中包含175名PCa患者和252名健康患者。为了测量所提出的这种方法的性能,预留了108个患者作为测试集,并且未在训练阶段使用。在切片水平和患者水平下,所提出的训练模型得到结果特征曲线(AUC)下达到0.87(95%置信区间(CI):0.84-0.90)和0.84(95%CI:0.76-0.91)的面积。

采用的方法包括三个阶段。在第一阶段,使用五个经过单独训练的CNN模型对每个DWI切片进行分类。在第二阶段,从CNN输出的概率集中提取一阶统计特征(例如,平均值,标准偏差,中值等),并且通过基于决策树的特征选择器选择重要特征。在最后阶段,使用随机森林分类器使用这些一阶统计特征将患者分为具有和不具有PCa的组。随机森林分类器通过使用10倍交叉验证方法从验证集中提取的特征进行训练和微调。图3显示了所提出的流水线的框图。

 

为切片级别分类创建了一个深度为41层的ResNet。该体系结构由2D卷积层组成,其具有7×7滤波器,随后是3×3 Max池化层和残余块(Res Block)。通过使用验证集的超参数微调程序,发现41层的深度是最佳的。由于输入图像很小(66×66像素)并且肿瘤区域甚至更小(例如,4×3像素),因此需要额外的ResNet块或更深的网络。第一个ResNet块(表3中的ResNet Block1)是3层瓶颈块,具有2D CNN层,滤波器大小为64、64和256,堆叠4次。第二个ResNet块(表3中的ResNet Block2)是具有2D CNN层的3层瓶颈块,其具有128、128和512的滤波器,其被堆叠9次。 2×2 2D平均池化,Dropout层和2D全连接层,其中有两个概率输出的1000个节点,然后是Res块的末尾。表3显示了所提出的CNN架构的概述。

 

使用随机梯度下降作为优化器,初始学习率为0.001,当模型在迭代后停止改进时,它减少了10倍。在批量大小设置为8的情况下训练模型。Dropout率设定为0.90。我们使用了0.000001的权重衰减和0.90的动量。由于数据集的极不平衡,因此使用二进制交叉熵作为损失函数。

计算时间:使用一个Nvidia Titan X GPU,8核Intel i7 CPU和32 GB内存对CNN进行了培训。 花了6个小时来完成所有五个CNN,最多100次迭代,不到10秒训练随机森林分类器,不到1分钟来测试所有108名患者。

Xinggang Wang等人分别使用深度学习的深度卷积神经网络与非深度学习的SIFT图像特征和词袋(BoW)模型完成前列腺癌的检测。深度学习在受试者工作特征曲线下的面积(AUC大于非深度学习。深度学习方法的AUC为0.84(95%CI 0.78-0.89),非深度学习方法的AUC分别为0.70(95%CI 0.63-0.77)。

 

表1.基于DCNN的学习与基于SIFT图像特征和BoW模型的非深学习方法的总体前列腺癌患者分化的统计数据。 注意:* P = 0.0007 <0.001。 标准:cut-off值> 0.5。 CI:置信区间。 PPV:正预测值。 NPV:负预测值。 ROC曲线:受试者工作特征曲线。 AUC:ROC下的区域面积。 PCa:前列腺癌。

 

图1. PCa和BCs患者的ROC曲线,基于SIFT图像特征和BoW模型的非深度学习与深度卷积神经网络(DCNN)深度学习的差异。 注:ROC曲线:接收器工作特性曲线。 AUC:ROC下的区域。 PCa =前列腺癌,BCs =前列腺良性病症,BPH =良性前列腺增生。

 

表2.训练数据,PCa和BC患者的10倍交叉验证的测试数据深度神经网络(DCNN)的深度学习方法与SIFT图像特征和BoW模型的非深度学习方法的差异化实验。 注意:PCa =前列腺癌。 前列腺BCs =前列腺良性病症。

深度学习工具箱。 在这项研究中,Berkeley Vision和一个名为Cafe的学习中心创建了一个流行的深度学习工具箱,用于实现自动PCa和BC患者差异系统(补充)。 使用Python进行数据准备,分析和可视化。 我们的DCNN的超参数设置如下:伽马0.1,动量0.9,权重衰减0.1和最大训练迭代1000(补充)。

利用DCNN进行深度学习的图像分类方法。为了在基于患者的研究中使用深度学习描述MR图像分类。首先,将患者表示为Xi ,其中i∈{1,…,N} ,i表示第i个患者,总共有N个患者,第i个患者包含Mi张图像,xij是第i个患者的第j个图像。然后,每个患者都有一个临床标签。因此,每个患者被表示为Xi,这意味着我们将患者的所有图像作为整体处理,患者的每个病变将用于训练或在实验中折叠进行测试。

对于患者Xi,其临床标签表示为Yi。如果确定第i名患者是PCa,Yi = 1;如果第i名患者是BCs,则Yi = 2。

训练深度学习模型需要每个图像的标签,这意味着我们需要xij的标签表示为yij。为了解决这个问题,将图像标签设置为患者标签,表示为yij = Yi。在获得所有训练图像的标签后,在Cafe深度学习工具箱中使用反向传播训练了一个深度CNN模型。将训练过的深度CNN模型表示为f。

在测试阶段,我们使用训练好的深度CNN模型f来计算图像xij的分类概率pij,表示为f(xij)。 Pij是一个向量表示为pij ∈R K× 1,其中K是类的数量。在这项研究中,K = 2,pij(1)是xij属于PCa的概率,pij(2)是xij属于BC的概率,pij的总和为1,受CNN深层结构的限制。

在通过图像获得每个PCa或BC患者的分类结果后,我们可以通过平均其图像分类结果来容易地获得患者的分类结果。 Pi是K = 2空间向量,其总和等于1。最后,我们可以通过检查哪个维度具有更大的概率来获得患者Xi的分类标签。如果第一维具有较大的值,则将其分类为PCa患者;否则,它被归类为BC患者。

培训深度学习分类器。 应用Samala,Rajkomar发布的用立方插值调整每个图像大小的方法。 使用预先训练的ImageNet模型,通过增强数据对模型进行调整。在数据增强中,的每个训练图像被裁剪成多个360×360子图像。

华南理工大学的钱民在硕士期间深入研究了深度学习算法,对基于稀疏自编码的深度学习算法进行了实现。并将其应用到前列腺病理图像上,用深度网络学习出前列腺病理图像的局部纹理不变特征。然后结合 Softmax 回归分类器对前列腺病理图像中随机选取的图像块进行分类,最后 ROC 曲线选取整幅图像全局判断的阈值,达到对整幅图像进行分类的目的。

乳腺癌检测

在癌症类型中,乳腺癌(BC)是女性第二常见的癌症(皮肤癌除外)。此外,与其他类型的癌症相比,BC的死亡率非常高。

Kowal等人比较和测试不同的核分割算法,这些算法在500张图像的数据集上将病例分为良性或恶性,最终的精确度范围从96%到100%。Filipczuk等人提出了一种基于细针活检细胞学图像分析的BC诊断系统,以区分良恶性。使用四种不同的分类器,用25维特征向量训练,他们在737张图像上达到了98%的性能。George等人提出了一种基于细胞学图像核分割的BC诊断系统。使用不同的机器学习模型,如神经网络和支持向量机,他们在92幅图像的数据集的准确率从76%到94%。另外还有提出带拒绝选项的级联方法。在级联的第一级中,希望解决容易的情况,而难的情况则发送到第二级,在第二级中使用更复杂的模式分类系统。他们在以色列理工学院(Israel Institute of Technology)提出的数据库上评估了所提议的方法,该数据库由361张图像,达到97%的可靠性结果。

最近大多数与BC分类相关的工作都集中在整体滑动成像(WSI)上。然而,广泛采用WSI和其他形式的数字病理学仍然面临着一些障碍,如实施和操作该技术的成本高、大量临床程序的生产力不足、与技术相关的固有问题、未解决的监管问题以及病理学家的“文化阻力”。

Fabio A. Spanhol 对BC组织病理图像分类问题进行了深入的研究。除了评估不同的CNN架构外,我们还研究了不同的处理高分辨率纹理图像的方法,而不改变用于低分辨率图像的CNN架构。对提出的Breakhis数据集进行的一系列综合实验表明,CNN比能获得的最佳结果还能获得更好的结果。同时,通过使用简单的融合规则(如max、product和sum)组合不同的CNN,可以获得更好的性能。

Breakhis数据库包含良性和恶性乳腺肿瘤的显微活检图像。样本来自乳腺组织活检切片,用苏木精和伊红(HE)染色。样本通过外科(开放式)活检(SOB)采集,能用于组织学研究,并由P&D实验室的病理学家标记。该工作中使用的制备程序是标准石蜡工艺。主要目的是保存原始组织结构和分子组成,以便在光学显微镜下观察。完整的制备程序包括固定、脱水、清除、渗透、嵌入和修剪等步骤。为了安装在载玻片上,使用切片机切割约3微米的部分。染色后,用玻璃盖玻片覆盖各部分。然后解剖病理学家通过显微镜下组织切片的视觉分析来识别每张载玻片中的肿瘤区域。每个病例的最终由经验丰富的病理学家做出诊断,并通过免疫组化(IHC)分析等补充检查予以确认。

采用奥林巴斯BX-50系统显微镜,将放大倍率为3.3倍的中继透镜与三星数码彩色相机SCC-131AN耦合,从乳腺组织切片中获取数字化图像。图像是在3通道RGB(红-绿-蓝)真彩(24位色深,每个色通道8位)色空间中使用放大系数40X,100X,200X,400X获得的,对应于物镜4X,10X,20X,40X。

传统算法和AI在病理学诊断方面的应用

图1显示了从含有恶性肿瘤(乳腺癌)的乳腺组织的单张载玻片上获取的四张图像,放大倍数分别为(a)40倍,(b)100倍,(c)200倍和(d)400倍。突出显示的矩形(仅为说明目的而手动添加)是病理学家选择的感兴趣的区域,将在下一个更高的放大倍率中详细说明。迄今为止,该数据库由7909张图像组成,分为良性和恶性肿瘤。

表一总结了图像分布。

传统算法和AI在病理学诊断方面的应用

图2显示了组织病理学图像中的典型复杂纹理。深度学习探索了直接从输入数据中学习特征的可能性,避免了人工提取特征。深入学习的关键概念是多个层次的表示,目的是更高层次的特征表示更抽象的数据语义。卷积神经网络作为一种特殊的深度学习技术,在图像分类问题上取得了成功,包括医学图像分析。总之,CNN由堆叠在一起的多个可训练层级组成,随后是一个监督分类器,一组名为特征映射的数组表示每个阶段的输入和输出。输入可以是图像、音频和视频等信号。例如,考虑到彩色图像,在输入端,每个特征映射都是一个二维数组,存储输入图像的颜色通道。输出由一个集合数组组成,其中每个特征映射表示在相关输入位置提取的特定特征。

传统算法和AI在病理学诊断方面的应用

在这项工作中,Breakhis数据集分为训练集(70%)和测试集(30%)两组。原始的700×460图像被缩小到350×230,使用像素面积关系重新采样。之后,我们用两个不同的策略。在第一个例子中,我们使用了一个50%重叠的滑动窗口,而在第二个例子中,图像块是随机抽取的,图像块之间没有重叠。此外,根据报告的结果,我们评估了两种不同大小的图像块(32×32和64×64)。

在监督模式下,随机梯度下降(SGD)方法与反向传播法(用于计算梯度)和最小批量大小为1,用于更新网络参数,从10-6的学习率开始,结合0.9的动量项和4-5的权重衰减。CNN接受了8万次重复训练。这项研究的结果是五次试验的平均值。识别精度如下表所示。

传统算法和AI在病理学诊断方面的应用

总结

       本文以研究AI深度学习在病理方面的应用为目的,从病理学概念入手,分析了病理学诊断的背景及重要意义,引出AI在病理学方面应用的挑战和机遇。通过病理学诊断的传统算法及AI深度学习算法的描述,可以知道病理学诊断的发展方向以及AI深度学习在该方向上的部分现有成果和光明的应用前景。.

       数字病理学在临床实践中的加速应用为计算机视觉和人工智能带来了新的视野。由于最近在非医学应用的图像识别方面的成功故事,许多研究人员和企业家确信人工智能一般而且深度学习尤其可能是能够协助完成数字病理学中的许多任务。但是,目前还没有商用AI驱动的软件工具。临床工作的哪些部分以及哪些人工任务可以改进或甚至可以被AI算法取代还有待观察。

传统算法有其优势的一面,但是与深度学习算法相比在算法的复杂度上往往会高出很多。面对越来越多的数据量,越来越高的效率要求,传统算法逐渐呈现出不足,已难以满足应用需求。病理学图像是特殊的医学图像类型,它的复杂程度让很多传统的算法显露了局限性。所以在病理学诊断的精度方面也并不理想。

基于深度学习的AI算法操作并不是太复杂,在现今先进的硬件设备提供得计算力的支持下,对于大批量大数据量的样本处理显得高效、轻松。在精确度方面,深度学习传来很多令人振奋的结果,可以匹配甚至超过人工判别,这也给予我们对其更深入研究的信心。病理图像应用方面也有很多很好的成果,但是它值得更好的结果。病理图像的复杂程度,让拥有丰富经验的专家都一筹莫展,它需要更精细、巧妙的深度学习算法来提高病理学诊断的精确度。深度学习的应用所遇的最大阻碍是它的可解释性,虽然很多科研学者一直在为此努力着,但是公认的合理的解释还并没有出现。这也是未来研究必须要面对和解决的难题。

美国食品和药物管理局(FDA)已经在眼科和放射学等其他领域批准了AI应用程序。FDA的批准为临床医生和患者提供了保证,即AI应用程序对于临床使用是值得信赖的。对于临床医生来说,这意味着使用这种工具时更少的个人责任,更大的机会获得赔偿,并且在病理学上减少了实验室自我验证的负担。但是,对于注定要提交监管许可的深度学习算法的开发人员,需要更多的模型和技术决策文档。此外,还需要考虑商业化的影响,例如设备的部署。反过来,这些因素可能会增加算法开发的成本。我们应该合理地面对人工智能的优势和缺陷,人工智能在医学成像领域,特别是在数字病理学领域,有明显的突破潜力。