名词解释
MRF:
磁共振指纹打印技术( MR Fingerprinting)是近几年发展起来的最新磁共振技术,以一种全新的方法对数据进行采集、后处理和实现可视化。
MRF使用一种伪随机采集方法,取代了过去为获得个体感兴趣的参数特征而使用重复系列数据的采集方法,并使之具有唯一的信号演变或“指纹”,即同时获得所研究的不同物质特性的功能。
数据采集后的处理过程涉及一个模式识别算法,将“指纹”与预测信号演变的预定义资料库匹配。然后这些“指纹”被转换成定量的兴趣区的磁性参数图。
MRF提供高准确度的T1、T2、质子密度及扩散定量图。这为在影像生物标志物方面应用磁共振成像提供了一种全新方法,可以应用于神经、肿瘤、肌骨、心血管、胸部、代谢。
与传统的定性MR扫描相比,MRF在单次成像时间内可以获得完整的定量结果,且没有在许多其他快速检查方法中存在的对测量误差高度敏感的特点。
最重要的是,只要给予足够的扫描时间,MRF有潜力同时定量检测很多MR参数,而当前的MR技术一次只能检测有限的参数。
因而,MRF打开了计算机辅助多参数MR分析的大门,类似于基因组或蛋白组分析,可检测从大量MR参数中同时获得的重要且复杂的数据变化。新的研究表明,有可能通过MRF获得扩散数据和灌注信息。MRF可提供高度可重复性的多参数图像,在多中心/多机型研究中有很大的潜能。
T1 &T2
MRI(磁共振成像是利用原子核在磁场内共振产生的信号经重建成像的成像技术)里面的T1和T2加权成像[2]:
-
T1加权成像(T1WI)----突出组织T1弛豫(纵向弛豫)差别
-
T2加权成像(T2WI)----突出组织T2弛豫(横向弛豫)差别。
在任何序列图像上,信号采集时刻横向的磁化矢量越大,MR信号越强。
T1加权像高信号的产生机制
一般认为,T1加权像上的高信号多由于出血或脂肪组织引起。但近年来的研究表明,T1加权高信号尚可见于多种颅内病变中,包括肿瘤、脑血管病、代谢性疾病以及某些正常的生理状态下。
在射频脉冲的激发下,人体组织内氢质子吸收能量处于激发状态。在弛豫过程中,氢质子将其吸收的能量释放到周围环境中,若质子及所处晶格中的质子也以与Larmor频率相似的频率进动,那么氢质子的能量释放就较快,组织的T1弛豫时间越短,T1加权像其信号强度就越高。T1弛豫时间缩短者有3种情况:其一为结合水效应;其二为顺磁性物质;其三为脂类分子。
Quantitative prostate imaging——前列腺定量成像
挑战&可做的点
前列腺癌面临的挑战和问题包括:
(1)由于无法预测特定癌症的侵袭性和风险而导致的过度诊断和过度治疗;
(2)活检取样不足导致的误诊和看似低风险前列腺癌患者的疾病进展。
可做的点:
1)而在前列腺癌中,AI可在肿瘤分子诊断的基础上,加强临床医生对前列腺癌检测、定位、确定分期及监测的能力;
(2)对于前列腺癌的诊断可使用不同模式的卷积神经网络。
①例如一些研究人员使用卷积神经网络,通过自动开窗机制对MRI的结果进行分类,克服了MR图像的高动态范围和归一化。还有一些研究者使用不同的mpMRI图像组合,将每个模态作为RGB图像的二维通道进行训练。
(3)而三维卷积神经网络可以用来设计特殊MRI参数,比如表观扩散系数、高b值、体积传输常数(Ktrans)模态。
论文1:
影像组学特征 + 病理学特征 --> 机器学习模型 / 统计学分析相关性
论文2:
2021 << European Radiology >> : T1 and T2 MR fingerprinting measurements of prostate cancer and prostatitis correlate with deep learning–derived estimates of epithelium, lumen, and stromal composition on corresponding whole mount histopathology
- 文章内容概述:
根据由14名前列腺癌患者在前列腺切除手术之前接受的多参数MRI与MRF检查。人工建立整座标本与MRI、MRF的对应关系。文章用两种U-net深度学习模型对前列腺炎、前列腺癌和病理上的正常外周区(PZ)感兴趣区域(ROIs)进行图像分割,以获取上皮、管腔和间质的组织间比率(TCRs)。
出发点:
-
MRF的形态学基础对于理解驱动这一过程的病理特性是非常重要的
-
目前还没有研究通过配对组织病理学来评估T1和T2弛豫时间之间的关系
-
定量MRF可能有助于区分前列腺炎和前列腺癌, 但是有必要评估这些发现的可解释性,特别是在相应的组织病理学特征方面。
-
本文是基于MRF的T1和T2弛豫测量的组织形态基础 ,探讨前列腺癌和前列腺炎定量T1和T2图与组织病理学之间的差异相关性。目标是建立一个组织形态测量基础来利用MRF松弛测量来表征前列腺癌和前列腺炎。
如何利用病理知识:
手术前,前列腺标本取5毫米厚切片,每个切片用标准的数字显微镜进行数字化,分辨率是x20。然后病理学家在数字化后的病理切片上做标记,包括前列腺癌、前列腺炎和正常外周区(NPZ)。
使用到的深度学习模型:U-Net
组织间室分割包括识别WM上ROIs内的上皮、管腔和间质区域。采用了两种不同的基于u -net的深度学习模型,一种是上皮-间质分割模型,另一种是管腔分割模型。两个模型分开训练。因为第一个模型使用的图像分辨率(x20)高于第二个模型(x5),结合两个不同模型的结果对三个组织间室进行了分割。
结论:在相应的组织病理学上,我们观察到MRF (T1在转移区中,T2在外围区中)与组织间的显著相关性
论文3
Nature新子刊《Nature Machine Intelligence》发表的一篇“High-accuracy prostate cancer pathology using deep learning”的文章
亮点:
- 通过基于DL(深度学习)的精确模型分析前列腺癌患者的组织学图像,达到并超越人类水平精度的潜力,
即从原来的切片级别 --> ptach 级别
。 - 通过基于DL的模型可将Gleason评分集成到数字病理学流程中,从而开发前列腺腺癌的Gleason分级开发了一种新的生物学算法。
检测模型
首先,作者通过一个训练队列和两个验证队列对肿瘤组织和良性组织进行检测分类,训练队列由389个WSI组成,两个验证队列由苏木精和曙红染色的TMAs(组织微阵列)组成。
结果发现NASNetLarge卷积网络
体系结构在肿瘤组织检测中达到很高的准确性。初始卷积在训练队列中整体分类精度为97.8%(图1a),验证队列1和2的精度96.2%(图1b)和96.7%(图1c)。
接下来作者通过基于DL的策略增强了初始卷积精度,其中P8策略将整体准确性提高了0.7%,而ENS策略也可提高总体准确性,其主要是通过提高肿瘤组织分类的准确性(图1c)。
这几种策略提高总体准确性的原因是可提供肿瘤斑块属于某个类别的概率的定量信息
,在大多数患有癌的斑块中,成为肿瘤斑块的概率为0.9-1.0,但是如果斑块中还存在良性组织,癌灶很小或分化良好或存在假阳性结果,则这种可能性可能会更低,该系统将单个斑块进行扩展分析的必要触发条件为肿瘤概率达到0.2-0.8,并通过后续P8和ENS策略提高其精准度,从而使得肿瘤组织中的假阳性结果显著改善。
深度卷积网络不是一成不变的,可以从新信息中学习。作者将来自验证队列1的标记数据集整合到训练数据集中,并对卷积进行了一个时期的后训练。观察到在验证队列2上测试的总体准确性有显着提高,这在很大程度上是由于良性肿瘤中斑块的假阳性分类减少所致。(图1b, 1c),
加强策略
整个流程:先用卷积网络进行分类,网络输出结果后,如果判断为恶性肿瘤的概率是0.2 - 0.8 ,就使用再判断的策略,P8和ENS,完成判断
P8: analysis and pooling of probabilities from eight derivates of initial patch 我的理解是分析8个子图的是恶性肿瘤的概率,投票得到最后的结果
ENS: using ensemble of two models, the second ENS convnet was trained using similar principles but at a magnification of approximately ×35 (patch size 500 px). 看另外一个网络的结果,另外一个网络的数据的patch size大小不一样
接下来作者前列腺切片WSI进行分析,发现通过P8和ENS(ensemble network )两种策略,肿瘤组织中的假阳性结果显著改善,组织平方,肿瘤平方和肿瘤体积等数据组织分类结果中生成,生成完整的病例报告(图2)。
- 这个红蓝图,是个二值化处理后的图像 模型输出后 P8策略改善,然后ptach level的环境分析??离群点检测 ??
接下来作者考察三位前列腺癌专家和基于Dl的模型对前列腺癌组织进行分级准确性测试(图3a)。使用两个测试数据集,分别为癌症基因组图谱(TCGA)队列的218张大肿瘤图像的总体Gleason评分(测试数据集1),对单个肿瘤图像进行Gleason分级,比较总体和单个图像的得分,从而获得整体得分的准确性(测试数据集2)。
格里森分数评级模型:
来自于卷积网络输出的概率
在肿瘤区域内,检测最小最佳的肿瘤(patch level)分析肿瘤的体积,把原来的1 个 patch 随机抽取 16个更小的图。
- 综上:两个模型,一个分类,一个打分
结果发现,人类病理学家给至少15–20%的病例提供了不精准的总体Gleason评分,而使用人工智能(AI)根本没有发生这种观察者差异。此外,基于DL分析的单个肿瘤图像进行Gleason分级,其与总体一致性可达到60%并且高于病理学家所分析的数据(图3b)。但在某些情况下,如定量变量Gleason分级,人类评分与基于AI评分之间的差异存在分歧只是微不足道的。例如对预后分级中,病理学家和基于DL的算法都表现出较高的预后评分(图3c).
最后作者表示可通过基于DL的模型可将Gleason评分集成到数字病理学流程中(图4a),从而获取前列腺癌患者切片中所有与评分相关的指标,而人类无法准确计算这些指标,但是其也受到肿瘤大小的影响。前列腺肿瘤表现出高水平的形态异质性,这可能会影响Gleason分级,作者通过将图像中不同斑块获取的Gleason评分与整体图像评分进行比较(图4b),发现肿瘤大小在560×560μm时可达到95%的准确度,表明在基于DL的模型分析中依旧存在肿瘤大小影响Gleason评分功能。
网络结构:
格里森打分算法
作者表示尽管数据集很大且质量很高,但仍需要通过结合新的训练数据集和预期的多机构验证来进一步不断发展。进一步的研究应包括对整个前列腺切片的分析,包括所有肿瘤部位,因为基于TMAs的材料可能不是最佳的。目前,完全数字化队列的可用性是一个瓶颈,有望在不久的将来克服。
论文4
Nature: Biologically informed deep neural network for prostate cancer discovery
- 这篇文章构建了名为P-NET、以生物信息学为基础的深度机器学习模型。通过这一模型,可以为处于治疗耐受状态的前列腺癌病人预测新的治疗靶标。
重点:可解释性机器学习 -》解释神经网络输出的信息 ,然后去验证
- 权衡准确率和可解释性
对比机器学习
-
看出来,5层的多层感知机模型在效果上其实不占很大优势,原因是神经元太少,层数太少了
- 所以说,acc 和 interpretability 二者权衡!!!
- 另外,作者用了神经网络的可解释性的工具及思想,emmm…
网络结构
- 这篇文章预测的是前列腺癌的基因组数据,基因组的数据是一个图数据
具体来说,作者基于生物神经网络的层级概念,整合了3007组生物网络图谱,构建了一个深度学习预测模型,输入前列腺癌病人的基因组,输入基因组进行计算
第一层可以输出一系列基因簇,这些基因簇之间可以通过带有权重的线相连接;
第二层则是相关的生物学通路;
接下来是整合这些通路所预测的可能生物现象及结论,依此类推,最终可以预测这一病人的病情。
- 所以作者在这个5层全连接网络里面,逐层逐节点的进行解释,每个节点是干什么的
- 我觉得是正则化的思想,每一个正则化的力度很大,所以表现出不同的功能
- 对节点的度施加了强约束,例如:节点的入度和出度
作者采集了1013位前列腺癌病人的资料,其中80%用于模型训练,10%用于模型校正,剩余10%用于检测这一模型的正确率。从结果来看,在输入相同体量的样本情况下,作者所构建的P-NET模型准确率要优于已知的深度机器学习模型。
接下来,作者将这一模型用于实践。作者招募了两组前列腺癌病人,一组是处于原发状态,另一组癌症病灶已经发生转移。结果显示,P-NET模型可以准确预测73%的原发状态和80%的已转移状态。作者猜测,之所以有几例处于原发状态的病人被P-NET模型归为已转移状态,很可能是因为这几例病人病情较为严重,P-NET评分较高所致。从另一方面来说,这一模型在预测病人所处状态之余,还可以通过P-NET评分来显示病情严重程度。
再下来,为了研究不同的基因、信号通路和生物学网络之间的相互作用以及对模型预测结果的影响,作者用示意图的形式显示了这一模型的输出的整体结构(如下图所示)。
- 在前列腺癌病人众多的基因组层面变化中,基因拷贝数的变化对病情影响要高于基因突变本身。
另外,在P-NET所涵盖的3007组信号通路中,多条细胞周期相关通路与已转移状态相关,而泛素化和SUMO化信号通路则与多种肿瘤抑制因子相关,包括AR,这些通路异常很可能会导致前列腺癌发病。例如,骨源转录因子RUNX2可以调控细胞周期,且与前列腺癌转移相关。
再下来作者通过P-NET模型预测出一系列与癌症进程相关的基因。重点关注的基因包括AR, PTEN, RB1 和TP53 ,都是已知的前列腺癌驱动基因,之前也被报道与肿瘤转移相关。另外,有一些基因,比如MDM4, FGFR1, NOTCH1 和PDGFA ,与预测结果的准确性相关。
最后,作者深入分析P-NET模型输出的各级信息,发现TP53相关通路与摘除性器官治疗效果有限的前列腺癌相关。有报道指出,TP53以及其通路重要基因MDM2与前列腺癌病程相关,作者同样发现,MDM4这一基因很可能也有类似的作用。而在此前,已知MDM4可以通过与TP53的转录区域相结合来抑制TP53的表达,但与前列腺癌疾病进程之间的关系仍旧不够清楚。为了进一步研究MDM4这一基因的具体作用,作者通过CRISPR–Cas9 的方法,在多种前列腺癌细胞系中特异性敲除了MDM4。结果显示,与对照组细胞相比,特异敲除MDM4的细胞增殖水平明显降低。另外,含有野生型TP53的前列腺癌细胞系,对MDM4抑制剂RO-5963与TP53突变的细胞系相比更为敏感。
综上所述,作者给出了通过神经网络模式,基于深度机器学习建立模型,从而解决生物学问题的新方法。并且,作者证实,通过这一模型,可以由前列腺癌病人的基因测序结果预测病人所属的疾病状态。另外,通过模型的输出信息,作者还预测了一些新的靶标,比如MDM4,很可能与前列腺癌病程相关,并通过体外敲除的方法证实,MDM4缺失可以抑制前列腺癌细胞的增殖。更进一步说,这一模型以及相关研究方法,也有希望推广至多种癌症类型。