如何充分利用医学图像的先验知识？上海交通大学约翰·霍普克罗夫特计算机科学中心凌玉烨助理教授与上海市眼病防治中心贺江南主任团队合作开展了一项对于视神经乳头周围视网膜OCT图像分割算法的研究，以用于辅助早期青光眼的诊断。该研究利用图神经网络来获取视网膜OCT图像在结构上的先验知识，进而提升分割效果。研究结果于2021年3月在美国光学学会（Optical Society of America, OSA）旗下的生物医学光学领域权威期刊Biomedical Optics Express[1]上发表。

       研究背景

       青光眼作为世界第一大不可逆致盲性眼病，若未能及时发现和接受，可导致青光眼患者失明。青光眼前期大多没有症状，只有当疾病进展到晚期才可能会被察觉到，但此时往往已“为时已晚”错过了最佳治疗时间。青光眼也因此被称为“沉默的致盲性眼病”。目前，中国约有2180万名青光眼患者，且发病呈现年轻化趋势。当前，预防青光眼最有效的方法是早期筛查、早期诊断和早期干预。

       视网膜层的微小形态变化，如视网膜神经纤维层（retinal nerve fiber layer，简写为RNFL）和神经节细胞层（ganglion cell layer, 简写为GCL）变薄，对青光眼的诊断起着至关重要的作用。光学相干断层扫描（optical coherence tomography, 简写为OCT）作为一种非侵入性的三维成像方法可用于视网膜检查。由于OCT的微米级轴向分辨率，它可以直接可视化视网膜的分层结构。如下图诊断报告[2]所示，从OCT图像得到的视神经乳头周围RNFL厚度是早期青光眼诊断的常见指标。因此，一种可以快速、便捷地分割视神经乳头周围视网膜OCT图像的自动化方法对实现青光眼“早发现”尤为重要。

       研究方法

       考虑到图神经网络能在整张医学图像的节点空间上进行空间全局推理，本研究从医学图像先验知识着手，利用图神经网络来捕获医学图像的空间结构关系，进而提高深度学习网络的分割效果。

       视神经乳头周围视网膜OCT图像有着明确解剖学上的先验知识，视盘区域位于中间，两边是非视盘区域，呈现出横向的结构。对于两边的非视盘区域，可以发现九层厚度不同的视网膜层堆叠在一起，呈现一种纵向的结构。

       为充分利用视神经乳头周围视网膜结构上的特性，该研究设计了多尺度图网络辅助的两级分割网络框架。

       首先，该研究将OCT图像输入到第一级的视盘检测网络，通过该网络可以得到指示视盘位置的蒙版和相应的特征图，在原输入图像上应用蒙版以生成无视盘的图像。之后，将其提供给第二级视网膜层分割网络，获取视网膜层的特征图。最后，将第一级网络的视盘特征图和第二级的视网膜层特征图融合得到一个完整的视网膜OCT图像的分割结果。

       在这两级网络中，该研究都使用了一种多尺度的图网络辅助的全局推理模块。在第一级网络中获取全局的水平空间特征，而在第二个网络中捕获全局的垂直空间特征。

       实验数据集

       本研究收集了61个被试者的视神经乳头周围的视网膜OCT图像作为数据集。

       实验结果

       研究团队在收集的数据集上验证了所提出的多尺度图网络辅助的两级分割网络框架。在这个数据集上的实验结果表明，与其他最新技术相比，该方法可以显著提高分割视网膜组织的性能。除视盘以外，在大多数视神经乳头组织中，所提出的方法均优于最新方法，所得结果的平均Dice比ReLayNet，U-Net和DRUNET分别提高了1.6％，1.5％和1.4％。

       上图所展示的是一个患有视网膜病变的样本，白色虚线圈出的是病变区域。从图中可以看到，病变区域的对比度很低，视网膜层的边界十分模糊。若使用其他基于深度学习的方法，分割结果均出现了错误预测（黄色箭头所指）和不连续的预测（白色星号标记）。但用此研究方法所得到的结果，基本不会出现这些问题。

       研究结论

       医学图像中的先验知识对于医学图像的处理非常重要。本研究通过多尺度图网络辅助的两级分割网络学习到的解剖学先验知识，提升了视神经乳头周围的视网膜OCT图像的分割效果。

       作者简介

       贺江南  上海市眼病防治中心防治科科长助理，公共卫生副主任医师。同济大学博士在读。近年发表论文30篇，SCI 收录25篇。其中以第一作者或通讯作者身份在 SCI 期刊发表文章 12篇，影响因子（IF）高于 8 分 的 1篇，12篇累积 IF = 39。研究成果发表在著名国际期刊《Ophthalmology》、《Am J Ophthalmol》、《Invest Ophthalmol Vis Sci》及《EYE》等权威杂志上，学术成果具有广泛影响。主持国家自然科学基金青年项目、上海申康医院发展中心临床培育项目、上海市卫计委课题各 1 项，入选上海市公共卫生优秀青年人才培养计划。作为主要成员参加国家级课题 10项。获得华夏医学科技奖二等奖（排名第十）、教育部科技进步奖二等奖（排名第十）、2018年和2020年度上海预防医学科技奖三等奖（分别排名第二和第四）。

       参考文献
       [1] J. Li, P. Jin, J. Zhu, H. Zou, X. Xu, M. Tang, M. Zhou, Y. Gan, J. He, Y. Ling, and Y. Su, “Multi-scale GCN-assisted two-stage network for joint segmentation of retinal layers and discs in peripapillary OCT images,” Biomed. Opt. Express 12, 2204–2220 (2021).
       [2] H. Rao, K. Mansouri, and R. Weinreb, OCT in Glaucoma (Springer International Publishing, Cham, 2020), pp. 427–472.

      （供稿：防治科 贺江南）