基于深度学习的颅脑损伤机制自动化鉴别
1.
2.
3.
Automatic Identification of Brain Injury Mechanism Based on Deep Learning
1.
2.
3.
通讯作者: 刘宁国,男,研究员,主任法医师,主要从事法医病理学、医疗损害、环境损害研究;E-mail:liung@ssfjd.cn张广政,男,博士,教授,主要从事法医临床学研究;E-mail:zgz@zzu.edu.cn
编委: 王亚辉
收稿日期: 2021-09-26
基金资助: |
|
Received: 2021-09-26
作者简介 About authors
杨琦帆(1996—),女,硕士研究生,主要从事法医学研究;E-mail:yqf2022@126.com
关键词:
Keywords:
本文引用格式
杨琦帆, 孙雪阳, 王彦斌, 田志岭, 董贺文, 万雷, 邹冬华, 于笑天, 张广政, 刘宁国.
YANG Qi-fan, SUN Xue-yang, WANG Yan-bin, TIAN Zhi-ling, DONG He-wen, WAN Lei, ZOU Dong-hua, YU Xiao-tian, ZHANG Guang-zheng, LIU Ning-guo.
致伤方式推断是法医学鉴定的难点之一,准确的致伤方式判断可以为案件侦查提供线索,还可以为司法审判提供证据[1]。头部致伤方式通常分为直接暴力和间接暴力,直接暴力导致的颅脑损伤有多种,其中,直线运动引起的加速性损伤和减速性损伤最常见。由于加、减速性脑损伤涉及头部打击伤或摔跌伤两种形式,故对其准确鉴别在法医学实践中具有重要意义[2]。传统的加、减速性脑损伤推断主要通过观察损伤的形态学特征。然而,鉴定实践中往往由于某些条件的限制致使尸体解剖无法进行,例如某些排除他杀后的死亡案件或死因明确的交通事故案件,其家属通常会拒绝进行尸体解剖,还有一些民族因宗教信仰等不能进行死后解剖,在无法准确获得颅脑损伤形态的情况下,往往导致案件侦查及司法审判难以进行[3]。针对这一问题,法医学工作者自20世纪90年代便开始尝试将现代医学影像技术应用于尸体检验,并由此出现了虚拟解剖技术[4-6]。近年来,虚拟解剖的开展使得加速性颅脑损伤与减速性颅脑损伤的鉴别更为方便、直观。然而,鉴于鉴定人员大多并非擅长影像学专业,实际读片时难免存在主观性和经验性,导致判断结果存在差异,而虚拟解剖中的大量影像学数据无形中也加重了鉴定人员的工作负担。如果能够建立一种快速、准确的加、减速性颅脑损伤分类方法,则可迅速解决法医工作者面临的实际难题。
目前,深度学习技术快速发展,其在图像分析领域取得的巨大成功为解决上述问题提供了一种可能途径。深度学习的概念最早由HINTON等[7]于2006年提出,其核心是特征提取,即通过设计卷积神经网络(convolutional neural network,CNN)模型从大量数据中提取客观特征并利用提取到的特征对未知数据进行预测和分类。CNN模型可以自动学习这些标注过类别的训练数据,并总结出可以表征所标注数据特征的函数,之后根据这个函数测试新的未标注过的数据可以得到一个可靠的预测结果[8]。经过十几年的发展,CNN的算法不断优化、结构不断加深,在图像分类中的准确率得到显著提升。目前,已有多种CNN模型被提出并广泛用于医学图像分析领域,如皮肤癌的分类[9]、糖尿病视网膜眼底病变的检测[10-11]以及骨龄评估[12-16]等。
Inception_v3模型是近几年图像分类研究中比较常用且表现良好的一种经典CNN模型,因此,本研究拟选用Inception_v3模型对颅脑损伤的CT图像进行加、减速性损伤的自动化鉴别研究,探讨CNN模型用于辅助头部致伤方式推断的可行性。
1 材料与方法
1.1 样本收集
收集190例司法鉴定科学研究院法医临床学研究室2007—2018年关于颅脑损伤被鉴定人的颅脑影像学资料,包括109例加速性脑损伤和81例减速性脑损伤,由影像学专家完成影像学诊断。同时选取130例正常颅脑的影像学资料作为对照。本研究已获得被鉴定人或其家属的同意,并经过司法鉴定科学研究院伦理委员会批准。
纳入标准:(1)筛选典型的加速性脑损伤案例和减速性脑损伤案例,其中加速性损伤包括徒手伤和工具伤,减速性损伤包括高坠、平地摔跌和交通事故;(2)造成颅脑直接损伤;(3)头颅为单一受力部位;(4)伤后24 h内进行头颅CT扫描。
排除标准:(1)头颅受伤位置无法明确;(2)除颅脑外,身体其他部位为首次受力部位;(3)穿透性脑损伤。
采取随机抽样的方式从上述320例颅脑影像学资料中抽取70%作为训练验证集,用于模型训练和参数优化,其余30%作为测试集,用于评估模型分类性能。
本研究中训练验证集、测试集的基本信息见表1,训练验证集、测试集被鉴定人在性别、年龄、损伤类型方面差异无统计学意义(P>0.05)。
表1 训练验证集、测试集样本分布情况(例)
Tab. 1
组别 | 性别 | 年龄/岁 | 损伤类型 | 合计 | |||||
---|---|---|---|---|---|---|---|---|---|
男性 | 女性 | 最大 | 最小 | 加速性损伤 | 减速性损伤 | 正常颅脑 | |||
合计 | 251 | 69 | 97 | 7 | 43.53±16.74 | 109 | 81 | 130 | 320 |
训练验证集 | 179 | 45 | 97 | 7 | 43.57±16.68 | 80 | 63 | 81 | 224 |
测试集 | 72 | 24 | 84 | 11 | 44.35±16.70 | 29 | 18 | 49 | 96 |
1.2 图像预处理
为了更好地训练模型,需要对原始颅脑CT图像统一进行预处理:
(1)颅脑CT图像为Inception_v3模型的样本来源,使用Python 3.9软件(美国Google公司)对图像进行预处理。人工截取影像数据集中所有阳性所见断层的图像,并裁剪掉图像上的无关内容,如片号、姓名、拍摄日期等。
(2)将图像调整为同一大小,均为512像素×512像素。
(3)图像增强。为了扩大样本量,本研究通过随机旋转(范围-30°~+30°)、随机翻转(增加了概率是0.5的随机翻转)及随机亮度、对比度、色度及饱和度等方式对图像进行增强。
(4)合成RGB图像。本研究选取CT序列中连续的三帧分别作为R、G、B通道合成一张彩色图片。如果三帧中至少存在一张加速性损伤就标记为加速性损伤,至少存在一张为减速性损伤就标记为减速性损伤,其余标记为正常。
最终,共合成1 239张RGB图像,其中:1 122张为训练验证样本,用于Inception_v3模型训练和参数优化,包括470张加速性脑损伤图像、390张减速性脑损伤图像及262张正常颅脑图像;117张为测试样本,对已训练好的Inception_v3模型的分类性能进行检测,包括30张加速性脑损伤图像、18张减速性脑损伤图像及69张正常颅脑图像。
1.3 模型构建与训练
1.3.1 模型构建
本研究构建了Inception_v3模型框架用于鉴别加速性脑损伤与减速性脑损伤,Inception_v3模型的整体结构如图1所示。Inception_v3模型主要由包含不同数量卷积层和池化层的Inception模块和Reduction模块构成。其中Inception模块增加了模型架构的宽度,有利于从输入图像中提取不同层次的特征,而Reduction模块则有效降低了计算量,使模型便于训练。图的下方展示了模型各个模块的详细结构。两个模块的排列顺序不同,模块中的卷积层主要用于提取图像信息,而池化层主要用于提取图像最明显的特征,并将所获得的特征数据和参数进行压缩从而减少模型过拟合。
图1
图1
Inception_v3模型整体结构图
Fig. 1
The integral structure diagram of Inception_v3 model
1.3.2 参数设置及算法优化
本研究使用迁移学习,即模型在训练前已经在ImageNet上进行了训练,并将训练好的权重作为初始权重,然后再在本研究收集的数据集中进行训练。Inception_v3模型在1 122个训练验证样本中进行学习训练,最大训练周期设为1 000,学习率设为0.000 1,最小批量尺寸设为16,共计迭代100轮,使用Adam优化算法以降低交叉熵损失函数;激活函数设置为线性整流函数(rectified linear unit,ReLU),最后使用Softmax分类函数进行图像分类,以样本图像作为输入,以图像的损伤类别作为模型训练的目标结果。每一轮训练过程(训练集)结束后进行结果验证(验证集),并保存表现最好的模型参数。在模型分类准确率没有进一步提高时停止训练,保留该模型用于测试集117个测试样本的检测,评估模型的分类性能。
本研究基于i9-11900K+RTX 2080Ti硬件平台的Windows 10.0操作系统。算法开发过程借助PyCharm软件(捷克JetBrains公司),使用Anaconda进行开发环境管理。语言环境基于Keras-GPU以及Python 3.9软件。
1.4 模型评估
本研究选取准确率(accuracy rate)、精确率(precision rate)、召回率(recall rate)、F1值及受试者操作特征(receiver operating characteristic,ROC)曲线下面积(area under the curve,AUC)值对Inception_v3模型的分类表现进行评价。准确率表示模型预测正确的样本在所有测试集样本中所占的比例;精确率表示真正的正样本在预测为正的样本中所占的比例;召回率表示预测为正的样本在测试集所有正样本中所占的比例;F1值是一个综合评价指标,综合了精确率和召回率的结果,模型F1值越高表示其性能越好。计算公式如下:
模型在测试集中的真阳性率、假阳性率、真阴性率及假阴性率通过绘制混淆矩阵获取。混淆矩阵作为人工智能的一种可视化工具,将CNN模型预测情况与实际情况的所有结果进行组合,从而形成真阳、假阳、真阴及假阴4种情形,并用于计算模型三分类的准确率、精确率、召回率及F1值。
以FP为横轴、TP为纵轴绘制的曲线图即为ROC曲线,AUC是绘制ROC曲线时另一种评估模型分类准确率的指标,取值范围为0~1,取值越接近1,说明模型分类性能越好。
此外,梯度加权类激活映射(gradient-weighted class activation mapping,Grad-CAM)是一种为CNN模型输出结果生成“可视化解释”的技术,从而使CNN模型分析图像的过程更透明以及使预测结果更容易解释。因此,为了更好地理解模型是如何根据输入图像做出最终的分类决策,本研究将模型生成的Grad-CAM图像与原始颅脑CT图像进行对比,可视化探讨模型在识别并提取图像特征进行预测时聚焦的像素区域是否与颅脑CT图像中的出血区域相符合。
2 结 果
2.1 模型训练和参数优化
模型在训练过程(训练集)和验证过程(验证集)中的损失函数与准确率变化情况如图2所示。
图2
图2
模型损失函数与准确率变化示意图
Fig. 2
Schematic diagram of model loss function and accuracy rate change
由图2可知:模型在分类准确率没有得到进一步提高时已得到了充分的训练;约于第18次Epoch(黑色虚线处)后逐渐平稳,分类准确率在训练过程中最高可达到99.00%,在验证过程中最高可达到87.21%。
2.2 模型在测试集中的分类表现
2.2.1 分类检测及识别效果评价
首先,将训练和参数优化后的Inception_v3模型在117个样本的测试集中进行分类检测。然后,将模型分类预测的结果与真实情况进行对比分析。最后,再通过计算模型在测试集中的准确率、精确率、召回率及F1值等参数,分别评价模型在加速性脑损伤、减速性脑损伤和正常颅脑图像三分类中的识别效果。
识别预测结果表明:(1)在加速性损伤的30张图像中,被识别为加速性损伤(结果正确)的有27张,被误识别为正常颅脑(识别错误)的有3张,没有被误识别为减速性损伤的情况;(2)在减速性损伤的18张图像中,被识别为减速性损伤(结果正确)的有13张,被误识别为正常颅脑(识别错误)的有5张,没有被误识别为加速性损伤的情况;(3)在正常颅脑的69张图像中,被识别为正常颅脑(结果正确)的有62张,被误识别为加速性损伤(识别错误)的有5张,被误识别为减速性损伤(识别错误)的有2张。计算出模型在测试集中的三分类准确率为87.18%。上述识别结果以混淆矩阵的形式表示,详见图3。
图3
图3
模型在117个测试样本中的混淆矩阵
Fig. 3
The confusion matrices of the model using 117 testing samples
表2 Inception_v3模型在测试集中的分类结果 (%)
Tab. 2
类别 | 精确率 | 召回率 | F1值 |
---|---|---|---|
加速性损伤 | 84.38 | 90.00 | 87.10 |
正常颅脑 | 88.57 | 89.86 | 89.21 |
减速性损伤 | 86.67 | 72.22 | 78.79 |
2.2.2 模型分类性能的ROC曲线评估
图4
2.3 Grad-CAM图像
图5
图5
原始颅脑CT图像及其对应的Grad-CAM图像
A、B:原始颅脑CT图像;C、D:模型正确分类后生成的Grad-CAM图像。箭头示受力部位。
Fig. 5
Original CT image and the corresponding Grad-CAM image
3 讨 论
本研究以Inception_v3模型为例探讨了CNN模型在通过颅脑CT图像分类加、减速性脑损伤中的应用价值。结果显示,模型在训练验证集、测试集中对3种图像(加速性脑损伤、减速性脑损伤及正常颅脑)的分类准确率高达99.00%、87.18%。鉴于本项分类研究的操作流程及设计思路与其他应用CNN模型对病变颅脑和正常颅脑或损伤颅脑和正常颅脑进行分类的研究[28-30]没有太大差别,故将本研究结果与其他分类研究结果进行对比。AOE等[28]开发了一种基于静息状态脑磁图(magnetoencephalography,MGE)信号对患有神经疾病的大脑和正常大脑进行分类的深度学习算法,实验结果显示,该算法的分类准确率为(70.7±10.6)%,表明这种深度学习算法有望发展为一个用于提高神经系统疾病诊断的分类器。SARRAF等[29]运用CNN分类患有阿尔茨海默病(Alzheimer’s disease,AD)的大脑和正常大脑,结果显示,该模型分类准确率高达96.85%。GARLAND等[30]利用CNN区分致命损伤大脑和正常大脑,结果显示,该模型的分类准确率为70%~92.5%,表明CNN有望在未来成为一种计算机辅助诊断方法或筛查工具。将本研究结果与上述研究结果进行对比,发现本研究结果总体上是有意义且比较理想的,证实了基于CNN模型通过颅脑CT图像辅助鉴别加、减速性损伤是可行的,便于法医鉴定人在此基础上进一步分析致伤方式,从而有利于降低鉴定人阅片工作量并提高工作效率。
如表2所示,本研究中Inception_v3模型识别正常颅脑的F1值最高,这与鉴定实践中法医工作者识别正常颅脑组织较容易基本一致。此外,Inception_v3模型在识别加速性损伤时的F1值较高,考虑可能与训练验证集中加速性损伤图像数量较多有关。然而,本研究中Inception_v3模型识别减速性损伤的F1值较低,考虑可能与以下原因有关:(1)不同部位造成的减速性损伤形态可能并不相同,如枕部受力时减速性损伤可能更典型;(2)一些减速性损伤可能并不具有典型的对冲伤特征,从而使判断存在难度;(3)颅骨复杂的解剖生理结构导致部分对冲伤并没有出现在着力点正对侧。由图5可知,从该模型输出判断为减速性脑损伤的Grad-CAM图像中可以清晰看出,图中的“兴趣区”与原始CT图像中的出血区域基本吻合,故推测该模型在对输入图像进行分类时很有可能是依据所提取到的出血区域分布特征,这与人类根据颅脑CT图像中的损伤分布特点鉴别加、减速性脑损伤基本一致,可见模型能够很好地模拟人类阅片过程。
此外,笔者认为本研究的特色在于:(1)合成RGB图像。由于现代医学影像学图像的储存方式主要是DICOM格式,故法医鉴定人阅片通常是基于一帧帧连续变化的颅脑CT图像而并非一张张独立的断层图像。因此,本研究通过将CT序列中连续的三帧合成一张RGB图像,一方面便于模型模仿人眼判断受伤类型,另一方面有利于最大程度地还原损伤从而提高识别效率。(2)与相关研究多利用深度学习算法进行二分类不同,本研究还选取了正常颅脑的影像学资料作为对照进行基于深度学习算法的三分类研究。
综上,本研究仅作为一项CNN模型辅助鉴别颅脑损伤模式的可行性研究,并非代替法医学专家分析并解读颅脑CT图像。CNN模型通过提取并分析颅脑CT图像特征,在辅助加、减速性脑损伤鉴别中具备一定的应用潜力,可以作为虚拟解剖中颅脑损伤鉴定的一种辅助分析方法或筛查工具。但本研究也存在一些局限性:(1)样本量较小;(2)简化了颅脑损伤的复杂性,如未区分具体颅脑损伤的部位、类型,未采用相应方法区分疾病性脑损伤及外伤性脑损伤;(3)模型算法有待优化。因此,在未来的工作中需要进一步扩大样本量,并细化损伤部位(如额部、顶部、枕部、颞部)、损伤类型(如颅骨骨折、硬脑膜外出血、硬脑膜下出血、蛛网膜下腔出血、脑挫伤等),尝试采取相应方法鉴别疾病性脑损伤及外伤性脑损伤,并进一步优化CNN模型。
本研究基于CNN模型在图像识别中的显著优势,将CNN模型用于加、减速性脑损伤的鉴别研究取得了较为理想的实验结果,证实了CNN在鉴别加、减速性脑损伤中的可行性。尽管本研究中CNN模型对加、减速性脑损伤及正常颅脑分类准确率有待提高,但总体上仍是一次有意义的尝试。
参考文献
致伤方式、致伤工具的法医学复核鉴定分析12例
[J].
Analysis of 12 cases of injury methods and injury tools for forensic medicine review and identification
[J].
The epidemiology and impact of traumatic brain injury
[J].
CT技术在法医学致伤方式鉴定中的应用
[D].
The application of computed tomography(CT) in forensic appraisal of injury manner
[D].
虚拟解剖在法医实践中的发展与应用
[J].
Development and application of virtual anatomy in forensic practice
[J].
虚拟解剖技术在法医学鉴定中的研究进展
[J].
Research progress of virtual anatomy technique in forensic identification
[J].
虚拟解剖在法医病理学领域的应用现状
[J].
Application of virtual anatomy in forensic pathology
[J].
A fast learning algorithm for deep belief nets
[J].
基于深度学习的病理图像细胞核分割
[D].
Nuclear segmentation of pathological image based on deep learning
[D].
Dermatologist-level classification of skin cancer with deep neural networks
[J].
Identifying medical diagnoses and treatable diseases by image-based deep learning
[J].
Development and validation of a deep learning algorithm for detection of diabetic retinopathy in retinal fundus photographs
[J].
Deep learning for automated skeletal bone age assessment in X-ray images
[J].
基于深度学习实现维吾尔族青少年左手腕关节骨龄自动化评估
[J].
Automated assessment for bone age of left wrist joint in Uyghur teenagers by deep learning
[J].
Forensic age estimation for pelvic X-ray images using deep learning
[J].
运用3种卷积神经网络模型对青少年骨盆骨龄评估的比较
[J].
Comparison of three CNN models applied in bone age assessment of pelvic radiographs of adolescents
[J].
A potential method for sex estimation of human skeletons using deep learning and three-dimensional surface scanning
[J].
卷积神经网络在图像识别中的应用研究综述
[J].
Research review on image recognition based on deep learning
[J].
A combined GLQP and DBN-DRF for face recognition in unconstrained environments
[C]//
ImageNet classification with deep convolutional neural networks
[J].
Spatial pyramid pooling in deep convolutional networks for visual recognition
[J].
Squeeze-and-excitation networks
[J].
Multiclass semantic segmentation and quantification of traumatic brain injury lesions on head CT using deep learning: An algorithm development and multicentre validation study
[J].
Deep learning for automated measurement of hemorrhage and perihematomal edema in supratentorial intracerebral hemorrhage
[J].
Automated segmentation and severity analysis of subdural hematoma for patients with traumatic brain injuries
[J].
Automated hematoma segmentation and outcome prediction for patients with traumatic brain injury
[J].
Cerebral microbleed detection using susceptibility weighted imaging and deep learning
[J].
Deep learning algorithms for detection of critical findings in head CT scans: A retrospective study
[J].
Automatic diagnosis of neurological diseases using MEG signals with a deep neural network
[J].
Classification of Alzheimer’s disease using fMRI data and deep learning convolutional neural networks
[J].
Identifying fatal head injuries on postmortem computed tomography using convolutional neural network/deep learning: A feasibility study
[J].
/
〈 |
|
〉 |
