基于扫描电子显微镜硅藻人工智能搜索系统检验效能评估
1.
2.
3.
4.
5.
6.
7.
8.
Evaluation of Inspection Efficiency of Diatom Artificial Intelligence Search System Based on Scanning Electron Microscope
1.
2.
3.
4.
5.
6.
7.
8.
通讯作者: 赵建,男,博士研究生,副主任法医师,主要从事法医病理学鉴定和硅藻检验研究;E-mail:zhaojian0721@163.com成建定,男,博士,教授,博士研究生导师,主要从事法医病理学研究;E-mail:chengjd@mail.sysu.edu.cn
编委: 邹冬华
收稿日期: 2021-07-27
基金资助: |
|
Received: 2021-07-27
作者简介 About authors
余丹媛(1986—),女,硕士研究生,主要从事法医病理学鉴定和研究;E-mail:399794299@qq.com
关键词:
Keywords:
本文引用格式
余丹媛, 刘景建, 刘超, 杜宇坤, 黄平, 张吉, 于伟敏, 胡颖超, 赵建, 成建定.
YU Dan-yuan, LIU Jing-jian, LIU Chao, DU Yu-kun, HUANG Ping, ZHANG Ji, YU Wei-min, HU Ying-chao, ZHAO Jian, CHENG Jian-ding.
本研究拟使用YU等[16]建立的硅藻AI搜索技术分析溺死尸体肝、肾组织中的硅藻,并与传统人工计数硅藻相比较,探讨硅藻AI搜索技术在溺死诊断中的应用价值。
1 材料与方法
1.1 实验样品及处理
收集广州市刑事科学技术研究所12例溺死于珠江广州段的尸体组织,其中肝组织7例、肾组织5例,每例组织提取10 g。将组织样品分别置于消解管中,加入8 mL 65%浓硝酸(广州化学试剂厂)和2 mL 30%过氧化氢溶液(广州化学试剂厂)进行有机质消解。Multiwave 3000微波消解仪(奥地利Anton Paar公司)程序设定:功率在5 min内由0 W升至800 W,保持该功率10 min,然后停止微波辐射,强风冷却消解罐至50 ℃以下。按水样与浓硝酸体积比为5∶1的比例加超纯水稀释消解液后,使用HL-6多联真空抽滤仪(珠海黑马医学仪器有限公司)进行滤膜富集。取出滤膜烘干制备扫描电子显微镜样品座。
1.2 硅藻AI搜索系统
硅藻AI搜索系统(Diatom AI,兰波科技有限公司)是基于扫描电子显微镜图像的法医硅藻自动检测系统,其AI模型经过938张含珠江广州段常见硅藻种类图片的多次训练。该模型经2017—2019年溺死于珠江广州段的85例尸体和水样的测试[16],具有快速、高效等特点。硅藻AI搜索系统以RetinaNet这一视觉目标检测神经网络框架[17]作为AI模型基础,在速度和精度之间有很好的平衡。RetinaNet是基于深度学习中的卷积神经网络(convolutional neural network,CNN)构建的端到端单阶段目标检测解决方案,其中CNN在支持生物识别和数字取证方面具有优势[9,18-19]。因此,RetinaNet比Faster R-CNN等著名的两阶段目标检测模型更快[20],而且RetinaNet引入了特征金字塔和焦点损失代价函数来改善类别不平衡的问题,从而提高了精度性能,因此,RetinaNet被用来检测许多目标物。硅藻AI搜索系统中将硅藻作为RetinaNet检测的目标[16]。
在一般的计算机视觉中,目标检测任务包含两部分工作:(1)对目标位置进行回归计算,通过自动定位目标来寻找扫描电子显微镜图像中的候选硅藻对象;(2)依据置信度对候选硅藻对象进行决策分类,判断是否为硅藻或具体的硅藻类型。通常来说,(硅藻)目标定位与(硅藻)目标分类这两个AI模型是依次训练得到的,如Faster R-CNN;而在RetinaNet中,两者在一个框架下同时训练,因此模型解释更快,可以加速法医学硅藻检验工作者的检验工作效率。
硅藻AI搜索系统由图像预处理模块、图像识别模块和结果展示模块等组成(图1)。RetinaNet基于python 3和PyTorch 1.2开源机器学习算法库实现。人工操作该系统时只需选择扫描电子显微镜扫描的图片、选择硅藻AI搜索系统标注后图片保存位置及自定义筛选该系统识别的阈值。其中,阈值指的是硅藻AI搜索系统搜索筛选硅藻的概率,概率越高,筛选出来的目标是硅藻的可能性就越大。
图1
1.3 样品处理
Phenom XL G2台式扫描电子显微镜(荷兰PhenomWorld公司)放大倍数设置为800倍(图片像素为1 024×1 024),扫描滤膜半径为8 mm,扫描每个样品所用时间为1 h,分别扫描12例样品并各自单独保存,得到视场图片共计359 465张。其中最多的1个样品包含31 929张图片,另外11个样品图片均为29 776张。
硅藻AI搜索系统:分别在0.5、0.7和0.9检测阈值下自动搜索硅藻,记录扫描图片总数、标注图片总数和标注目标总数(硅藻AI搜索系统识别为硅藻的数目)。
专家人工识别:2位从事硅藻检验5年以上的法医将以上图片以人工方式检测硅藻,并记录检测到的硅藻总数,将2人复核一致确认的硅藻数目作为实际检测到的硅藻数。
1.4 指标计算
使用召回率(recall rate,RR)和查准率(precision rate,PR)评价系统性能。召回率是指模型预测出的硅藻真阳性数量占硅藻真阳性总体数量的比例。查准率是指模型预测出硅藻真阳性数量占模型预测硅藻阳性的总数量,代表模型判断硅藻的准确率。召回率越高,模型对硅藻的检出率越高,漏检率越低;查准率越高,模型对于硅藻预测的准确率越高,识别错误率越低。
式中,TP是真阳性的数量,即模型预测出是硅藻且经专家确认的硅藻数量;FP是假阳性的数量,即模型预测出是硅藻,而专家判断非硅藻的数量;TP+FP是模型预测出的硅藻总数,即硅藻AI搜索系统标注的检测目标数;CP是条件阳性的数量,即专家识别出的实际硅藻数量。
用硅藻AI搜索系统检出图片中不含检测目标的图片数与其所检测到的所有图片数的比值表示硅藻AI搜索系统的图片排除比例(exclusion rate,ER),ER越大说明模型节省的工作量越多。
其中,M指模型检测出不含检测目标的图片数,N指模型检索的所有图片。
此外,比较硅藻AI搜索系统标注每例样品中硅藻和人工复核该系统标注的硅藻所用时间以及人工肉眼逐一查找每例样品中硅藻所用的时间,以此评估硅藻AI搜索系统的检验效率。
1.5 统计学分析
正态分布的数据用均值±标准差(
2 结果
2.1 硅藻AI搜索系统检测标注和专家确认硅藻情况
硅藻AI搜索系统在12例来自溺死尸体的肝、肾组织样品中均检出硅藻,分别是平板藻、短缝藻、等片藻、异极藻、针杆藻、菱形藻、舟形藻、直链藻、桥弯藻、曲壳藻、布纹藻、小环藻、圆筛藻、双菱藻、冠盘藻和海链藻,共16种,硅藻阳性率为100%。0.5、0.7和0.9阈值下硅藻AI搜索系统标注的含有检测目标的图片数分别为(1 268.67±323.21)、(967.75±383.31)和(306.50±260.36)张,3组数据间差异均有统计学意义(P<0.05,表1),即随着搜索阈值的增加,该系统标注的含有检测目标的图片越来越少。3个阈值下硅藻AI搜索系统标注的目标总数分别为(3 365.25±2 190.30)、(1 865.33±1 278.96)和(373.83±358.89)个,3组数据间差异均具有统计学意义(P<0.05,表1),即随着阈值的增加,该系统标注的目标总数越来越少。
表1 硅藻AI搜索系统的硅藻情况
Tab. 1
阈值 | N-M/( | TP+FP/( | TP/[M(P25~P75),个] |
---|---|---|---|
0.5 | 1 268.67±323.21 | 3 365.25±2 190.30 | 28.00(13.00~361.00) |
0.7 | 967.75±383.311) | 1 865.33±1 278.961) | 26.00(11.25~343.75) |
0.9 | 306.50±260.361)2) | 373.83±358.891)2) | 15.50(9.25~239.50) |
在0.5、0.7和0.9阈值下硅藻AI搜索系统标注的硅藻数量分别为28.00(13.00~361.00)、26.00(11.25~343.75)和15.50(9.25~39.50)个,而经专家确认所有图片中的硅藻数量为30.00(14.25~387.25)个。3个阈值下硅藻AI搜索系统标注的目标中实际检出硅藻数与专家确认的硅藻数之间差异均无统计学意义(P>0.05)。
2.2 硅藻RR
表2 硅藻AI搜索系统的硅藻RR (%)
Tab. 2
阈值 | RR/( | 最小值 | 最大值 |
---|---|---|---|
0.5 | 91.12±6.16 | 78.57 | 100.00 |
0.7 | 84.00±10.481) | 64.29 | 100.00 |
0.9 | 56.95±9.001)2) | 45.71 | 69.23 |
2.3 硅藻PR
表3 硅藻AI搜索系统的硅藻PR (%)
Tab. 3
阈值 | PR/[M(P25~P75)] | 最小值 | 最大值 |
---|---|---|---|
0.5 | 1.02(0.68~9.11) | 0.32 | 16.83 |
0.7 | 1.92(1.19~15.58)1) | 0.62 | 24.64 |
0.9 | 10.20(5.47~41.23)1)2) | 3.42 | 53.15 |
图2
图2
不同阈值下硅藻的识别情况
A:阈值0.5;B:阈值0.7;C:阈值0.7;D:阈值0.9。A与B为同一视野,C与D为同一视野。
Fig. 2
Diatoms identification under different thresholds
2.4 图片ER
方差分析和趋势性检验结果都显示,不同阈值下硅藻AI搜索系统的图片ER差异具有统计学意义(P<0.05,表4)。方差分析结果和趋势性检验结果综合显示,随着硅藻AI搜索系统检测硅藻阈值的增加,硅藻AI搜索系统的图片ER越来越高。
表4
硅藻AI搜索系统的图片ER (n=12,
Tab. 4
阈值 | ER | 最小值 | 最大值 |
---|---|---|---|
0.5 | 95.76±1.09 | 93.98 | 97.17 |
0.7 | 96.77±1.301) | 94.58 | 98.45 |
0.9 | 98.97±0.881)2) | 97.37 | 99.72 |
2.5 检验效率
人工对12例样品中的硅藻进行识别,识别每例样品的硅藻需要花大于8 h。而使用硅藻AI搜索系统1 h便能识别完所有图片,加上人工复核每例样品的时间,每例样品识别的时间不超过80 min,硅藻AI搜索系统识别每例样品中硅藻所用时间仅为人工识别硅藻时间的1/7。
3 讨论
一般来说,水中尸体肺组织的硅藻含量较高,在扫描电子显微镜下较容易观察到硅藻。因此,本研究仅选用硅藻含量较少的肝、肾组织进行检测。在设定的3个阈值下,硅藻AI搜索系统在溺死尸体的12例样品中均检出硅藻,硅藻阳性率为100%,而且硅藻AI搜索系统与专家确认检出的硅藻数量之间差异无统计学意义(P>0.05),说明硅藻AI搜索系统检测硅藻的敏感性高。虽然随着阈值的增大,硅藻AI搜索系统的硅藻RR逐渐降低,而PR呈增高的趋势,不含检测目标的图片也被排除得越来越多,需要观察确认的图片数量也显著降低。当然,在这部分被排除的图片中也有部分含有硅藻(假阴性),但漏检的硅藻数量并不显著。引起假阴性结果的原因可能是:(1)硅藻过小,基础特征不明显;(2)硅藻碎片化,导致硅藻特征不完整;(3)硅藻被其他杂质遮挡;(4)硅藻重叠。
同时,硅藻AI搜索系统相比于人工识别更节省时间,识别每例样品所花费的时间仅为人工识别的1/7。相比于人工,硅藻AI搜索系统具有更高的检验效率。
该系统也存在一定的不足:(1)训练数据仍然不够,需要进一步扩大训练数据库,加强系统对硅藻的识别能力。(2)在该系统标记的目标中,硅藻碎片占据了很大部分,需要进一步的训练使其能够有效地区别完整硅藻与碎片硅藻。
参考文献
Drowning: Still a difficult autopsy diagnosis
[J].
Microwave digestion - vacuum filtration - automated scanning electron microscopy as a sensitive method for forensic diatom test
[J].
两种硅藻检验方法的比较
[J].
The comparative study of two diatom test methods
[J].
The diagnostic value of quantitative assessment of diatom test for drowning: An analysis of 128 water-related death cases using microwave digestion-vacuum filtration-automated scanning electron microscopy
[J].
The length and width of diatoms in drowning cases as the evidence of diatoms penetrating the alveoli-capillary barrier
[J].
Correlation analysis of diatom content in the organs and drowning mediums for the drowning death cases
[J].
Characterization of drowning by diatom test
[J].
Diatom detection in the diagnosis of death by drowning
[J].
Digital whole-slide image analysis for automated diatom test in forensic cases of drowning using a convolutional neural network algorithm
[J].
Automated diatom classification (Part A): Handcrafted feature approaches
[J].
The use of artificial intelligence in digital forensics: An introduction
[J].
基于形状特征的硅藻显微图像自动识别
[J].
Automatic identification of diatom microscopic images based on contour features
[J].
基于人工智能硅藻自动化识别系统的实际案例应用
[J].
Application of artificial intelligence automatic diatom identification system in practical cases
[J].
Distinctive image features from scale-invariant keypoints
[J].
Object detection with discriminatively trained part-based models
[J].
Automated diatom searching in the digital scanning electron microscopy images of drowning cases using the deep neural networks
[J].
Focal loss for dense object detection
[J].
Clothing identification via deep learning: Forensic applications
[J].
Enabling trust in deep learning models: A digital forensics case study
[C]//
Faster R-CNN: Towards real-time object detection with region proposal networks
[J].
/
〈 |
|
〉 |
