基于扫描电子显微镜硅藻人工智能搜索系统检验效能评估

doi:10.12116/j.issn.1004-5619.2021.410719

法医学杂志 ›› 2022, Vol. 38 ›› Issue (1): 40-45.DOI: 10.12116/j.issn.1004-5619.2021.410719

所属专题：水中尸体研究专题

基于扫描电子显微镜硅藻人工智能搜索系统检验效能评估

余丹媛¹^,²(), 刘景建³, 刘超⁴, 杜宇坤⁵, 黄平⁶, 张吉⁶, 于伟敏⁷, 胡颖超⁸, 赵建¹^,⁴(), 成建定¹()

^1.中山大学中山医学院法医学系，广东广州 510080
^2.清远市公安局，广东清远 511500
^3.昆明医科大学法医学院，云南昆明 650500
^4.广州市刑事科学技术研究所法医病理学公安部重点实验室，广东广州 510442
^5.南方医科大学法医学院，广东广州 510515
^6.司法鉴定科学研究院上海市法医学重点实验室司法部司法鉴定重点实验室上海市司法鉴定专业技术服务平台，上海 200063
^7.江苏集萃苏科思科技有限公司，江苏苏州 215100
^8.兰波（苏州）智能科技有限公司，江苏苏州 215100

收稿日期:2021-07-27 发布日期:2022-02-25 出版日期:2022-02-28
通讯作者: 赵建,成建定
作者简介:成建定，男，博士，教授，博士研究生导师，主要从事法医病理学研究；E-mail：chengjd@mail.sysu.edu.cn
赵建，男，博士研究生，副主任法医师，主要从事法医病理学鉴定和硅藻检验研究；E-mail：zhaojian0721@163.com
余丹媛（1986—），女，硕士研究生，主要从事法医病理学鉴定和研究；E-mail：399794299@qq.com
基金资助:
广州市科技计划资助项目(2019030001);公安部科技强警基础工作专项资助项目(2020GABJC38)

Evaluation of Inspection Efficiency of Diatom Artificial Intelligence Search System Based on Scanning Electron Microscope

Dan-yuan YU¹^,²(), Jing-jian LIU³, Chao LIU⁴, Yu-kun DU⁵, Ping HUANG⁶, Ji ZHANG⁶, Wei-min YU⁷, Ying-chao HU⁸, Jian ZHAO¹^,⁴(), Jian-ding CHENG¹()

^1.Department of Forensic Medicine, Zhongshan School of Medicine, Sun Yat-sen University, Guangzhou 510080, China
^2.Qingyuan Public Security Bureau, Qingyuan 511500, Guangdong Province, China
^3.Department of Forensic Medicine, Kunming Medical University, Kunming 650500, China
^4.Guangzhou Forensic Science Institute & Key Laboratory of Forensic Pathology, Ministry of Public Security, Guangzhou 510442, China
^5.Department of Forensic Medicine, Southern Medical University, Guangzhou 510515, China
^6.Shanghai Key Laboratory of Forensic Medicine, Key Laboratory of Forensic Science, Ministry of Justice, Shanghai Forensic Service Platform, Academy of Forensic Science, Shanghai 200063, China
^7.Jiangsu JITRI Sioux Technologies Co. , Ltd. , Suzhou 215100, Jiangsu Province, China
^8.Suzhou LabWorld Scientific Technology Ltd. , Suzhou 215100, Jiangsu Province, China

Received:2021-07-27 Online:2022-02-25 Published:2022-02-28
Contact: Jian ZHAO,Jian-ding CHENG

摘要/Abstract

摘要： 目的

探讨硅藻人工智能（artificial intelligence，AI）搜索系统在溺死诊断中的应用价值。

方法

取12例溺死尸体的肝、肾组织进行硅藻检验，应用扫描电子显微镜获得视场图片，分别在硅藻AI搜索系统的0.5、0.7和0.9阈值下进行硅藻检测及人工识别，用硅藻召回率、查准率和图片排除比例检测并比较搜索系统的效能。

结果

硅藻AI搜索系统标注的目标中实际检出硅藻数与人工识别硅藻数之间差异无统计学意义（P>0.05）；不同阈值下硅藻AI搜索系统检测硅藻的召回率差异具有统计学意义（P<0.05）；不同阈值下硅藻AI搜索系统检测硅藻的查准率差异具有统计学意义（P<0.05），高可达53.15%；不同阈值下硅藻AI搜索系统的图片排除比例差异具有统计学意义（P<0.05），高可达99.72%。对于同一样品，硅藻AI搜索系统识别硅藻所用时间仅为人工识别的1/7。

结论

硅藻AI搜索系统在溺死案例诊断中具有良好的应用前景，其搜索硅藻能力与经验丰富的法医相当，同时可以极大地减少人工观察图片的工作量。

关键词: 法医病理学, 溺死, 硅藻检验, 人工智能, 自动搜索, 扫描电子显微镜, 人工识别

Abstract: Objective

To explore the application values of diatom artificial intelligence （AI） search system in the diagnosis of drowning.

Methods

The liver and kidney tissues of 12 drowned corpses were taken and were performed with the diatom test, the view images were obtained by scanning electron microscopy （SEM）. Diatom detection and forensic expert manual identification were carried out under the thresholds of 0.5, 0.7 and 0.9 of the diatom AI search system, respectively. Diatom recall rate， precision rate and image exclusion rate were used to detect and compare the efficiency of diatom AI search system.

Results

There was no statistical difference between the number of diatoms detected in the target marked by the diatom AI search system and the number of diatoms identified manually （P>0.05）; the recall rates of the diatom AI search system were statistically different under different thresholds （P<0.05）; the precision rates of the diatom AI system were statistically different under different thresholds（P<0.05）， and the highest precision rate was 53.15%; the image exclusion rates of the diatom AI search system were statistically different under different thresholds （P<0.05）， and the highest image exclusion rate was 99.72%. For the same sample， the time taken by the diatom AI search system to identify diatoms was only 1/7 of that of manual identification.

Conclusion

Diatom AI search system has a good application prospect in drowning cases. Its automatic diatom search ability is equal to that of experienced forensic experts, and it can greatly reduce the workload of manual observation of images.

Key words: forensic pathology, drowning, diatom test, artificial intelligence, automatic searching, scanning electron microscope, manual identification

中图分类号:

DF795.1

余丹媛, 刘景建, 刘超, 杜宇坤, 黄平, 张吉, 于伟敏, 胡颖超, 赵建, 成建定. 基于扫描电子显微镜硅藻人工智能搜索系统检验效能评估[J]. 法医学杂志, 2022, 38(1): 40-45.

Dan-yuan YU, Jing-jian LIU, Chao LIU, Yu-kun DU, Ping HUANG, Ji ZHANG, Wei-min YU, Ying-chao HU, Jian ZHAO, Jian-ding CHENG. Evaluation of Inspection Efficiency of Diatom Artificial Intelligence Search System Based on Scanning Electron Microscope[J]. Journal of Forensic Medicine, 2022, 38(1): 40-45.

图/表 6

图1 硅藻AI搜索系统

Fig. 1 The diatom AI automatic searching system

表1 硅藻AI搜索系统的硅藻情况

Tab. 1 Diatom detection result of the diatom AI search system

阈值	N-M/（ $x ˉ$ ±s，张）	TP+FP/（ $x ˉ$ ±s，个）	TP/［M（P₂₅~P₇₅），个］
0.5	1 268.67±323.21	3 365.25±2 190.30	28.00（13.00~361.00）
0.7	967.75±383.31^1）	1 865.33±1 278.96^1）	26.00（11.25~343.75）
0.9	306.50±260.36^1）2）	373.83±358.89^1）2）	15.50（9.25~239.50）

表1 硅藻AI搜索系统的硅藻情况

Tab. 1 Diatom detection result of the diatom AI search system

阈值	N-M/（ $x ˉ$ ±s，张）	TP+FP/（ $x ˉ$ ±s，个）	TP/［M（P₂₅~P₇₅），个］
0.5	1 268.67±323.21	3 365.25±2 190.30	28.00（13.00~361.00）
0.7	967.75±383.31^1）	1 865.33±1 278.96^1）	26.00（11.25~343.75）
0.9	306.50±260.36^1）2）	373.83±358.89^1）2）	15.50（9.25~239.50）

表2 硅藻AI搜索系统的硅藻RR (%)

Tab. 2 RR of the diatom AI search system

阈值	RR/（ $x ˉ$ ±s）	最小值	最大值
0.5	91.12±6.16	78.57	100.00
0.7	84.00±10.48^1）	64.29	100.00
0.9	56.95±9.00^1）2）	45.71	69.23

表2 硅藻AI搜索系统的硅藻RR (%)

Tab. 2 RR of the diatom AI search system

阈值	RR/（ $x ˉ$ ±s）	最小值	最大值
0.5	91.12±6.16	78.57	100.00
0.7	84.00±10.48^1）	64.29	100.00
0.9	56.95±9.00^1）2）	45.71	69.23

表3 硅藻AI搜索系统的硅藻PR (%)

Tab. 3 PR of the diatom AI search system

阈值	PR/[M（P₂₅~P₇₅）]	最小值	最大值
0.5	1.02（0.68~9.11）	0.32	16.83
0.7	1.92（1.19~15.58）^1）	0.62	24.64
0.9	10.20（5.47~41.23）^1）2）	3.42	53.15

图2 不同阈值下硅藻的识别情况A：阈值0.5；B：阈值0.7；C：阈值0.7；D：阈值0.9。A与B为同一视野，C与D为同一视野。

Fig. 2 Diatoms identification under different thresholds

表4 硅藻AI搜索系统的图片ER (n=12，xˉ±s，%)

Tab. 4 ER of the diatom AI automatic searching system

阈值	ER	最小值	最大值
0.5	95.76±1.09	93.98	97.17
0.7	96.77±1.30^1）	94.58	98.45
0.9	98.97±0.88^1）2）	97.37	99.72

参考文献 20

1	PIETTE M H A， DE LETTER E A. Drowning： Still a difficult autopsy diagnosis[J]. Forensic Sci Int，2006，163（1/2）：1-9. doi：10.1016/j.forsciint.2004. 10.027 .
2	ZHAO J， LIU C， HU S， et al. Microwave digestion - vacuum filtration - automated scanning electron microscopy as a sensitive method for forensic diatom test[J]. Int J Legal Med，2013，127（2）：459-463. doi：10.1007/s00414-012-0756-9 .
3	赵建，袁自闯，张彦吉，等. 两种硅藻检验方法的比较[J].中国法医学杂志，2015，30（1）：62-65. doi：10.13618/j.issn.1001-5728.2015.01.018 .
	ZHAO J， YUAN Z C， ZHANG Y J， et al. The comparative study of two diatom test methods[J]. Zhongguo Fayixue Zazhi，2015，30（1）：62-65.
4	ZHAO J， LIU C， BARDEESI A S A， et al. The diagnostic value of quantitative assessment of diatom test for drowning： An analysis of 128 water-related death cases using microwave digestion-vacuum filtration-automated scanning electron microscopy[J]. J Forensic Sci，2017，62（6）：1638-1642. doi：10.1111/1556-4029.13455 .
5	ZHANG P， KANG X， ZHANG S， et al. The length and width of diatoms in drowning cases as the evidence of diatoms penetrating the alveoli-capillary barrier[J]. Int J Legal Med，2020，134（3）：1037-1042. doi：10.1007/s00414-019-02164-4 .
6	ZHAO J， ZHANG P P， XUE Y， et al. Correlation analysis of diatom content in the organs and drowning mediums for the drowning death cases[J]. Aust J Forensic Sci，2021，53（2）：191-198. doi：10.1080/00450618.2019.1682667 .
7	GIRI B S， TRIPATHI C B， CHOWDARY Y B. Characterization of drowning by diatom test[J]. Indian J Med Res，1993，98：40-43.
8	HÜRLIMANN J， FEER P， ELBER F， et al. Diatom detection in the diagnosis of death by drowning[J]. Int J Legal Med，2000，114（1/2）：6-14. doi：10.1007/s004149900122 .
9	ZHOU Y Y， ZHANG J， HUANG J， et al. Digital whole-slide image analysis for automated diatom test in forensic cases of drowning using a convolutional neural network algorithm[J]. Forensic Sci Int，2019，302：109922. doi：10.1016/j.forsciint.2019.109922 .
10	BUENO G， DENIZ O， PEDRAZA A， et al. Automated diatom classification （Part A）： Handcrafted feature approaches[J]. Appl Sci，2017，7（8）：753. doi：10.3390/app7080753 .
11	MITCHELL F. The use of artificial intelligence in digital forensics： An introduction[J]. Digit Evid Electron Signature Law Rev，2014，7：35-41. doi：10.14296/deeslr.v7i0.1922 .
12	骆巧琦，李雪松，梁君荣，等. 基于形状特征的硅藻显微图像自动识别[J].厦门大学学报（自然科学版），2011，50（4）：690-696.
	LUO Q Q， LI X S， LIANG J R， et al. Automatic identification of diatom microscopic images based on contour features[J]. Xiamen Daxue Xuebao （Natural sciences），2011，50（4）：690-696.
13	周圆圆，曹永杰，杨越，等. 基于人工智能硅藻自动化识别系统的实际案例应用[J].法医学杂志，2020，36（2）：239-242. doi：10.12116/j.issn.1004-5619.2020.02.017 .
	ZHOU Y Y， CAO Y J， YANG Y， et al. Application of artificial intelligence automatic diatom identification system in practical cases[J]. Fayixue Zazhi，2020，36（2）：239-242.
14	LOWE D G. Distinctive image features from scale-invariant keypoints[J]. Int J Comput Vis，2004，60（2）：91-110. doi：10.1023/b:visi.0000029664.99615.94 .
15	FELZENSZWALB P F， GIRSHICK R B， MCALLESTER D， et al. Object detection with discriminatively trained part-based models[J]. IEEE Trans Pattern Anal Mach Intell，2010，32（9）：1627-1645. doi：10.1109/TPAMI.2009.167 .
16	YU W M， XUE Y， KNOOPS R， et al. Automated diatom searching in the digital scanning electron microscopy images of drowning cases using the deep neural networks[J]. Int J Leg Med，2021，135（2）：497-508. doi：10.1007/s00414-020-02392-z .
17	LIN T Y， GOYAL P， GIRSHICK R， et al. Focal loss for dense object detection[J]. 2017 IEEE Int Conf Comput Vis ICCV，2017：2999-3007. doi：10.1109/ICCV.2017.324 .
18	BEDELI M， GERADTS Z， EIJK E VAN. Clothing identification via deep learning： Forensic applications[J]. Forensic Sci Res，2018，3（3）：219-229. doi：10.1080/20961790.2018.1526251 .
19	K A， GRZONKOWSKI S， LEKHAC N A. Enabling trust in deep learning models： A digital forensics case study[C]//2018 17th IEEE International Conference on Trust， Security and Privacy In Computing and Communications/ 12th IEEE International Conference on Big Data Science and Engineering （TrustCom/BigDataSE）. New York：IEEE， 2018：1250-1255. doi：10.1109/TrustCom/BigDataSE.2018. 00172 .
20	REN S Q， HE K M， GIRSHICK R， et al. Faster R-CNN： Towards real-time object detection with region proposal networks[J]. IEEE Trans Pattern Anal Mach Intell，2017，39（6）：1137-1149. doi：10.1109/TPAMI.2016.2577031 .

[1]	曾勇, 邹冬华, 范颖, 徐晴, 陶陆阳, 陈忆九, 李正东. 人体血管有限元建模及生物力学的研究进展与法医学应用[J]. 法医学杂志, 2023, 39(5): 471-477.
[2]	陈建波, 郭影, 陈再勇, 鲍人辉, 孔繁荣. 钩吻中毒死亡法医学鉴定1例[J]. 法医学杂志, 2023, 39(5): 509-511.
[3]	马钳钳, 张云, 秦丽娜. 播散型毛霉病致死1例[J]. 法医学杂志, 2023, 39(5): 507-509.
[4]	孙语新, 龚晓娟, 郝秀丽, 田雨馨, 陈艺铭, 张宝, 阎春霞. 婴儿猝死综合征与婴儿感染性猝死共同相关基因的筛选及其调控网络的生物信息学分析[J]. 法医学杂志, 2023, 39(5): 433-440.
[5]	高日红, 王新宙, 王冰, 郑立新. 大剂量盐酸地芬尼多与乙醇、氯化钾联合中毒死亡1例[J]. 法医学杂志, 2023, 39(5): 512-515.
[6]	杨宇, 雷梵章, 董玉友, 马剑龙, 石启强, 叶雪松. 口服盐酸地芬尼多中毒死亡案例的回顾性分析[J]. 法医学杂志, 2023, 39(4): 393-398.
[7]	白洁, 孙晶, 程晓光, 刘凡, 刘华, 王旭. 基于YOLOv3算法的肋骨骨折诊断模型的构建及应用[J]. 法医学杂志, 2023, 39(4): 343-349.
[8]	向青青, 陈立方, 苏秦, 杜宇坤, 梁沛妍, 康晓东, 石河, 徐曲毅, 赵建, 刘超, 陈晓晖. 微生物群落演替在死亡时间推断中的研究进展[J]. 法医学杂志, 2023, 39(4): 399-405.
[9]	苏秦, 陈倩玲, 吴伟斌, 向青青, 杨成梁, 乔东访, 李志刚. 原发性脑干损伤致死大鼠的脑干组织代谢组学分析[J]. 法医学杂志, 2023, 39(4): 373-381.
[10]	盛利, 宋国铭. “钢珠”气枪射击致颅脑损伤死亡1例[J]. 法医学杂志, 2023, 39(4): 417-418.
[11]	姚泽伟, 贾自发, 韦铭菲, 史俊展, 李凡. 肝豆状核变性者外伤后脑干出血死亡1例[J]. 法医学杂志, 2023, 39(4): 419-421.
[12]	张旭东, 姜垚如, 梁芯瑞, 田甜, 靳茜茜, 张小红, 曹洁, 杜秋香, 孙俊红. 蛋白质芯片检测技术结合多维统计方法推断死亡时间[J]. 法医学杂志, 2023, 39(2): 115-120.
[13]	龙武, 瞿鹏飞, 马琳, 王蕊, 习严梅, 李玉华, 聂胜洁, 段婷, 杜进良, 唐雪, 赵静峰, 雷普平, 王跃兵. 一起云南不明原因猝死案件中4种野生菌的细胞毒性[J]. 法医学杂志, 2023, 39(2): 121-128.
[14]	高俊薇, 鹿阳, 李彦军, 邹冬华, 何光龙, 王彦斌. 法医学虚拟解剖实验室建设状况及实验室认可适用性调查[J]. 法医学杂志, 2023, 39(2): 186-192.
[15]	陈旭. 儿童甲型流感病毒感染并发急性坏死性脑病致死医疗损害鉴定1例[J]. 法医学杂志, 2023, 39(2): 215-217.

基于扫描电子显微镜硅藻人工智能搜索系统检验效能评估

Evaluation of Inspection Efficiency of Diatom Artificial Intelligence Search System Based on Scanning Electron Microscope

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 6

参考文献 20

相关文章 15

编辑推荐

Metrics