4种深度学习图像分类算法在人工智能硅藻检验中的比较

doi:10.12116/j.issn.1004-5619.2021.411001

法医学杂志 ›› 2022, Vol. 38 ›› Issue (1): 31-39.DOI: 10.12116/j.issn.1004-5619.2021.411001

所属专题：水中尸体研究专题

4种深度学习图像分类算法在人工智能硅藻检验中的比较

朱永正¹^,²(), 张吉²(), 程奇²^,³, 于慧潇²^,⁴, 邓恺飞², 张建华², 秦志强², 赵建⁵, 孙俊红¹(), 黄平¹^,²()

^1.山西医科大学法医学院，山西太原 030001
^2.司法鉴定科学研究院上海市法医学重点实验室司法部司法鉴定重点实验室上海市司法鉴定专业技术服务平台，上海 200063
^3.贵州医科大学法医学院，贵州贵阳 550000
^4.徐州医科大学法医学教研室，江苏徐州 221004
^5.广州市刑事科学技术研究所法医病理学公安部重点实验室，广东广州 510442

收稿日期:2021-10-04 发布日期:2022-02-25 出版日期:2022-02-28
通讯作者: 孙俊红,黄平
作者简介:孙俊红，男，教授，博士研究生导师，主要从事损伤病理学和猝死病理学研究；E-mail：junhong.sun@sxmu.edu.cn
黄平，男，博士，研究员，主任法医师，主要从事法医病理学研究；E-mail：huangp@ssfjd.cn
朱永正（1997—），男，硕士研究生，主要从事法医病理学及人工智能算法研究；E-mail：zhuyz1997@126.com
张吉（1987—），男，博士，助理研究员，主检法医师，主要从事法医病理学、生物光谱及人工智能算法研究；E-mail：zhangj@ssfjd.cn第一联系人：朱永正和张吉为共同第一作者
基金资助:
国家自然科学基金资助项目(82072115);上海市法医学重点实验室资助项目(20DZ2270800);司法部司法鉴定重点实验室资助项目;上海市司法鉴定专业技术服务平台资助项目(19DZ2292700);中央级公益性科研院所资助项目(GY2020G-2)

Comparison among Four Deep Learning Image Classification Algorithms in AI-based Diatom Test

Yong-zheng ZHU¹^,²(), Ji ZHANG²(), Qi CHENG²^,³, Hui-xiao YU²^,⁴, Kai-fei DENG², Jian-hua ZHANG², Zhi-qiang QIN², Jian ZHAO⁵, Jun-hong SUN¹(), Ping HUANG¹^,²()

^1.School of Forensic Medicine, Shanxi Medical University, Taiyuan 030001, China
^2.Shanghai Key Laboratory of Forensic Medicine, Key Laboratory of Forensic Science, Ministry of Justice, Shanghai Forensic Service Platform, Academy of Forensic Science, Shanghai 200063, China
^3.Department of Forensic Medicine, Guizhou Medical University, Guiyang 550000, China
^4.Department of Forensic Medicine, Xuzhou Medical University, Xuzhou 221004, Jiangsu Province, China
^5.Guangzhou Forensic Science Institute & Key Laboratory of Forensic Pathology, Ministry of Public Security, Guangzhou 510442, China

Received:2021-10-04 Online:2022-02-25 Published:2022-02-28
Contact: Jun-hong SUN,Ping HUANG

摘要/Abstract

摘要： 目的

选择深度学习图像分类算法中复杂性和准确性较为平衡的4种算法进行硅藻的自动识别，探究最适用于硅藻识别的分类算法，为法医学自动化硅藻检验研究提供数据参考。

方法

建立真实水中尸体肺组织消化液涂片的“硅藻”“背景”小样本量数据集（20 000张），用于4种算法（VGG16、ResNet50、InceptionV3和Inception-ResNet-V2）模型的训练、验证和测试。绘制受试者工作特征曲线、混淆矩阵并计算召回率、查准率、特异性、准确率及F1分数，对各模型性能进行系统性评估。

结果

InceptionV3的硅藻识别性能明显优于其他3种算法，具有更为均衡的硅藻查全（89.80%）与查准（92.58%）性能；VGG16和Inception-ResNet-V2的硅藻识别性能相当，虽无法做到硅藻查全与查准的性能均衡，但其识别能力尚可接受；ResNet50的硅藻识别性能最低，其召回率仅为55.35%。在特征提取上，4种模型均提取到了硅藻和背景的特征，且都以硅藻区域为主要识别依据。

结论

包含Inception结构的模型，在硅藻特征提取方面具有更强的指向性和靶向性。其中，InceptionV3算法能够更为准确、靶向地提取到硅藻特征，具有最优的硅藻识别性能，更适合应用于日常法医学硅藻检验。

关键词: 法医病理学, 人工智能, 溺死, 深度学习, 硅藻检验, 卷积神经网络

Abstract: Objective

To select four algorithms with relatively balanced complexity and accuracy among deep learning image classification algorithms for automatic diatom recognition, and to explore the most suitable classification algorithm for diatom recognition to provide data reference for automatic diatom testing research in forensic medicine.

Methods

The “diatom” and “background” small sample size data set （20 000 images） of digestive fluid smear of corpse lung tissue in water were built to train, validate and test four convolutional neural network （CNN） models, including VGG16, ResNet50, InceptionV3 and Inception-ResNet-V2. The receiver operating characteristic curve （ROC） of subjects and confusion matrixes were drawn, recall rate, precision rate， specificity， accuracy rate and F1 score were calculated， and the performance of each model was systematically evaluated.

Results

The InceptionV3 model achieved much better results than the other three models with a balanced recall rate of 89.80%, a precision rate of 92.58%. The VGG16 and Inception-ResNet-V2 had similar diatom recognition performance. Although the performance of diatom recall and precision detection could not be balanced, the recognition ability was acceptable. ResNet50 had the lowest diatom recognition performance, with a recall rate of 55.35%. In terms of feature extraction, the four models all extracted the features of diatom and background and mainly focused on diatom region as the main identification basis.

Conclusion

Including the Inception-dependent model, which has stronger directivity and targeting in feature extraction of diatom. The InceptionV3 achieved the best performance on diatom identification and feature extraction compared to the other three models. The InceptionV3 is more suitable for daily forensic diatom examination.

Key words: forensic pathology, artificial intelligence, drowning, deep learning, diatom test, convolutional neural network

中图分类号:

DF795.1

朱永正, 张吉, 程奇, 于慧潇, 邓恺飞, 张建华, 秦志强, 赵建, 孙俊红, 黄平. 4种深度学习图像分类算法在人工智能硅藻检验中的比较[J]. 法医学杂志, 2022, 38(1): 31-39.

Yong-zheng ZHU, Ji ZHANG, Qi CHENG, Hui-xiao YU, Kai-fei DENG, Jian-hua ZHANG, Zhi-qiang QIN, Jian ZHAO, Jun-hong SUN, Ping HUANG. Comparison among Four Deep Learning Image Classification Algorithms in AI-based Diatom Test[J]. Journal of Forensic Medicine, 2022, 38(1): 31-39.

图/表 8

图1 数据增强后的模型训练数据集

Fig. 1 Model training data set after data enhancement

图2 4种DL图像分类模型模式图绿色表示卷积层；橙色表示池化层；蓝色表示全连接层；白色表示Softmax分类器；红色表示Inception模块。

Fig. 2 Flowchart of four DL image classification models

图3 4种模型经二阶平滑处理的训练准确率及损失函数曲线A：准确率曲线；B：损失函数曲线。实线表示训练集，虚线表示验证集。

Fig. 3 The accuracy and loss curves of four models after the 2nd order smoothing on training and validation

表1 4种模型的最优模型性能指标

Tab. 1 Optimal performance of four models

最优模型	训练集		验证集		迭代次数
最优模型	准确率/%	损失函数值	准确率/%	损失函数值	迭代次数
VGG16	99.99	0.001	96.25	0.074	89
ResNet50	99.99	0.001	94.00	0.143	70
InceptionV3	99.77	0.012	98.91	0.042	45
Inception-ResNet-V2	99.65	0.043	97.50	0.176	46

表2 4种模型的硅藻识别性能参数

Tab. 2 Diatom identification performance parameters of four models

模型	RR/%	PR/%	S/%	AR/%	F1分数
VGG16	84.65	78.96	77.45	81.05	0.82
ResNet50	55.35	81.04	87.05	71.20	0.66
InceptionV3	89.80	92.58	92.80	91.30	0.91
Inception-ResNet-V2	72.35	87.22	89.40	80.88	0.79

图4 4种最优模型的ROC曲线及其AUC值

Fig. 4 The ROC curves and AUC values of 4 optimal models

图5 4种最优模型的混淆矩阵、召回率和特异性A：VGG16；B：ResNet50；C：InceptionV3；D：Inception-ResNet-V2。TPR表示真阳性率（true positive rate），FPR表示假阳性率（false positive rate），TNR表示真阴性率（true negative rate），FNR表示假阴性率（false negative rate）。

Fig. 5 The confusion matrixes， recall rate and specificity of 4 optimal models

图6 应用Grad-CAM和GBP方法对4种模型在中心纲及羽纹纲硅藻识别上的热图分析A：中心纲分析结果；B：羽纹纲分析结果。红色像素代表模型高度关注的区域。

Fig. 6 Heat map analysis of pennataes and centricaes identificated with 4 models by Grad-CAM and GBP methods

参考文献 34

1	World Health Organization. Global report on drowning： Preventing a leading killer[R/OL]. （2014-09-17）[2021-09-21]. .
2	SZPILMAN D， MORGAN P J. Management for the drowning patient[J]. Chest，2021，159（4）：1473-1483. doi：10.1016/j.chest.2020.10.007 .
3	李棨，马开军，张晓东，等. 水中尸体肺组织硅藻检验与死因分析[J].法医学杂志，2011，27（5）：324-326，333. doi：10.3969/j.issn.1004-5619.2011.05.002 .
	LI Q， MA K J， ZHANG X D， et al. Diatom test in lung tissue of corpses in water and causes of death[J]. Fayixue Zazhi，2011，27（5）：324-326，333.
4	CARBALLEIRA R， VIEIRA D N， FEBRERO-BANDE M， et al. A valid method to determine the site of drowning[J]. Int J Legal Med，2018，132（2）：487-497. doi：10.1007/s00414-017-1708-1 .
5	PIETTE M H A， DE LETTER E A. Drowning： Still a difficult autopsy diagnosis[J]. Forensic Sci Int，2006，163（1/2）：1-9. doi：10.1016/j.forsciint.2004.10.027 .
6	LUNETTA P， PENTTILÄ A， HÄLLFORS G. Scanning and transmission electron microscopical evidence of the capacity of diatoms to penetrate the alveolo-capillary barrier in drowning[J]. Int J Legal Med，1998，111（5）：229-237. doi：10.1007/s004140050159 .
7	ZHANG P， KANG X， ZHANG S， et al. The length and width of diatoms in drowning cases as the evidence of diatoms penetrating the alveoli-capillary barrier[J]. Int J Legal Med，2020，134（3）：1037-1042. doi：10.1007/s00414-019-02164-4 .
8	LUDES B， COSTE M， NORTH N， et al. Diatom analysis in victim’s tissues as an indicator of the site of drowning[J]. Int J Legal Med，1999，112（3）：163-166. doi：10.1007/s004140050224 .
9	SHEN X， LIU Y， XIAO C， et al. Analysis of false-positive results of diatom test in the diagnosis of drowning-would not be an impediment[J]. Int J Legal Med，2019，133（6）：1819-1824. doi：10.1007/s00414-019-02021-4 .
10	BORTOLOTTI F， TAGLIARO F， MANETTO G. Objective diagnosis of drowning by the “diatom test” - A critical review[J]. Forensic Sci Rev，2004，16（2）：135-148.
11	周圆圆，曹永杰，杨越，等. 基于人工智能硅藻自动化识别系统的实际案例应用[J].法医学杂志，2020，36（2）：239-242. doi：10.12116/j.issn.1004-5619.2020.02.017 .
	ZHOU Y Y， CAO Y J， YANG Y， et al. Application of artificial intelligence automatic diatom identification system in practical cases[J]. Fayixue Zazhi，2020，36（2）：239-242.
12	KRIZHEVSKY A， SUTSKEVER I， HINTON G E. ImageNet classification with deep convolutional neural networks[J]. Commun ACM，2017，60（6）：84-90. doi：10.1145/3065386 .
13	ARESTA G， ARAÚJO T， KWOK S， et al. BACH： Grand challenge on breast cancer histology images[J]. Med Image Anal，2019，56：122-139. doi：10.1016/j.media.2019.05.010 .
14	HA Q S， LIU B， LIU F X. Identifying melanoma images using EfficientNet ensemble： Winning solution to the SIIM-ISIC melanoma classification challenge[J/OL]. （2020-10-11）[2021-09-21]. arXiv：2010. 05351v1.
15	ZHOU Y， CAO Y， HUANG J， et al. Research advances in forensic diatom testing[J]. Forensic Sci Res，2020，5（2）：98-105. doi：10.1080/20961790. 2020.1718901 .
16	HU H， GU J Y， ZHANG Z， et al. Relation networks for object detection[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City：IEEE，2018：3588-3597. doi：10.1109/CVPR.2018.00378 .
17	GIRSHICK R， DONAHUE J， DARRELL T， et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus：IEEE，2014：580-587. doi：10.1109/CVPR.2014.81 .
18	GIRSHICK R. Fast R-CNN[C]//2015 IEEE International Conference on Computer Vision. Santiago：IEEE，2015：1440-1448. doi：10.1109/ICCV. 2015.169 .
19	REN S Q， HE K M， GIRSHICK R， et al. Faster R-CNN： Towards real-time object detection with region proposal networks[J]. IEEE Trans Pattern Anal Mach Intell，2017，39（6）：1137-1149. doi：10.1109/TPAMI.2016.2577031 .
20	YU W M， XUE Y， KNOOPS R， et al. Automated diatom searching in the digital scanning electron microscopy images of drowning cases using the deep neural networks[J]. Int J Leg Med，2021，135（2）：497-508. doi：10.1007/s00414-020-02392-z .
21	SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[J/OL].（2015-04-10）[2021-09-21]. arXiv：.
22	SZEGEDY C， IOFFE S， VANHOUCKE V. Inception-V 4， inception-ResNet and the impact of residual connections on learning[J/OL]. （2016-08-23）[2021-09-21]. arXiv：.
23	ZHOU Y Y， ZHANG J， HUANG J， et al. Digital whole-slide image analysis for automated diatom test in forensic cases of drowning using a convolutional neural network algorithm[J]. Forensic Sci Int，2019，302：109922. doi：10.1016/j.forsciint.2019. 109922 .
24	ZHANG J， ZHOU Y， VIEIRA D N， et al. An efficient method for building a database of diatom populations for drowning site inference using a deep learning algorithm[J]. Int J Legal Med，2021，135（3）：817-827. doi：10.1007/s00414-020-02497-5 .
25	黄平，张吉，邓恺飞，等. 一种基于硅藻种属分类的溺水地点鉴定系统及方法：1102916.7[P]. 2021-07-20.
	HUANG P， ZHANG J， DENG K F， et al. A drowning site identification system and method based on the classification of diatom species：1102916.7[P]. 2021-07-02.
26	司法鉴定科学研究院. 智能化硅藻鉴识系统[简称：DiatomNet]V1.0：2021SR0337617[P]. 2020-12-23.
	Accademy of Forensic Science. Intelligent diatom discrimination system[Abbreviation： DiatomNet]V1.0：2021SR0337617[P]. 2020-12-23.
27	福建省公安厅刑侦总队. 人体组织器官中硅藻硝酸破机法检验： [S]. 北京：中国标准出版社，2009.
	Criminal Investigation Corps of Fujian Provincial Public Security Department. Detection the diatoms in human tissues and organs by digesting organic matter with nitric acid： [S]. Beijing： China Standards Publishing Press，2009.
28	DENG J， DONG W， SOCHER R， et al. ImageNet： A large-scale hierarchical image database[C]//2009 IEEE Conference on Computer Vision and Pattern Recognition.Miami： IEEE，2009：248-255. doi：10.1109/CVPR.2009.5206848 .
29	SELVARAJU R R， COGSWELL M， DAS A， et al. Grad-CAM： Visual explanations from deep networks via gradient-based localization[J]. 2017 IEEE Int Conf Comput Vis ICCV，2017：618-626. doi：10.1109/ICCV.2017.74 .
30	SZEGEDY C， VANHOUCKE V， IOFFE S， et al. Rethinking the inception architecture for computer vision[J]. 2016 IEEE Conf Comput Vis Pattern Recognit CVPR，2016：2818-2826. doi：10.1109/CVPR.2016.308 .
31	HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas： IEEE，2016：770-778. doi：10.1109/CVPR.2016.90 .
32	KRAUSE L M K， KOC J， ROSENHAHN B， et al. Fully convolutional neural network for detection and counting of diatoms on coatings after short-term field exposure[J]. Environ Sci Technol，2020，54（16）：10022-10030. doi：10.1021/acs.est.0c01982 .
33	RUIZ-SANTAQUITERIA J， BUENO G， DENIZ O， et al. Semantic versus instance segmentation in microscopic algae detection[J]. Eng Appl Artif Intel，2020，87. doi：10.1016/j.engappai.2019.103271 .
34	BUENO G， DENIZ O， RUIZ-SANTAQUITERIA J， et al. Lights and pitfalls of convolutional neural networks for diatom identification[C]//Optics， Photonics and Digital Technologies for Imaging Applications V. Strasbourg：SPIE Photonics Europe，2018. doi：10.1117/12.2309488 .

[1]	曾勇, 邹冬华, 范颖, 徐晴, 陶陆阳, 陈忆九, 李正东. 人体血管有限元建模及生物力学的研究进展与法医学应用[J]. 法医学杂志, 2023, 39(5): 471-477.
[2]	陈建波, 郭影, 陈再勇, 鲍人辉, 孔繁荣. 钩吻中毒死亡法医学鉴定1例[J]. 法医学杂志, 2023, 39(5): 509-511.
[3]	马钳钳, 张云, 秦丽娜. 播散型毛霉病致死1例[J]. 法医学杂志, 2023, 39(5): 507-509.
[4]	孙语新, 龚晓娟, 郝秀丽, 田雨馨, 陈艺铭, 张宝, 阎春霞. 婴儿猝死综合征与婴儿感染性猝死共同相关基因的筛选及其调控网络的生物信息学分析[J]. 法医学杂志, 2023, 39(5): 433-440.
[5]	高日红, 王新宙, 王冰, 郑立新. 大剂量盐酸地芬尼多与乙醇、氯化钾联合中毒死亡1例[J]. 法医学杂志, 2023, 39(5): 512-515.
[6]	杨宇, 雷梵章, 董玉友, 马剑龙, 石启强, 叶雪松. 口服盐酸地芬尼多中毒死亡案例的回顾性分析[J]. 法医学杂志, 2023, 39(4): 393-398.
[7]	白洁, 孙晶, 程晓光, 刘凡, 刘华, 王旭. 基于YOLOv3算法的肋骨骨折诊断模型的构建及应用[J]. 法医学杂志, 2023, 39(4): 343-349.
[8]	向青青, 陈立方, 苏秦, 杜宇坤, 梁沛妍, 康晓东, 石河, 徐曲毅, 赵建, 刘超, 陈晓晖. 微生物群落演替在死亡时间推断中的研究进展[J]. 法医学杂志, 2023, 39(4): 399-405.
[9]	苏秦, 陈倩玲, 吴伟斌, 向青青, 杨成梁, 乔东访, 李志刚. 原发性脑干损伤致死大鼠的脑干组织代谢组学分析[J]. 法医学杂志, 2023, 39(4): 373-381.
[10]	盛利, 宋国铭. “钢珠”气枪射击致颅脑损伤死亡1例[J]. 法医学杂志, 2023, 39(4): 417-418.
[11]	姚泽伟, 贾自发, 韦铭菲, 史俊展, 李凡. 肝豆状核变性者外伤后脑干出血死亡1例[J]. 法医学杂志, 2023, 39(4): 419-421.
[12]	张旭东, 姜垚如, 梁芯瑞, 田甜, 靳茜茜, 张小红, 曹洁, 杜秋香, 孙俊红. 蛋白质芯片检测技术结合多维统计方法推断死亡时间[J]. 法医学杂志, 2023, 39(2): 115-120.
[13]	马永刚, 曹永杰, 赵益花, 周新军, 黄斌, 张高潮, 黄平, 王亚辉, 马开军, 陈峰, 张东川, 张吉. 基于深度学习实现成人坐骨耻骨支内侧缘的性别推断[J]. 法医学杂志, 2023, 39(2): 129-136.
[14]	龙武, 瞿鹏飞, 马琳, 王蕊, 习严梅, 李玉华, 聂胜洁, 段婷, 杜进良, 唐雪, 赵静峰, 雷普平, 王跃兵. 一起云南不明原因猝死案件中4种野生菌的细胞毒性[J]. 法医学杂志, 2023, 39(2): 121-128.
[15]	高俊薇, 鹿阳, 李彦军, 邹冬华, 何光龙, 王彦斌. 法医学虚拟解剖实验室建设状况及实验室认可适用性调查[J]. 法医学杂志, 2023, 39(2): 186-192.

4种深度学习图像分类算法在人工智能硅藻检验中的比较

Comparison among Four Deep Learning Image Classification Algorithms in AI-based Diatom Test

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 8

参考文献 34

相关文章 15

编辑推荐

Metrics