基于深度学习实现成人坐骨耻骨支内侧缘的性别推断

doi:10.12116/j.issn.1004-5619.2022.220505

法医学杂志 ›› 2023, Vol. 39 ›› Issue (2): 129-136.DOI: 10.12116/j.issn.1004-5619.2022.220505

基于深度学习实现成人坐骨耻骨支内侧缘的性别推断

马永刚¹(), 曹永杰²^,³(), 赵益花⁴, 周新军¹, 黄斌¹, 张高潮¹, 黄平², 王亚辉², 马开军⁵, 陈峰³, 张东川⁵(), 张吉²()

^1.西安交通大学附属三二〇一医院，陕西汉中 723000
^2.司法鉴定科学研究院上海市法医学重点实验室司法部司法鉴定重点实验室上海市司法鉴定专业技术服务平台，上海 200063
^3.南京医科大学基础医学院法医学系，江苏南京 211166
^4.福建科胜司法鉴定所，福建莆田 351100
^5.上海市公安局物证鉴定中心，上海 200083

收稿日期:2022-05-10 发布日期:2023-06-06 出版日期:2023-04-25
通讯作者: 张东川,张吉
作者简介:张吉，男，主检法医师，主要从事法医病理学研究；E-mail：zhangj@ssfjd.cn
张东川，男，主检法医师，主要从事法医病理学研究；E-mail：zhangdch5@mail2.sysu.edu.cn
马永刚（1978—），男，副主任医师，主要从事医学与法医学影像诊断与研究；E-mail：myg98@163.com
曹永杰（1996—），男，硕士研究生，主要从事法医人类学研究；E-mail：1017824284@qq.com第一联系人：马永刚和曹永杰为共同第一作者
基金资助:
国家重点研发计划资助项目(2022YFC3302002);国家自然科学基金资助项目(81722027);中央级公益性科研院所资助项目(GY2020G-2);上海市法医学重点实验室资助项目(21DZ2270800);司法部司法鉴定重点实验室资助项目;上海市司法鉴定专业技术服务平台资助项目

Sex Estimation of Medial Aspect of the Ischiopubic Ramus in Adults Based on Deep Learning

Yong-gang MA¹(), Yong-jie CAO²^,³(), Yi-hua ZHAO⁴, Xin-jun ZHOU¹, Bin HUANG¹, Gao-chao ZHANG¹, Ping HUANG², Ya-hui WANG², Kai-jun MA⁵, Feng CHEN³, Dong-chuan ZHANG⁵(), Ji ZHANG²()

^1.3201 Hospital Affiliated to Xi’an Jiaotong University, Hanzhong 723000, Shaanxi Province, China
^2.Shanghai Key Laboratory of Forensic Medicine, Key Laboratory of Forensic Science, Ministry of Justice, Shanghai Forensic Service Platform, Academy of Forensic Science, Shanghai 200063, China
^3.Department of Forensic Medicine, School of Basic Medical Sciences, Nanjing Medical University, Nanjing 211166, China
^4.Fujian Kesheng Judicial Expertise Center, Putian 351100, Fujian Province, China
^5.Institute of Forensic Science, Shanghai Public Security Bureau, Shanghai 200083, China

Received:2022-05-10 Online:2023-06-06 Published:2023-04-25
Contact: Dong-chuan ZHANG,Ji ZHANG

1. 作者贡献声明和利益冲突声明.pdf(124KB)

摘要/Abstract

摘要：

目的探究深度学习技术在中国汉族人群CT三维重建图像自动性别识别中的可靠性和准确率。方法收集20~85岁汉族人群骨盆CT影像学数据700例（男性350例，女性350例），将其重建为三维虚拟骨骼模型，并截取坐骨耻骨支内侧缘（medial aspect of the ischiopubic ramus，MIPR）特征区域图像。采用Inception v4作为图像识别模型，以初始化学习和迁移学习两种方式进行训练。随机选取80%的图像作为训练验证集，20%的图像作为测试集。将左右两侧MIPR图像进行单独以及合并训练。之后使用总准确率、女性准确率、男性准确率等指标进行模型的性能评价。结果将左右两侧MIPR图像单独进行初始化学习训练，右侧MIPR模型的总准确率为95.7%，其中女性准确率为95.7%、男性准确率为95.7%；左侧MIPR模型的总准确率为92.1%，其中女性准确率为88.6%、男性准确率为95.7%。将左右两侧MIPR图像合并以初始化学习进行训练，模型的总准确率为94.6%，其中女性准确率为92.1%、男性准确率为97.1%。将左右两侧MIPR图像合并以迁移学习进行训练，模型的总准确率为95.7%，其中女性准确率为95.7%，男性准确率为95.7%。结论利用Inception v4深度学习模型和迁移学习算法对中国汉族人群骨盆MIPR图像构建性别推断模型，可对成人骨骼遗骸开展有效性别鉴定，具有较高的准确率及泛化能力。

关键词: 法医人类学, 深度学习, 性别推断, 三维重建, 骨盆, 坐骨耻骨支内侧缘, 迁移学习

Abstract:

Objective To investigate the reliability and accuracy of deep learning technology in automatic sex estimation using the 3D reconstructed images of the computed tomography （CT） from the Chinese Han population. Methods The pelvic CT images of 700 individuals （350 males and 350 females） of the Chinese Han population aged 20 to 85 years were collected and reconstructed into 3D virtual skeletal models. The feature region images of the medial aspect of the ischiopubic ramus （MIPR） were intercepted. The Inception v4 was adopted as the image recognition model, and two methods of initial learning and transfer learning were used for training. Eighty percent of the individuals’ images were randomly selected as the training and validation dataset, and the remaining were used as the test dataset. The left and right sides of the MIPR images were trained separately and combinedly. Subsequently, the models’ performance was evaluated by overall accuracy, female accuracy, male accuracy, etc. Results When both sides of the MIPR images were trained separately with initial learning, the overall accuracy of the right model was 95.7%, the female accuracy and male accuracy were both 95.7%; the overall accuracy of the left model was 92.1%, the female accuracy was 88.6% and the male accuracy was 95.7%. When the left and right MIPR images were combined to train with initial learning, the overall accuracy of the model was 94.6%, the female accuracy was 92.1% and the male accuracy was 97.1%. When the left and right MIPR images were combined to train with transfer learning, the model achieved an overall accuracy of 95.7%, and the female and male accuracies were both 95.7%. Conclusion The use of deep learning model of Inception v4 and transfer learning algorithm to construct a sex estimation model for pelvic MIPR images of Chinese Han population has high accuracy and well generalizability in human remains, which can effectively estimate the sex in adults.

Key words: forensic anthropology, deep learning, sex estimation, three-dimensional reconstruction, pelvis, medial aspect of the ischiopubic ramus, transfer learning

中图分类号:

DF795.6

马永刚, 曹永杰, 赵益花, 周新军, 黄斌, 张高潮, 黄平, 王亚辉, 马开军, 陈峰, 张东川, 张吉. 基于深度学习实现成人坐骨耻骨支内侧缘的性别推断[J]. 法医学杂志, 2023, 39(2): 129-136.

Yong-gang MA, Yong-jie CAO, Yi-hua ZHAO, Xin-jun ZHOU, Bin HUANG, Gao-chao ZHANG, Ping HUANG, Ya-hui WANG, Kai-jun MA, Feng CHEN, Dong-chuan ZHANG, Ji ZHANG. Sex Estimation of Medial Aspect of the Ischiopubic Ramus in Adults Based on Deep Learning[J]. Journal of Forensic Medicine, 2023, 39(2): 129-136.

图/表 5

图1 左、右侧MIPR图像单独初始化学习模型的训练验证及测试性能A：右侧MIPR模型的准确率；B：右侧MIPR模型的损失函数；C：右侧MIPR模型的ROC曲线；D：右侧MIPR模型的混淆矩阵；E：左侧MIPR模型的准确率；F：左侧MIPR模型的损失函数；G：左侧MIPR模型的ROC曲线；H：左侧MIPR模型的混淆矩阵。

Fig. 1 The performance of the training verification and testing of the initialized learning models of each side of the MIPR images

表1 深度学习模型测试集的性别推断性能

Tab. 1 The performance of deep learning models for sex estimation in the testing dataset

模型	总准确率/ %	女性准确率/ %	男性准确率/ %	阳性预测值/ %	阴性预测值/ %	AUC值
模型1（右侧MIPR初始化学习模型）	95.7	95.7	95.7	95.7	95.7	0.989
模型2（左侧MIPR初始化学习模型）	92.1	88.6	95.7	95.4	89.3	0.967
模型3（双侧MIPR初始化学习模型）	94.6	92.1	97.1	97.0	92.5	0.983
模型4（双侧MIPR迁移学习模型）	95.7	95.7	95.7	95.7	95.7	0.975

图2 双侧MIPR图像初始化学习模型的训练验证及测试性能A：双侧MIPR模型的准确率；B：双侧MIPR模型的损失函数；C：双侧MIPR模型的ROC曲线；D：双侧MIPR模型的混淆矩阵。

Fig. 2 The performance of the training verification and testing of the initialized learning model trained with both sides of the MIPR images

图3 双侧MIPR图像迁移学习模型的训练验证及测试性能A：双侧MIPR模型的准确率；B：双侧MIPR模型的损失函数；C：双侧MIPR模型的ROC曲线；D：双侧MIPR模型的混淆矩阵。

Fig. 3 The performance of the training verification and testing of the transfer learning model trained with both sides of the MIPR images

图4 MIPR深度学习模型的热图红色表示对模型进行性别推断有较大贡献的区域，蓝色表示无贡献的区域。

Fig. 4 Heatmaps of the deep learning models of the MIPR

参考文献 38

1	ZHANG Z， ONG S H， ZHONG X， et al. Efficient 3D dental identification via signed feature histogram and learning keypoint detection[J]. Pattern Recogn，2016，60：189-204. doi：10.1016/j.patcog.2016. 05.007 .
2	GÓMEZ O， IBÁÑEZ O， VALSECCHI A， et al. 3D-2D silhouette-based image registration for comparative radiography-based forensic identification[J]. Pattern Recogn，2018，83：469-480. doi：10.1016/j.pat cog.2018.06.011 .
3	HOLOBINKO A. Forensic human identification in the United States and Canada： A review of the law， admissible techniques， and the legal implications of their application in forensic cases[J]. Forensic Sci Int，2012，222（1/2/3）：394.e1-394.e13. doi：10 .
	1016/j.forsciint.2012.06.001.
4	LEUTENEGGER W. Functional aspects of pelvic morphology in Simian Primates[J]. J Hum Evol，1974，3（3）：207-222. doi：10.1016/0047-2484（74）90179-1 .
5	PHENICE T W. A newly developed visual method of sexing the os pubis[J]. Am J Phys Anthropol，1969，30（2）：297-301. doi：10.1002/ajpa.1330300214 .
6	KELLEY M A. Phenice’s visual sexing technique for the os pubis： A critique[J]. Am J Phys Anthropol，1978，48（1）：121-122. doi：10.1002/ajpa.1330480118 .
7	KLALES A R， OUSLEY S D， VOLLNER J M. A revised method of sexing the human innominate using Phenice’s nonmetric traits and statistical methods[J]. Am J Phys Anthropol，2012，149（1）：104-114. doi：10 .
	1002/ajpa.22102.
8	KLALES A R， COLE S J. Improving nonmetric sex classification for hispanic individuals[J]. J Forensic Sci，2017，62（4）：975-980. doi：10.1111/1556-4029.13391 .
9	JOHNSTONE-BELFORD E， FLAVEL A， FRANKLIN D. Morphoscopic observations in clinical pelvic MDCT scans： Assessing the accuracy of the Phenice traits for sex estimation in a Western Australian population[J]. J Forensic Radiol Im，2018，12：5-10. doi：10 .
	1016/j.jofri.2018.02.003.
10	GÓMEZ-VALDÉS J A， MENÉNDEZ GARMENDIA A， GARCÍA-BARZOLA L， et al. Recalibration of the Klales et al. （2012） method of sexing the human innominate for Mexican populations[J]. Am J Phys Anthropol，2017，162（3）：600-604. doi：10.1002/ajpa.23157 .
11	SUTHERLAND L D， SUCHEY J M. Use of the ventral arc in pubic sex determination[J]. J Forensic Sci，1991，36（2）：501-511.
12	LOVELL N C. Test of Phenice’s technique for determining sex from the os pubis[J]. Am J Phys Anthropol，1989，79（1）：117-120. doi：10.1002/ajpa.1330 790112 .
13	MCFADDEN C， OXENHAM M F. Revisiting the Phenice technique sex classification results reported by MacLaughlin and Bruce （1990）[J]. Am J Phys Anthropol，2016，159（1）：182-183. doi：10.1002/ajpa. 22839 .
14	LESCIOTTO K M， DOERSHUK L J . Accuracy and reliability of the Klales et al. （2012） morphoscopic pelvic sexing method[J]. J Forensic Sci，2018，63（1）：214-220. doi：10.1111/1556-4029.13501 .
15	ZHAN M J， FAN F， QIU L R， et al. Estimation of stature and sex from sacrum and coccyx measurements by multidetector computed tomography in Chinese[J]. Leg Med （Tokyo），2018，34：21-26. doi：10.1016/j.legalmed.2018.07.003 .
16	陶建华，陈聪，张怀宇，等. 鼻骨区骨折深度学习模型的建立和临床效能评估[J].放射学实践，2021，36（8）：959-964. doi：10.13609/j.cnki.1000-0313.2021.08.003 .
	TAO J H， CHEN C， ZHANG H Y， et al. Establishment and evaluation of the clinical efficacy of deep learning model for detection of nasal bone fracture on CT images[J]. Fangshexue Shijian，2021，36（8）：959-964.
17	钟碧霞，周冠群，许文琪，等. 基于深度学习的结肠癌病理图片分类研究[J].中国卫生统计，2021，38（3）：363-367. doi：10.3969/j.issn.1002-3674.2021.03.010 .
	ZHONG B X， ZHOU G Q， XU W Q， et al. Classification for pathological images of colon cancer with deep learning[J]. Zhongguo Weisheng Tongji，2021，38（3）：363-367.
18	刘晶，鲜军舫，李书玲，等. 深度学习模型检测胸部CT肺结节的临床效能评估[J].实用放射学杂志，2021，37（5）：732-735，767. doi：10.3969/j.issn.1002-1671.2021.05.010 .
	LIU J， XIAN J F， LI S L， et al. Evaluation of the efficacy of deep learning model in detecting pulmonary nodules on chest CT images[J]. Shiyong Fangshexue Zazhi，2021，37（5）：732-735，767.
19	ESTEVA A， KUPREL B， NOVOA R A， et al. Dermatologist-level classification of skin cancer with deep neural networks[J]. Nature，2017，542（7639）：115-118. doi：10.1038/nature21056 .
20	SPAMPINATO C， PALAZZO S， GIORDANO D， et al. Deep learning for automated skeletal bone age assessment in X-ray images[J]. Med Image Anal，2017，36：41-51. doi：10.1016/j.media.2016.10.010 .
21	ZHOU Y， ZHANG J， HUANG J， et al. Digital whole-slide image analysis for automated diatom test in forensic cases of drowning using a convolutional neural network algorithm[J]. Forensic Sci Int，2019，302：109922. doi：10.1016/j.forsciint.2019.109922 .
22	ZHANG J， ZHOU Y， VIEIRA D N， et al. An efficient method for building a database of diatom populations for drowning site inference using a deep learning algorithm[J]. Int J Legal Med，2021，135（3）：817-827. doi：10.1007/s00414-020-02497-5 .
23	CAO Y， MA Y， VIEIRA D N， et al. A potential method for sex estimation of human skeletons using deep learning and three-dimensional surface scanning[J]. Int J Legal Med，2021，135（6）：2409-2421. doi：10.1007/s00414-021-02675-z .
24	LECUN Y， BENGIO Y， HINTON G. Deep learning[J]. Nature，2015，521（7553）：436-444. doi：10.1038/ nature14539 .
25	SZEGEDY C， IOFFE S， VANHOUCKE V， et al. Inception-v4， Inception-ResNet and the impact of residual connections on learning[C]// Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence. San Francisco， California， USA，2017：4278-4284.
26	胡婷鸿，火忠，刘太昂，等. 基于深度学习实现维吾尔族青少年左手腕关节骨龄自动化评估[J].法医学杂志，2018，34（1）：27-32. doi：10.3969/j.issn.1004-5619.2018.01.006 .
	HU T H， HUO Z， LIU T A， et al. Automated assessment for bone age of left wrist joint in Uyghur teenagers by deep learning[J]. Fayixue Zazhi，2018，34（1）：27-32.
27	彭丽琴，万雷，汪茂文，等. 运用3种卷积神经网络模型对青少年骨盆骨龄评估的比较[J].法医学杂志，2020，36（5）：622-630. doi：10.12116/j.issn.1004-5619.2020.05.004 .
	PENG L Q， WAN L， WANG M W， et al. Comparison of three CNN models applied in bone age assessment of pelvic radiographs of adolescents[J]. Fayixue Zazhi，2020，36（5）：622-630.
28	PENG L Q， GUO Y C， WAN L， et al. Forensic bone age estimation of adolescent pelvis X-rays based on two-stage convolutional neural network[J]. Int J Legal Med，2022，136（3）：797-810. doi：10.1007/s004 14-021-02746-1 .
29	KLALES A R， VOLLNER J M， OUSLEY S D. A new metric procedure for the estimation of sex and ancestry from the human innominate[Z/OL]. [2022-04-12]. .
30	VOLLNER J M， KLALES A R， OUSLEY S D. Sexing of the human innominate using non-metric traits and statistical analysis[J/OL]. [2022-04-12]. .
31	COURTIOL P， MAUSSION C， MOARII M， et al. Deep learning-based classification of mesothelioma improves prediction of patient outcome[J]. Nat Med，2019，25（10）：1519-1525. doi：10.1038/s41591-019-05 83-3 .
32	GULSHAN V， PENG L， CORAM M， et al. Development and validation of a deep learning algorithm for detection of diabetic retinopathy in retinal fundus photographs[J]. JAMA，2016，316（22）：2402-2410. doi：10.1001/jama.2016.17216 .
33	DUNNMON J A， YI D， LANGLOTZ C P， et al. Assessment of convolutional neural networks for automated classification of chest radiographs[J]. Radio-logy，2019，290（2）：537-544. doi：10.1148/radiol.20181 81422 .
34	KERMANY D S， GOLDBAUM M， CAI W， et al. Identifying medical diagnoses and treatable diseases by image-based deep learning[J]. Cell，2018，172（5）：1122-1131.e9. doi：10.1016/j.cell.2018.02.010 .
35	COUDRAY N， OCAMPO P S， SAKELLAROPOU-LOS T， et al. Classification and mutation prediction from non-small cell lung cancer histopathology images using deep learning[J]. Nat Med，2018，24（10）：1559-1567. doi：10.1038/s41591-018-0177-5 .
36	KIM H E， COSA-LINAN A， SANTHANAM N， et al. Transfer learning for medical image classification： A literature review[J]. BMC Med Imaging，2022，22（1）：69. doi：10.1186/s12880-022-00793-7 .
37	OSIPENKO S， BOTASHEV K， NIKOLAEV E， et al. Transfer learning for small molecule retention predictions[J]. J Chromatogr A，2021，1644：462119. doi：10.1016/j.chroma.2021.462119 .
38	JAIN S， SINGHANIA U， TRIPATHY B， et al. Deep learning-based transfer learning for classification of skin cancer[J]. Sensors （Basel），2021，21（23）：8142. doi：10.3390/s21238142 .

[1]	张美香, 张晓彤. 面部盲管创的损伤程度鉴定1例[J]. 法医学杂志, 2023, 39(2): 224-226.
[2]	孙雪阳, 施群, 朱运良, 董贺文, 杨明真, 田志岭, 万雷, 邹冬华, 刘宁国. Dandy-Walker综合征女婴受虐致头部损伤后死亡1例[J]. 法医学杂志, 2023, 39(2): 200-202.
[3]	郝虹霞, 王亚辉, 周智露, 刘太昂, 陈瑾, 何宇亨, 万雷, 夏文涛. 膝关节MRI活体年龄推断研究进展[J]. 法医学杂志, 2023, 39(1): 66-71.
[4]	杨孝通, 孙丞辉, 马永刚, 曹永杰, 熊剪, 张吉, 黄平. 基于CT三维重建技术推断西部地区汉族成人颅骨性别[J]. 法医学杂志, 2023, 39(1): 27-33.
[5]	马精晶, 尚敏, 秦大伟, 任文昭, 时佳音, 赵晓云, 姚泽伟, 李凡. 青少年牙槽骨吸收高度与性别、年龄的关系[J]. 法医学杂志, 2022, 38(5): 589-594.
[6]	张东川, 费耿, 陈婷婷, 许路易, 余德伦, 张天叶. 3种尸骨年龄推断方法的比较[J]. 法医学杂志, 2022, 38(3): 319-323.
[7]	王飞翔, 姬锐, 张鹿鸣, 王鹏, 刘太昂, 宋鲁杰, 汪茂文, 周智露, 郝虹霞, 夏文涛. 基于数据挖掘算法的骨盆损伤判别模型[J]. 法医学杂志, 2022, 38(3): 350-354.
[8]	杨琦帆, 孙雪阳, 王彦斌, 田志岭, 董贺文, 万雷, 邹冬华, 于笑天, 张广政, 刘宁国. 基于深度学习的颅脑损伤机制自动化鉴别[J]. 法医学杂志, 2022, 38(2): 223-230.
[9]	朱永正, 张吉, 程奇, 于慧潇, 邓恺飞, 张建华, 秦志强, 赵建, 孙俊红, 黄平. 4种深度学习图像分类算法在人工智能硅藻检验中的比较[J]. 法医学杂志, 2022, 38(1): 31-39.
[10]	朱永正, 张吉, 程奇, 邓恺飞, 马开军, 张建华, 赵建, 孙俊红, 黄平, 秦志强. 人工智能自动化硅藻检验的研究进展[J]. 法医学杂志, 2022, 38(1): 14-19.
[11]	陈吉, 刘晓荣, 杨佳雯, 陈冶秋, 王诚, 欧梦媛, 吴嘉仪, 俞尤嘉, 李开, 陈鹏, 陈峰. 基于YOLOv3的硅藻电子显微镜图像识别模型的构建及应用[J]. 法医学杂志, 2022, 38(1): 46-52.
[12]	蒋海, 谢琼, 李维亭, 刘尊忠. 碎尸案的多维度分析1例[J]. 法医学杂志, 2021, 37(6): 896-898.
[13]	李泽浩, 刘宁国, 董贺文, 等. 基于深度学习的心脏影像学数据测量及其在心脏性猝死诊断中的应用[J]. 法医学杂志, 2021, 37(4): 546-554.
[14]	贾思璇, 韩梦琪, 王辰旭, 等. Nolla法推断中国北方汉族儿童年龄的准确性[J]. 法医学杂志, 2021, 37(2): 181-186.
[15]	李媛, 赵欢, 梁伟波, 等. 计算机辅助法医影像学骨骼个体识别的研究进展[J]. 法医学杂志, 2021, 37(2): 239-247.

基于深度学习实现成人坐骨耻骨支内侧缘的性别推断

Sex Estimation of Medial Aspect of the Ischiopubic Ramus in Adults Based on Deep Learning

RichHTML

PDF (PC)

补充材料

可视化

摘要/Abstract

引用本文

使用本文

图/表 5

参考文献 38

相关文章 15

编辑推荐

Metrics