Intelligent Recognition and Segmentation of Blunt Craniocerebral Injury CT Images Based on DeepLabV3+ Model

doi:10.12116/j.issn.1004-5619.2024.440801

Abstract

Abstract:

Objective To achieve intelligent recognition and segmentation of common craniocerebral injuries （hereinafter referred to as “segmentation”） by training convolutional neural network DeepLabV3+ model based on CT images of blunt craniocerebral injury （BCI）, and to explore the value of deep learning in automated diagnosis of BCI in forensic medicine. Methods A total of 5 486 CT images of BCI from living persons were collected as the training set, validation set and test set for model training and performance evaluation. Another 255 CT images of BCI and 156 normal craniocerebral CT images from living persons were collected as the blind test set to evaluate the ability of the model to segment the five types of craniocerebral injuries including scalp hematoma, skull fracture, epidural hematoma, subdural hematoma, and brain contusion. Another 340 BCI and 120 normal craniocerebral CT images from cadavers were collected as the new blind test set to explore the application value of the model trained by living CT images in the segmentation of BCI in cadavers. The five types CT images of all BCI except the blind test set were manually labeled; then, each dataset was inputted into the model to train the model. The performance of the model was evaluated and optimized based on the loss function and accuracy curves of the training set and validation set, and the generalization ability was evaluated based on the Dice value of the test set. According to the accuracy, precision and F1 value of the blind test set, the segmentation performance of the model for five types of BCI was evaluated. Results After training and optimizing the model, the average Dice values of the final optimal model to scalp hematoma, skull fracture, epidural hematoma, subdural hematoma and brain contusion segmentation were 0.766 4, 0.812 3, 0.938 7, 0.782 7 and 0.858 1, respectively, all greater than 0.75, meeting the expected requirements. External validation showed that the F1 values were 93.02%, 89.80%, 87.80%, 92.93% and 86.57% in living CT images, respectively; 83.92%, 44.90%, 76.47%, 64.29% and 48.89% in cadaveric CT images, respectively. The above suggested that the model was able to accurately segment various types of craniocerebral injury on living CT images, while its segmentation ability was relatively poor on cadaveric CT images, but still able to accurately segment scalp hematoma, epidural hematoma and subdural hematoma. Conclusion Deep learning model trained on CT images can be used for BCI segmentation. However, the direct use of living persons’ BCI models for the identification of cadaveric BCI has some limitations. This study provides a new approach for intelligent segmentation of virtual anatomical data for BCI.

Key words: forensic medicine, artificial intelligence, DeepLabV3+ model, blunt craniocerebral injury, deep learning, computed tomography, image segmentation

CLC Number:

Hao-jie QIN, Yuan-yuan LIU, En-hao FU, Ya-wen LIU, Zhi-ling TIAN, He-wen DONG, Tai-ang LIU, Dong-hua ZOU, Yi-bin CHENG, Ning-guo LIU. Intelligent Recognition and Segmentation of Blunt Craniocerebral Injury CT Images Based on DeepLabV3+ Model[J]. Journal of Forensic Medicine, 2024, 40(5): 419-429.

Figures/Tables 10

References 38

1	安永明，张志威，刘剑霞. 骑跨横窦硬膜外血肿致伤方式审查1例[J].中国法医学杂志，2024，39（1）：126-127. doi：10.13618/j.issn.1001-5728.2024.01.025 .
	AN Y M， ZHANG Z W， LIU J X. Review of injury manners of epidural hematoma riding across transverse sinus： A case report[J]. Zhongguo Fayixue Zazhi，2024，39（1）：126-127.
2	宋健文，徐彦昊，吕伟平，等. 他伤并自伤致颅脑损伤法医学鉴定1例[J].刑事技术，2023，48（5）：543-546.doi：10.16467/j.1008-3650.2023.5013 .
	SONG J W， XU Y H， LÜ W P， et al. Forensic clinical evaluation of complex craniocerebral injury caused by intentional injuries and self-inflicted injury： A case report[J]. Xingshi Jishu，2023，48（5）：543-546.
3	KRANIOTI E F， NATHENA D， SPANAKIS K， et al. Unenhanced PMCT in the diagnosis of fatal traumatic brain injury in a charred body[J]. J Forensic Leg Med，2021，77：102093. doi：10.1016/j.jflm.2020.102093 .
4	KLEVNO V A， CHUMAKOVA Y V， KORO-TENKO O A， et al. Virtopsy for studying the sudden death of an adolescent[J]. Russ J Forensic Med，2020，6（1）：41-45. doi：10.19048/2411-8729-2020-6-1-41-45 .
5	孙雪阳，杨琦帆，朱运良，等. 基于CT图像推断钝力性颅脑损伤成伤机制的logistic回归分析[J].法医学杂志，2022，38（2）：217-222. doi：10.12116/j.issn.1004-5619.2021.410809 .
	SUN X Y， YANG Q F， ZHU Y L， et al. Logistic regression analysis of the mechanism of blunt brain injury inference based on CT images[J]. Fayixue Zazhi，2022，38（2）：217-222.
6	杨琦帆，孙雪阳，王彦斌，等. 基于深度学习的颅脑损伤机制自动化鉴别[J].法医学杂志，2022，38（2）：223-230. doi：10.12116/j.issn.1004-5619.2021.410923 .
	YANG Q F， SUN X Y， WANG Y B， et al. Automatic identification of brain injury mechanism based on deep learning[J]. Fayixue Zazhi，2022，38（2）：223-230.
7	TAGHANAKI S A， ABHISHEK K， COHEN J P， et al. Deep semantic segmentation of natural and medical images： A review[J]. Artif Intell Rev，2021，54（1）：137-178. doi：10.1007/s10462-020-09854-1 .
8	LI Y， HUANG Z， DONG X， et al. Forensic age estimation for pelvic X-ray images using deep learning[J]. Eur Radiol，2019，29（5）：2322-2329. doi：10.1007/s00330-018-5791-6 .
9	CAO Y， MA Y， VIEIRA D N， et al. A potential method for sex estimation of human skeletons using deep learning and three-dimensional surface scanning[J]. Int J Legal Med，2021，135（6）：2409-2421. doi：10.1007/s00414-021-02675-z .
10	武斌，李洋，夏志远，等. 虚拟解剖用于尸体颅脑损伤致伤物推断1例[J].中国法医学杂志，2022，37（1）：21-23. doi：10.13618/j.issn.1001-5728.2022.01.005 .
	WU B， LI Y， XIA Z Y， et al. Estimation of the injury instruments of cadaveric craniocerebral injuries using virtual autopsy： A case report[J]. Zhongguo Fayixue Zazhi，2022，37（1）：21-23.
11	EBERT L C， HEIMER J， SCHWEITZER W， et al. Automatic detection of hemorrhagic pericardial effusion on PMCT using deep learning — A feasibility study[J]. Forensic Sci Med Pathol，2017，13（4）：426-431. doi：10.1007/s12024-017-9906-1 .
12	尹艺晓，马金刚，张文凯，等. 从U-Net到Transformer：混合模型在医学图像分割中的应用进展[J].激光与光电子学进展，2025，62（2）：0200001. doi：10.3788/LOP240875 .
	YIN Y X， MA J G， ZHANG W K， et al. From U-Net to Transformer： Progress in the application of hybrid models in medical image segmentation[J]. Jiguang Yu Guangdianzixue Jinzhan，2025，62（2）：0200001.
13	HERNANDEZ PETZSCHE M R， DE LA ROSA E， HANNING U， et al. ISLES 2022： A multi-center magnetic resonance imaging stroke lesion segmentation dataset[J]. Sci Data，2022，9（1）：762. doi：10.1038/s41597-022-01875-5 .
14	WANG Y， WANG C， WU H， et al. An improved Deeplabv3+ semantic segmentation algorithm with multiple loss constraints[J]. PLoS One，2022，17（1）：e0261582. doi：10.1371/journal.pone.0261582 .
15	KHODADADI SHOUSHTARI F， SINA S， DEH-KORDI A N V. Automatic segmentation of glioblastoma multiform brain tumor in MRI images： Using Deeplabv3+ with pre-trained Resnet18 weights[J]. Phys Med，2022，100：51-63. doi：10.1016/j.ejmp.2022.06.007 .
16	董贺文，孙溢，钱辉，等. 死后尸体CT影像学特征变化研究进展[J].法医学杂志，2019，35（6）：716-720. doi：10.12116/j.issn.1004-5619.2019.06.013 .
	DONG H W， SUN Y， QIAN H， et al. Research progress on postmortem changes of computed tomography imaging characteristics on corpses[J]. Fayixue Zazhi，2019，35（6）：716-720.
17	刘晓菲，晋文举，夏志远，等. 尸体与活体颅脑CT影像的比较[J].中国法医学杂志，2020，35（4）：350-354.doi：10.13618/j.issn.1001-5728.2020.04.002 .
	LIU X F， JIN W J， XIA Z Y， et al. Comparison of craniocerebral computed tomography （CT） of the deceased and the living body[J]. Zhongguo Fayixue Zazhi，2020，35（4）：350-354.
18	WANG Y， ZHOU Q， LIU J， et al. LEDNet： A lightweight encoder-decoder network for real-time semantic segmentation[C]// 2019 IEEE International Conference on Image Processing （ICIP）. China： Taiwan，2019：1860-1864.
19	NACEUR M B， AKIL M， SAOULI R， et al. Deep convolutional neural networks for brain tumor segmentation： Boosting performance using deep transfer learning： Preliminary results[C]// Brainlesion： Glioma， Multiple Sclerosis， Stroke and Traumatic Brain Injuries： 5th International Workshop， BrainLes 2019， Shenzhen，2019：303-315.
20	ZHENG H D， SUN Y L， KONG D W， et al. Deep learning-based high-accuracy quantitation for lumbar intervertebral disc degeneration from MRI[J]. Nat Commun，2022，13（1）：841. doi：10.1038/s41467-022-28387-5 .
21	WACHINGER C， REUTER M， KLEIN T. DeepNAT： Deep convolutional neural network for segmenting neuroanatomy[J]. NeuroImage，2018，170：434-445. doi：10.1016/j.neuroimage.2017.02.035 .
22	MCCOY D B， DUPONT S M， GROS C， et al. Convolutional neural network-based automated segmentation of the spinal cord and contusion injury： Deep learning biomarker correlates of motor impairment in acute spinal cord injury[J]. AJNR Am J Neuroradiol，2019，40（4）：737-744. doi：10.3174/ajnr.A6020 .
23	李雪梅，曹琼，曹慧敏，等. 基于最大熵阈值分割法的颅脑CT图像血肿自动诊断系统研究[J].中国医学装备，2022，19（8）：1-5. doi：10.3969/J.ISSN.1672-8270.2022.08.001 .
	LI X M， CAO Q， CAO H M， et al. Study on the automatic diagnostic system for hematoma in CT image of brain based on threshold segmentation method of maximum entropy[J]. Zhongguo Yixue Zhuangbei，2022，19（8）：1-5.
24	CHILAMKURTHY S， GHOSH R， TANAMALA S， et al. Deep learning algorithms for detection of critical findings in head CT scans： A retrospective study[J]. Lancet，2018，392（10162）：2388-2396. doi：10.1016/S0140-6736（18）31645-3 .
25	JANOT K， OLIVEIRA T R， FROMONT-HANKARD G， et al. Quantitative estimation of thrombus-erythro- cytes using MRI. A phantom study with clot analogs and analysis by statistic regression models[J]. J Neurointerv Surg，2020，12（2）：181-185. doi：10.1136/neurintsurg-2019-014950 .
26	WANG X， HU Z， SHI S， et al. A deep learning method for optimizing semantic segmentation accuracy of remote sensing images based on improved UNet[J]. Sci Rep，2023，13（1）：7600. doi：10.1038/s41598-023-34379-2 .
27	PEASE M， AREFAN D， BARBER J， et al. Outcome prediction in patients with severe traumatic brain injury using deep learning from head CT scans[J]. Radiology，2022，304（2）：385-394. doi：10.1148/radiol.212181 .
28	DE FEO R， HÄMÄLÄINEN E， MANNINEN E， et al. Convolutional neural networks enable robust automatic segmentation of the rat hippocampus in MRI after traumatic brain injury[J]. Front Neurol，2022，13：820267. doi：10.3389/fneur.2022.820267 .
29	HUANG J S， HUANG S Y， LIAO H Z， et al. Point-of-care ultrasound diagnosis of skull fracture in Chinese children 0-6 years old with scalp hematoma from minor head trauma： A preliminary prospective observational study[J]. Heliyon，2023，9（4）：e15255. doi：10.1016/j.heliyon.2023.e15255 .
30	叶俊花，徐萌艳，方柳絮. 新生儿头皮血肿发生影响因素分析[J].中国实用护理杂志，2022，38（12）：902-905. doi：10.3760/cma.j.cn211501-20210322-00860 .
	YE J H， XU M Y， FANG L X. Analysis of influen-cing factors for the occurrence of neonatal scalp hematoma[J]. Zhongguo Shiyong Huli Zazhi，2022，38（12）：902-905.
31	WU D R， XU Y F， LU B L. Transfer learning for EEG-based brain-computer interfaces： A review of progress made since 2016[J]. IEEE Trans Cogn Dev Syst，2022，14（1）：4-19. doi：10.1109/tcds.2020.3007453 .
32	黄腾飞，刘巧梨，易海玲，等. 假性蛛网膜下腔出血征的CT定量分析和鉴别诊断[J].放射学实践，2021，36（12）：1488-1492. doi：10.13609/j.cnki.1000-0313.2021.12.006 .
	HUANG T F， LIU Q L， YI H L， et al. CT value quantitative analysis for diagnosis and differen-tiation of pseudo-subarachnoid hemorrhage[J]. Fangshexue Shijian，2021，36（12）：1488-1492.
33	KLEVNO V A， CHUMAKOVA Y V， KOROTENKO O A， et al. Virtopsy for studying the sudden death of an adolescent[J]. Russ J Forensic Med，2020，6（1）：41-45. doi：10.19048/2411-8729-2020-6-1-41-45 .
34	MESSAOUDI H， BELAID A， SALEM D BEN， et al. Cross-dimensional transfer learning in medical image segmentation with deep learning[J]. Med Image Anal，2023，88：102868. doi：10.1016/j.media.2023.102868 .
35	MA J， HE Y， LI F， et al. Segment anything in medical images[J]. Nat Commun，2024，15（1）：654. doi：10.1038/s41467-024-44824-z .
36	CHENG D， LAM E Y. Transfer learning U-Net deep learning for lung ultrasound segmentation[J]. arXiv，2021. doi：10.48550/arXiv.2110.02196 .
37	张珊，马勋泰. 头颅CT诊断不明确的3例蛛网膜下腔出血临床分析[J].第三军医大学学报，2014，36（16）：1757，1760. doi：10.16016/j.1000-5404.2014.16.026 .
	ZHANG S， MA X T. Clinical analysis of subarachnoid hemorrhage with unclear diagnosis by craniocerebral CT： Three case reports[J].Di-san Junyi Daxue Xuebao，2014，36（16）：1757，1760.
38	张建鹏，王浩馨，陈爱梅. 138例蛛网膜下腔出血CT分析[J].临床荟萃，2012，27（16）：1425-1426.
	ZHANG J P， WANG H X， CHEN A M. CT analysis of 138 cases of subarachnoid haemorrhage[J]. Linchuang Huicui，2012，27（16）：1425-1426.

损伤类型	Dice值
头皮血肿	0.766 4
颅骨骨折	0.812 3
硬脑膜外血肿	0.938 7
硬脑膜下血肿	0.782 7
脑挫伤	0.858 1
模型背景	0.995 7

损伤类型	Dice值
头皮血肿	0.766 4
颅骨骨折	0.812 3
硬脑膜外血肿	0.938 7
硬脑膜下血肿	0.782 7
脑挫伤	0.858 1
模型背景	0.995 7

损伤类型	损伤颅脑			正常颅脑
损伤类型	处	真阳	假阴	数量	真阴	假阳
头皮血肿	109	100（91.74）	9（8.26）	24	18（75.00）	6（25.00）
颅骨骨折	77	66（85.71）	11（14.29）	21	17（80.95）	4（19.05）
硬脑膜外血肿	39	36（92.31）	3（7.69）	24	17（70.83）	7（29.17）
硬脑膜下血肿	49	46（93.88）	3（6.12）	21	17（80.95）	4（19.05）
脑挫伤	31	29（93.55）	2（6.45）	23	16（69.57）	7（30.43）

损伤类型	损伤颅脑			正常颅脑
损伤类型	处	真阳	假阴	数量	真阴	假阳
头皮血肿	109	100（91.74）	9（8.26）	24	18（75.00）	6（25.00）
颅骨骨折	77	66（85.71）	11（14.29）	21	17（80.95）	4（19.05）
硬脑膜外血肿	39	36（92.31）	3（7.69）	24	17（70.83）	7（29.17）
硬脑膜下血肿	49	46（93.88）	3（6.12）	21	17（80.95）	4（19.05）
脑挫伤	31	29（93.55）	2（6.45）	23	16（69.57）	7（30.43）

损伤类型	准确率	精确率	召回率	F1值
头皮血肿	88.72	94.34	91.74	93.02
颅骨骨折	84.69	94.29	85.71	89.80
硬脑膜外血肿	84.13	83.72	92.31	87.80
硬脑膜下血肿	90.00	92.00	93.88	92.93
脑挫伤	83.33	80.56	93.55	86.57