Construction of a Multimodal Forensic Pathology Database and Implementation of Model-Augmented Retrieval

doi:10.12116/j.issn.1004-5619.2025.451106

Abstract

Abstract:

Objective To construct a multimodal forensic pathology database based on artificial intelligence （AI） technology and explore methods for integrating pre-trained models into multimodal databases. Methods A hybrid storage architecture consisting of MySQL, Redis and OSS was employed to manage desensitized multimodal data. Data entry was optimized using optical character recognition （OCR） and natural language processing （NLP） technologies. OCR performance was evaluated and optimized using cosine distance, character error rate （CER）, and word error rate （WER） to meet practical operational requirements. An intelligent retrieval model was developed using the ChatGLM3-6B model and retrieval-augmented generation （RAG） technology. Model performance was evaluated using ranking metrics including Precision@K, Recall@K, discounted cumulative gain （DCG）, and normalized discounted cumulative gain （NDCG）. Results The database demonstrated satisfactory baseline performance. The response times were maintained within 150 ms for single-query condition and within 2 s for multiple-query conditions. The average disk read throughput reached 950 MB/s. In concurrent performance tests, the database achieved a maximum throughput of 1 200 queries per second （QPS）, meeting multimodal data management demands. OCR evaluation showed high recognition accuracy; for high-quality documents, the cosine distance, CER, and WER achieved 0.02, 1.5%, and 3.2%, respectively. Intelligent retrieval results indicated that Precision@K remained consistently high （0.69-1.00）, while NDCG values remained above 0.87 for all evaluations. When K=100, the NDCG surpassed 0.95 for all queries, meeting expected performance requirements. Conclusion The multimodal forensic pathology database constructed in this study demonstrates good stability and operational efficiency and can meet the requirements of routine forensic practice for multimodal data storage, management, and analysis. The intelligent retrieval capabilities, based on pre-trained large language models （LLMs）, can be applied to conversational information retrieval from forensic reports and related documents, providing a novel approach to the management and analysis of multimodal databases.

Key words: forensic pathology, multimodal data, database, artificial intelligence （AI）, large language model （LLM）, information retrieval

CLC Number:

Haojie QIN, Enhao FU, Yongchao YANG, Yawen LIU, Mingzhu JIA, Zhiling TIAN, Zhe ZHENG, Siyun GUO, Ningguo LIU. Construction of a Multimodal Forensic Pathology Database and Implementation of Model-Augmented Retrieval[J]. Journal of Forensic Medicine, 2026, 42(2): 102-111.

Add to citation manager EndNote|Ris|BibTeX

URL: http://www.fyxzz.cn/EN/10.12116/j.issn.1004-5619.2025.451106

http://www.fyxzz.cn/EN/Y2026/V42/I2/102

Figures/Tables 8

References 45

[1]	COLVILLE-EBELING B， FRISCH M， LYNNERUP N， et al. HOMED — Homicides Eastern Denmark： An introduction to a forensic medical homicide database[J]. Scand J Public Health，2014，42（7）：683-686. doi：10.1177/1403494814544402 .
[2]	DUONG V A， PARK J M， LIM H J， et al. Proteomics in forensic analysis： Applications for human samples[J]. Appl Sci，2021，11（8）：3393. doi：10.3390/app11083393 .
[3]	BORNIK A， URSCHLER M， SCHMALSTIEG D， et al. Integrated computer-aided forensic case analysis， presentation， and documentation based on multimodal 3D data[J]. Forensic Sci Int，2018，287：12-24. doi：10.1016/j.forsciint.2018.03.031 .
[4]	黄平. 多模态法医病理学智能化鉴定的应用展望[J].中国司法鉴定，2024（6）：36-43. doi：10.3969/j.issn.1671-2072.2024.06.004 .
	HUANG P. The prospects of multimodal artificial intelligence identification in forensic pathology[J]. Zhongguo Sifa Jianding，2024（6）：36-43.
[5]	AGHAYEV E， STAUB L， DIRNHOFER R， et al. Virtopsy — The concept of a centralized database in forensic medicine for analysis and comparison of radiological and autopsy data[J]. J Forensic Leg Med，2008，15（3）：135-140. doi：10.1016/j.jflm.2007.07.005 .
[6]	WISKOTT K， GILARDI F， MICHAUD K， et al. Creation of a Forensic Pathology Biobank in Switzerland： Which issues and research opportunities?[J]. Int J Legal Med，2022，136（3）：919-922. doi：10.1007/s00414-021-02747-0 .
[7]	LU M Y， CHEN B W， WILLIAMSON D F K， et al. A multimodal generative AI copilot for human pathology[J]. Nature，2024，634（8033）：466-473. doi：10.1038/s41586-024-07618-3 .
[8]	方雅婷，兰琼，解通，等. 人工智能技术时代法医学科面临的新机遇与挑战[J].法医学杂志，2020，36（1）：77-85. doi：10.12116/j.issn.1004-5619.2020.01.016 .
	FANG Y T， LAN Q， XIE T， et al. New opportunities and challenges for forensic medicine in the era of artificial intelligence technology[J]. Fayixue Zazhi，2020，36（1）：77-85.
[9]	李明杰，林李顺，潘红波. 法医病理学教学切片图片数据库的建立与思考[J].广东公安科技，2021，29（4）：62-63.
	LI M J， LIN L S， PAN H B. Establishment and reflection on an image database of forensic patho-logy teaching slides[J]. Guangdong Gongan Keji，2021，29（4）：62-63.
[10]	幸宇，邢扬，王体春，等. 构建辅助命案现场重建的法医学专家系统[J].重庆医科大学学报，2014，39（10）：1471-1473. doi：10.13406/j.cnki.cyxb.000430 .
	XING Y， XING Y， WANG T C， et al. Construction of forensic medical expert system assisting reconstruction of murder scene[J]. Chongqing Yike Da-xue Xuebao，2014，39（10）：1471-1473.
[11]	STEENKAMP M， FRAZIER L， LIPSKIY N， et al. The National Violent Death Reporting System： An exciting new tool for public health surveillance[J]. Inj Prev，2006，12（S2）：ii3-ii5. doi：10.1136/ip.2006. 012518 .
[12]	The National Coroners Information System as an information tool for injury surveillance[EB/OL]. （2004-03-01）[2025-05-12]. .
[13]	Canadian Coroner and Medical Examiner Database （CCMED）[EB/OL]. （2025-03-03）[2025-05-12]. .
[14]	BLAIR J M， FOWLER K A， JACK S P D， et al. The National Violent Death Reporting System： Overview and future directions[J]. Inj Prev，2016，22（S1）：i6-i11. doi：10.1136/injuryprev-2015-041819 .
[15]	NADKARNI P M， OHNO-MACHADO L， CHAPMAN W W. Natural language processing： An introduction[J]. J Am Med Inform Assoc，2011，18（5）：544-551. doi：10.1136/amiajnl-2011-000464 .
[16]	BALAS M， HERMAN J E， BHAMBRA N， et al. OCTess： An optical character recognition algorithm for automated data extraction of spectral domain optical coherence tomography reports[J]. Retina，2024，44（4）：558-564. doi：10.1097/IAE.0000000000003990 .
[17]	CASCELLA M， MONTOMOLI J， BELLINI V， et al. Evaluating the feasibility of ChatGPT in healthcare： An analysis of multiple clinical and research scenarios[J]. J Med Syst，2023，47：33. doi：10.1007/s10916-023-01925-4 .
[18]	JIANG F， JIANG Y， ZHI H， et al. Artificial intelligence in healthcare： Past， present and future[J]. Stroke Vasc Neurol，2017，2（4）：e000101. doi：10.1136/svn-2017-000101 .
[19]	AROWOSEGBE A， OYELADE T. Application of natural language processing （NLP） in detecting and preventing suicide ideation： A systematic review[J]. Int J Env Res Pub He，2023，20（2）：1514. doi：10.3390/ijerph20021514 .
[20]	PETRONI G， ALAIMO S， MANDARELLI G， et al. A case study of forensic psychiatry experts’ reports analysis through large language models[J]. Int J Law Psychiat，2025，102：102122. doi：10.1016/j.ijlp.2025.102122 .
[21]	SHEN C， LIAN C F， ZHANG W Q， et al. Large-vocabulary forensic pathological analyses via prototypical cross-modal contrastive learning[J]. Nat Commun，2025，16：6773. doi：10.1038/s41467-025-62060-x .
[22]	LAURENÇON H， TRONCHON L， CORD M， et al. What matters when building vision-language models?[C/OL]//38th Conference on Neural Information Processing Systems （NeurIPS 2024. doi：10 .
	52202/079017 -2789. （2024-09-26）[2025-05-16]. .
[23]	MEMON J， SAMI M， KHAN R A， et al. Handwritten optical character recognition （OCR）： A comprehensive systematic literature review （SLR）[J]. IEEE Access，2020，8：142642-142668. doi：10.1109/ACCESS.2020.3012542 .
[24]	ZENG A H， XU B， WANG B W， et al. ChatGLM： A family of large language models from GLM-130B to GLM-4 all tools[J/OL]. arXiv：2406.12793. doi：10.48550/arXiv.2406.12793 . （2024-07-30）[2025-05-16]. .
[25]	于笑天，刘宁国，武胜男，等. 法医学常用术语检索系统的构建[J].法医学杂志，2021，37（6）：873-876. doi：10.12116/j.issn.1004-5619.2021.411110 .
	YU X T， LIU N G， WU S N， et al. Construction of Indexing System of Common Terms in Forensic Medicine[J]. Fayixue Zazhi，2021，37（6）：873-876.
[26]	SALUNKE S V， OUDA A. A performance benchmark for the PostgreSQL and MySQL databases[J]. Future Internet，2024，16（10）：382. doi：10.3390/fi16100382 .
[27]	YU H Y， LI J S， CHEN H， et al. Performance evaluation of post-relational database in hospital information systems[C]// 2010 Second International Workshop on Education Technology and Computer Science，Wuhan，2010：247-251. doi：10.1109/ETCS. 2010.134 .
[28]	MIRANSKYY A V， AL-ZANBOURI Z， GODWIN D， et al. Database engines： Evolution of greenness[J]. J Softw Evol Proc，2018，30（4）：e1915. doi：10.1002/smr.1915 .
[29]	ZHAO J Q， LI M. Large-scale concurrency for MySQL database performance analysis[C]// 2025 8th International Conference on Advanced Algorithms and Control Engineering （ICAACE）， Shanghai，2025：2098-2102. doi：10.1109/ICAACE65325.2025.11020302 .
[30]	BOUH M M， HOSSAIN F， PAUL P， et al. Enhancing medical records digitization through a post-OCR processing technique[C]// 2024 IEEE-EMBS Conference on Biomedical Engineering and Sciences （IECBES）， Penang， Malaysia，2024：311-316. doi：10.1109/IECBES61011.2024.10991279 .
[31]	HARMAN D. Information retrieval evaluation[M]. San Rafael， California： Morgan & Claypool Publishers，2011：77-85.
[32]	JÄRVELIN K， KEKÄLÄINEN J. Cumulated gain-based evaluation of IR techniques[J]. ACM Trans Inf Syst，2002，20（4）：422-446. doi：10.1145/582415.582418 .
[33]	MUWANEI S， RAVANA S D， HOO W L， et al. Prediction of the high-cost normalised discounted cumulative gain （nDCG） measure in information retrieval evaluation[J/OL]. Inform Res，2022，27（2）. doi：10.47989/irpaper928 . [2025-05-16]. .
[34]	MEILIA P D I， FREEMAN M D， HERKUTANTO， et al. A review of causal inference in forensic medicine[J]. Forensic Sci Med Pathol，2020，16（2）：313-320. doi：10.1007/s12024-020-00220-9 .
[35]	MADEA B， PRANGENBERG J， DOBERENTZ E. Feststellung der todesursache[J]. Rechtsmedizin，2022，32：221-236. doi：10.1007/s00194-021-00548-8 .
[36]	STAHLSCHMIDT S R， ULFENBORG B， SYNNERGREN J. Multimodal deep learning for biomedical data fusion： A review[J]. Brief Bioinform，2022，23（2）：bbab569. doi：10.1093/bib/bbab569 .
[37]	WEISS H B， GUTIERREZ M I， HARRISON J， et al. The US National Violent Death Reporting System： Domestic and international lessons for violence injury surveillance[J]. Inj Prev，2006，12（S2）：ii58-ii62. doi：10.1136/ip.2006.013961 .
[38]	KIUCHI T， YOSHIDA K， KOTANI H， et al. Legal Medicine Information System using CDISC ODM[J]. Leg Med （Tokyo），2013，15（6）：332-334. doi：10 .
	1016/j.legalmed.2013.08.003.
[39]	LIU G S， NGUYEN B L， LYONS B H， et al. Surveillance for violent deaths — National Violent Death Reporting System， 48 States， the District of Columbia， and Puerto Rico， 2020[J]. MMWR Surveill Summ，2023，72（5）：1-38. doi：10.15585/mmwr.ss7205a1 .
[40]	BHARDWAJ R， KUMARI S， JACOB J J， et al. Enhancing OCR for historical documents using CNNs and GenAI[M]// MAHAPATRA R P， SINGH R， MISHRA S， et al. Micro-electronics and telecommunication engineering： Proceedings of 8th ICMETE 2024. Singapore： Springer Nature Singapore，2025：257-275. doi：10.1007/978-981-96-6515-0_19 .
[41]	PONCELAS A， ABOOMAR M， BUTS J， et al. A tool for facilitating OCR postediting in historical documents[J/OL]. arXiv：2004.11471. doi：10.48550/arXiv.2004.11471 . （2020-04-23）[2025-05-18]. .
[42]	BAI J， SONG D W， BRUZA P， et al. Query expansion using term relationships in language models for information retrieval[C]// Proceedings of the 14th ACM International Conference on Information and Knowledge Management. New York，2005：688-695. doi：10.1145/1099554.1099725 .
[43]	MOURÃO A， MARTINS F， MAGALHÃES J. Multimodal medical information retrieval with unsupervised rank fusion[J]. Comput Med Imag Grap，2015，39：35-45. doi：10.1016/j.compmedimag.2014.05.006 .
[44]	TIAN Z Q， HAN L F， XI Z Y， et al. Legal similar case retrieval model based on concept tree and optimal transport[C]// ZHANG Q H， HENRY C， JENSEN R， et al. Rough sets： International Joint Conference， IJCRS 2025， Chongqing， China， May 11-13， 2025. Cham： Springer Nature Switzerland，2025：301-315. doi：10.1007/978-3-031-92744-7_21 .
[45]	HEFETZ I. Evaluating bias in forensic evidence： From expert analysis to AI-based decision tools[J]. Forensic Sci Int Synerg，2025，11：100645. doi：10. 1016/j.fsisyn.2025.100645 .

案件类型	数据内容
案件类型	鉴定文书/份	大体照片/张	器官取材（检验）照片/张	组织病理学图像/张
合计	2 641	11 095	4 975	3 203
尸表检查	1 707	6 533	0	0
尸体解剖	636	4 562	4 674	3 203
医疗纠纷	254	0	0	0
检验^1）	44	0	301	0

案件类型	数据内容
案件类型	鉴定文书/份	大体照片/张	器官取材（检验）照片/张	组织病理学图像/张
合计	2 641	11 095	4 975	3 203
尸表检查	1 707	6 533	0	0
尸体解剖	636	4 562	4 674	3 203
医疗纠纷	254	0	0	0
检验^1）	44	0	301	0

权限层级	系统角色	权限和职责	数据可见范围	代表人群^1）
L1	超级管理员	系统运维、全局配置、所有角色管理	全局数据（操作日志，系统底层数据）	数据库负责人或信息科
L2	管理员	业务管理、审核、数据纠错、子管理员管理	机构或业务数据（除系统配置外的所有数据）	机构负责人或科室主任
L3	子管理员	部门管理、任务分配、初审	部门数据（管辖范围内的数据）	部门负责人
L4	操作员	数据录入、日常业务处理	个人数据（仅自己创建或被指派的数据）	鉴定人或法医助理
L5	游客	公开信息浏览、查询	公开数据（脱敏后的非机密数据或统计结果）	委托方或其他

权限层级	系统角色	权限和职责	数据可见范围	代表人群^1）
L1	超级管理员	系统运维、全局配置、所有角色管理	全局数据（操作日志，系统底层数据）	数据库负责人或信息科
L2	管理员	业务管理、审核、数据纠错、子管理员管理	机构或业务数据（除系统配置外的所有数据）	机构负责人或科室主任
L3	子管理员	部门管理、任务分配、初审	部门数据（管辖范围内的数据）	部门负责人
L4	操作员	数据录入、日常业务处理	个人数据（仅自己创建或被指派的数据）	鉴定人或法医助理
L5	游客	公开信息浏览、查询	公开数据（脱敏后的非机密数据或统计结果）	委托方或其他

参数	设定值
最大序列长度	1 024 token
批次大小	2
梯度累积步数	2
有效批次大小	4
优化器（AdamW）学习率	5×10^-5
训练精度	float16
LoRA秩	16
LoRA缩放系数（α）	32
随机失活率	0.05