全球首个！清华/上海交大等联合构建面向糖尿病诊疗的视觉-大语言模型，登 Nature 子刊
输入“/”快速插入内容
全球首个！清华/上海交大等联合构建面向糖尿病诊疗的视觉-大语言模型，登 Nature 子刊
全球首个！清华/上海交大等联合构建面向糖尿病诊疗的视觉-大语言模型，登 Nature 子刊
用户32862024年8月15日修改
糖尿病是全球上升最快的主要慢性病，可造成失明、肾功能衰竭、截肢、脑卒中、心肌梗死等，亦与肿瘤感染等密切相关。其中，糖尿病视网膜病变 (diabetic retinopathy, DR) 是糖尿病患者最常见的进行性眼部微血管并发症，能够影响 30-40% 的糖尿病患者。
更重要的是，DR 的存在也预示着其他并发症 (如肾脏、心脏和大脑) 风险的增加，因此，定期的 DR 筛查已被推荐作为初级糖尿病护理的关键部分。然而，由于基础设施和人力资源的短缺，以及居高不下的成本问题，DR 筛查在中低收入国家常常被忽视。
近年来，人工智能特别是深度学习在糖尿病及其并发症管理领域发挥着越来越重要的作用。然而，过去的解决方案通常集中在糖尿病的并发症筛查或辅助管理的单一领域，很少同时整合这两个重要方面。如何将糖尿病诊疗意见的自动生成与糖尿病眼部并发症的精准诊断进行有效整合，进而构建出一个安全、可控的多模态智能模型，以支持基层医生实现一站式辅助诊疗服务，正是当前国际医疗领域的前沿趋势和重要挑战。
在此背景下，清华大学副教务长、医学院主任黄天荫教授团队，上海交通大学电院计算机系/教育部人工智能重点实验室盛斌教授团队，上海交通大学医学院附属第六人民医院贾伟平教授及李华婷教授团队，新加坡国立大学及新加坡国家眼科中心覃宇宗教授团队通力合作，成功构建全球首个面向糖尿病诊疗的视觉-大语言模型集成系统 DeepDR-LLM。
相关研究成果于以「 Integrated image-based deep learning and language models for primary diabetes care」为题， 已发表于 Nature Medicine。
DeepDR-LLM 系统融合了大语言模型和基于眼底图像的深度学习技术，为基层医生提供个性化的糖尿病管理意见及糖尿病视网膜病变辅助诊断结果。该系统在覆盖亚非欧 3 大区域、7 个国家的多中心队列中进行了回顾性验证，并通过针对中国基层医疗场景开展前瞻性真实世界研究验证，首次提供了面向糖尿病医疗垂直领域的多模态大模型()应用效果的高质量循证证据。DeepDR-LLM 系统有望大幅改善中低收入国家的基层糖尿病管理和 DR 筛查水平，为未来全球糖尿病管理提供革命性的数字解决方案。
研究亮点：
•
本研究创新性地提出融合适配器 (Adaptor) 和低秩自适应 (Low-Rank Adaptation, LoRA) 协同优化技术
•
DeepDR-Transformer 模块引入 Transformer 模型架构针对超 50 万张眼底图像进行训练，精准实现眼底影像的质量检测、病变分割和 DR 分级诊断
•
DeepDR-LLM 系统纳入糖尿病诊疗流程后，可显著改善新发糖尿病患者的自我管理行为，提高 DR 患者的转诊依从性
关注公众号，后台回复「糖尿病诊疗LLM」获取完整 PDF
数据集下载地址：
开源项目「awesome-ai4s」汇集了百余篇 AI4S 论文解读，并提供海量数据集与工具：
数据集：14 个独立的横断面数据集
本研究纳入了 14 个独立的横断面数据集，包含了 7 个糖尿病患者的标准眼底图像，以及 7 个便携式眼底图像的独立横断面数据集。对于标准眼底图像的数据集，2 个数据集用于开发和内部验证 DeepDR-Transformer 模块，分别为：上海整合模型 (SIM) 队列和上海糖尿病预防计划 (SDPP) 队列。
此外，研究还选取了 12 个多种族数据集进行外部验证，分别为：尼城糖尿病筛查项目 (NDSP()) 队列、糖尿病视网膜病变进展研究 (DRPS) 队列、武汉同济健康管理 (WTHM) 队列、北京协和糖尿病管理 (PUDM) 队列、中国国家糖尿病并发症()研究 (CNDCS) 队列、广州糖尿病眼病研究 (GDES) 队列、香港中文大学-威胁视力的糖尿病视网膜病变 (CUHK-STD) 队列、新加坡眼病流行病学研究 (SEED) 队列、新加坡国家糖尿病视网膜病变筛查项目 (SiDRP) 队列、桑卡拉内斯拉糖尿病视网膜病变流行病学和分子遗传学研究 (SN-DREAMS) 队列、泰国国家糖尿病视网膜病变筛查项目 (TNDRSP) 队列和英国生物银行 (UKB) 队列。