上海交通大学/清华大学/新加坡国立大学三校联合开发了一种用于原发性糖尿病护理和DR筛查图像语言系统！

由于缺乏训练有素的初级保健医生(PCPs)，特别是在资源匮乏的地区，初级糖尿病护理和糖尿病视网膜病变(DR)筛查仍然是主要的公共卫生挑战。

2024年7月19日，上海交通大学贾伟平、Sheng Bin、李华婷、新加坡国立大学Yih-Chung Tham、清华大学黄天荫共同通讯在Nature Medicine在线发表题为“Integrated image-based deep learning and language models for primary diabetes care”的研究论文，该研究开发了一个集成的图像语言系统(DeepDR-LLM)，结合了大型语言模型(LLM模块)和基于图像的深度学习(DeepDR-Transformer)，为PCPs提供个性化的糖尿病管理建议。

在一项回顾性评估中，LLM模块在英语测试中表现出与PCPs和内分泌科住院医生相当的性能，并且优于PCPs和与中文内分泌科住院医生相当的性能。对于识别可参考的DR, PCP的平均准确率为81.0%，在DeepDR-Transformer的辅助下为92.3%。此外，还进行了一项单中心现实世界前瞻性研究，部署了DeepDR-LLM。研究人员比较了无辅助PCP组(n = 397)和PCP+DeepDR-LLM组(n = 372)患者的糖尿病管理依从性。PCP+DeepDR-LLM组新诊断糖尿病患者在随访过程中表现出更好的自我管理行为(P < 0.05)。对于转诊DR的患者，PCP+DeepDR-LLM组患者更有可能坚持转诊DR (P < 0.01)。此外，DeepDR-LLM的部署提高了管理建议的质量和同理心水平。鉴于其多方面的性能，DeepDR-LLM有望成为加强原发性糖尿病护理和DR筛查的数字解决方案。

糖尿病视网膜病变(DR)是糖尿病最常见的特殊并发症，影响了30-40%的糖尿病患者，并且仍然是导致经济活动、工作年龄成年人失明的主要原因。DR的存在也意味着其他地方(例如肾脏、心脏和大脑)并发症的风险增加。因此，常规DR筛查已被普遍推荐为原发性糖尿病护理的关键部分。然而，由于缺乏基础设施、人力和可持续的、具有成本效益的DR筛查项目，在中低收入国家的低资源环境中，DR筛查经常被忽视。

最近，实现自然语言理解和生成的大型语言模型(LLMs) 得到了迅速发展，并在增强医疗保健服务提供方面显示出希望。LLMs具有优化患者监测、个性化治疗计划和患者教育的潜力，有可能改善糖尿病和视网膜疾病患者的预后。然而，虽然LLMs在回答一些一般医学问题方面表现良好，但目前的LLMs在为主要特定疾病(如糖尿病)提供可靠和详细的管理建议方面存在不足。

DeepDR-LLM系统架构（图源自Nature Medicine）

该研究开发了一个集成的图像语言系统，协同结合了LLM模块和基于图像的深度学习模块(DeepDR-Transformer)。DeepDR-LLM系统可以根据糖尿病患者的视网膜图像和常规临床数据为他们提供个性化的高质量和同理心的管理建议。这种集成的数字解决方案可以提供补充功能，以加强个性化的糖尿病管理，并可能在低资源但高容量的环境中有用。鉴于其多方面的性能和潜在的影响，该系统有望成为一种数字解决方案用于初级糖尿病护理管理，尤其与世界上80%生活在服务不足、资源有限环境中的糖尿病人口相关。

参考信息：

https://www.nature.com/articles/s41591-024-03139-8