近年來(lái)，人工智能，特別是深度學(xué)習(xí)在糖尿病及并發(fā)癥管理中發(fā)揮著越來(lái)越重要的作用。既往的人工智能系統(tǒng)研發(fā)主要集中在糖尿病的并發(fā)癥篩查或輔助管理的單一領(lǐng)域。隨著全球范圍內(nèi)生成式人工智能技術(shù)的迅猛發(fā)展，多模態(tài)大模型正不斷推動(dòng)醫(yī)療領(lǐng)域的新應(yīng)用場(chǎng)景和模式的涌現(xiàn)，但這些模型尚不能提供準(zhǔn)確且安全的糖尿病綜合診療建議。

據(jù)悉，針對(duì)當(dāng)前的技術(shù)空白和臨床的實(shí)際需求，DeepDR-LLM系統(tǒng)由LLM模塊和DeepDR-Transformer模塊組成。LLM模塊突破低算力資源約束下的多模態(tài)大模型優(yōu)化的“瓶頸”；同時(shí)，基于37.2萬(wàn)條基層慢病診療和慢病管理數(shù)據(jù)和知識(shí)實(shí)現(xiàn)了高效優(yōu)化訓(xùn)練，使DeepDR-LLM系統(tǒng)可基于患者個(gè)體的臨床信息生成精準(zhǔn)糖尿病管理意見(jiàn)。DeepDR-Transformer模塊通過(guò)針對(duì)超50萬(wàn)張眼底圖像進(jìn)行訓(xùn)練，可精準(zhǔn)實(shí)現(xiàn)眼底影像的質(zhì)量檢測(cè)、病變分割和DR分級(jí)診斷 ，實(shí)現(xiàn)DeepDR-LLM系統(tǒng)的一站式多模態(tài)診療意見(jiàn)集成。

經(jīng)過(guò)國(guó)際多學(xué)科專(zhuān)家委員會(huì)的多維度評(píng)估，DeepDR-LLM系統(tǒng)產(chǎn)出診療意見(jiàn)的質(zhì)量達(dá)到或優(yōu)于基層醫(yī)生的水平；通過(guò)來(lái)自多個(gè)中國(guó)城市和新加坡、印度、泰國(guó)、英國(guó)、阿爾及利亞、烏茲別克斯坦6個(gè)國(guó)家的超50萬(wàn)張眼底圖像對(duì)DeepDR-LLM系統(tǒng)進(jìn)行外部測(cè)試，科研人員發(fā)現(xiàn)，DeepDR-LLM系統(tǒng)的DR診斷能力達(dá)到專(zhuān)業(yè)眼科醫(yī)生水平。研究團(tuán)隊(duì)同時(shí)證明：基層醫(yī)生在DeepDR-LLM系統(tǒng)的輔助下能夠更準(zhǔn)確地判讀DR 。

半岛官方网站DeepDR-LLM系統(tǒng)融合了大語(yǔ)言模型和深度學(xué)習(xí)技術(shù)優(yōu)勢(shì)，實(shí)現(xiàn)了醫(yī)學(xué)影像診斷與診療意見(jiàn)的多模態(tài)生成功能，能提供糖尿病視網(wǎng)膜病變輔助診斷結(jié)果及個(gè)性化的糖尿病綜合管理意見(jiàn)。該系統(tǒng)在覆蓋亞非歐區(qū)域七個(gè)國(guó)家(地區(qū))的多中心隊(duì)列中進(jìn)行了回顧性驗(yàn)證，針對(duì)中國(guó)基層醫(yī)療實(shí)際開(kāi)展了前瞻性真實(shí)世界驗(yàn)證，進(jìn)而向全球提供了面向糖尿病醫(yī)療垂直領(lǐng)域的多模態(tài)大模型應(yīng)用成效的高質(zhì)量循證證據(jù)。

研究團(tuán)隊(duì)將集成的DeepDR-LLM系統(tǒng)應(yīng)用于真實(shí)世界臨床流程，開(kāi)展了隨訪769名中國(guó)基層糖尿病患者的前瞻性研究。結(jié)果表明， DeepDR-LLM系統(tǒng)被納入糖尿病診療流程后，可顯著改善新發(fā)糖尿病患者的自我管理行為，并提高DR患者的轉(zhuǎn)診依從性。

據(jù)介紹，上海交通大學(xué)醫(yī)學(xué)院附屬第六人民醫(yī)院賈偉平教授、李華婷教授團(tuán)隊(duì)與上海交通大學(xué)電院計(jì)算機(jī)系/教育部人工智能重點(diǎn)實(shí)驗(yàn)室盛斌教授團(tuán)隊(duì)，攜手清華大學(xué)黃天蔭教授團(tuán)隊(duì)與新加坡國(guó)立大學(xué)覃宇宗教授團(tuán)隊(duì)共同獲得的研究成果在最新一期知名學(xué)術(shù)期刊Nature Medicine上發(fā)表。