大模型浪潮下，醫(yī)療領(lǐng)域發(fā)生了深刻變革。自去年多個醫(yī)療大模型發(fā)布以來，各廠商都在積極探索如何與公立醫(yī)院合作，將這些大模型落地到實際的場景中。

以體檢報告生成為例，在大模型的助力下，現(xiàn)在醫(yī)院平均每5秒即可自動生成一份總檢報告，為醫(yī)生節(jié)約超過50%的撰寫時間。每日可自動生成超過500份體檢報告，報告采納率達到96%以上。

此外，多家醫(yī)院的“AI醫(yī)生”也都可以直接在線上使用，能實現(xiàn)“望體征、聞聲音、問病情、切病因”，成為用戶身邊的健康助手。

復(fù)旦大學(xué)附屬華山醫(yī)院信息中心副主任劉從進對第一財經(jīng)記者表示：“大語言模型在醫(yī)療領(lǐng)域的應(yīng)用越來越深入，不僅提升了效率，也優(yōu)化了醫(yī)療質(zhì)量。”

科技公司抱緊頭部公立醫(yī)院

第一財經(jīng)記者梳理，目前醫(yī)療大模型的主要場景為：全病程管理、醫(yī)療影像數(shù)智化、診后康復(fù)管理、輔助診斷、藥物/器械研發(fā)、文獻搜索、手術(shù)病歷撰寫、門診病歷生成、醫(yī)療報告小結(jié)、檢驗報告智能解讀、問診對話、醫(yī)院管理、用戶健康助手、智慧導(dǎo)診等。

但不同于其他領(lǐng)域的大模型，醫(yī)療大模型在多模態(tài)、安全性、專業(yè)性能力上面都提出了更高的挑戰(zhàn)。隨著醫(yī)學(xué)研究對多模態(tài)數(shù)據(jù)治理能力及數(shù)據(jù)標準化的要求越來越高，這就需要產(chǎn)業(yè)界和醫(yī)療機構(gòu)進一步加深合作。

近日，商湯醫(yī)療在上海世界人工智能大會上宣布，與包括瑞金、華西、新華、西京、中科大附屬第一醫(yī)院在內(nèi)的頭部醫(yī)院啟動醫(yī)療多模態(tài)大模型賦能的智慧醫(yī)院建設(shè)示范樣板，利用醫(yī)療大模型幫助醫(yī)院建立“中樞大腦”，實現(xiàn)對智慧醫(yī)院建設(shè)的底層賦能。

支付寶在這次大會上成為最新入局醫(yī)療大模型的互聯(lián)網(wǎng)公司，其發(fā)布的多模態(tài)醫(yī)療大模型，可提供智能問答、病歷結(jié)構(gòu)化和檢索、輔助診斷，識別和解讀藥品及上百種復(fù)雜醫(yī)學(xué)報告。支付寶還與20多家機構(gòu)和企業(yè)聯(lián)合發(fā)起AI醫(yī)療共建計劃，共同探索大模型應(yīng)用及各類?？颇Ｐ偷膭?chuàng)新研發(fā)。

本月，神州醫(yī)療也與南方醫(yī)科大學(xué)南方醫(yī)院合作建立了國內(nèi)首個全院級多模態(tài)數(shù)據(jù)平臺。

“手握大量優(yōu)質(zhì)數(shù)據(jù)資源的公立醫(yī)院，才是醫(yī)療大模型主導(dǎo)權(quán)的真正掌控者。”一位業(yè)內(nèi)人士對第一財經(jīng)記者表示。

上海交通大學(xué)醫(yī)學(xué)院附屬瑞金醫(yī)院副院長、上海市數(shù)字醫(yī)學(xué)創(chuàng)新中心常務(wù)副主任胡偉國在本月初的一場醫(yī)療大模型創(chuàng)新發(fā)展論壇上表示，基于高品質(zhì)和豐富的醫(yī)學(xué)大數(shù)據(jù)，瑞金醫(yī)院發(fā)布了醫(yī)學(xué)加強的基座大模型，推出了適配應(yīng)用的語言大模型和多模態(tài)大模型，并在電子病歷生成、體檢報告生成、智能咨詢、瑞金AI醫(yī)生等領(lǐng)域的應(yīng)用持續(xù)深耕。

大模型已在公立醫(yī)院多場景落地

第一財經(jīng)記者了解到，上海幾乎所有的頭部醫(yī)院都在積極探索大模型在醫(yī)院各個管理環(huán)節(jié)的應(yīng)用。復(fù)旦大學(xué)附屬中山醫(yī)院也已經(jīng)發(fā)布了一款用于體檢的AI輔助工具，可分析各科室全量體檢結(jié)果與科室小結(jié)數(shù)據(jù)，自動提取異常項，參考相關(guān)專家共識，基于異常檢查結(jié)果對健康的危害程度，進行重要異常結(jié)果的急重緩輕排序，然后按照器官系統(tǒng)與疾病一元論等原則進行異常結(jié)果合并分析?；诋惓＝Y(jié)果分級評分排序及合并分析，生成主檢結(jié)論與健康建議，內(nèi)容涵蓋不同分級對應(yīng)的指導(dǎo)要素。

復(fù)旦大學(xué)附屬中山醫(yī)院黨委書記顧建英表示， 中山醫(yī)院以海量數(shù)據(jù)資產(chǎn)為數(shù)據(jù)服務(wù)基礎(chǔ)建設(shè)未來醫(yī)院，并創(chuàng)新實踐了元醫(yī)療、AI語音導(dǎo)診等多個醫(yī)療服務(wù)場景。

“應(yīng)該將大模型技術(shù)與醫(yī)學(xué)知識、醫(yī)療數(shù)據(jù)融為一體，引導(dǎo)技術(shù)創(chuàng)新與人民健康需求相結(jié)合，重點推動醫(yī)療大模型在臨床診斷與治療、健康管理等領(lǐng)域的應(yīng)用，產(chǎn)生更大的健康價值和社會效益。”顧建英稱。

華山醫(yī)院的劉從進對第一財經(jīng)記者表示，目前在華山醫(yī)院，大模型主要用于三大場景，包括生成式電子病歷系統(tǒng)、生成式慢病隨訪系統(tǒng)以及大模型在全病程管理中的應(yīng)用。

他進一步解釋稱，生成式電子病歷系統(tǒng)體現(xiàn)了大語言模型在醫(yī)療信息處理方面的高效性。系統(tǒng)設(shè)計涵蓋了從語音轉(zhuǎn)錄、病歷段落結(jié)構(gòu)化、基本元素整理到專科電子病歷的創(chuàng)建全過程，包括入院記錄、查房記錄、病程記錄、手術(shù)記錄等信息，這些信息通過大語言模型被自動轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)。

“智能生成的電子病歷嚴格遵守醫(yī)療規(guī)則，確保內(nèi)容的準確性和合規(guī)性。這一系統(tǒng)不僅提高了病歷編寫的效率，同時也保證了病歷質(zhì)量，減少了人為錯誤，加強了數(shù)據(jù)的完整性和連續(xù)性。”劉從進表示。

在慢病隨訪系統(tǒng)中，大模型通過對出院小結(jié)的深度解析，能夠快速提取患者的關(guān)鍵隨訪信息，如用藥指導(dǎo)、處理建議和定期檢查安排，從而生成個性化的隨訪計劃?；颊呖赏ㄟ^隨訪小程序接收提醒，管理用藥計劃，跟蹤隨訪進度，而醫(yī)生則能在系統(tǒng)中審核并調(diào)整隨訪策略，確保治療方案的持續(xù)性和有效性。這一系統(tǒng)極大地方便了醫(yī)患雙方，提高了慢病管理的效率和患者的生活質(zhì)量。

“通專融合”，提升大模型能力

商湯科技副總裁張少霆告訴第一財經(jīng)記者，目前醫(yī)院使用的大模型可以以“通才調(diào)專才”的方式來實現(xiàn)多模態(tài)能力。通過“通才”模型和“專才”模型的相互配合，以通才模型作為任務(wù)規(guī)劃的“中樞大腦”，智能調(diào)度覆蓋醫(yī)學(xué)文本、放射影像、病理圖像等多種數(shù)據(jù)模態(tài)的專用模型，輔助醫(yī)生完成跨科室、跨模態(tài)的復(fù)雜診斷推理。

他進一步稱，所謂的“通才”模型，是指醫(yī)療領(lǐng)域的大型語言模型，例如商湯醫(yī)療研發(fā)的醫(yī)療大語言模型“大醫(yī)”。同時商湯已具備一系列精通不同模態(tài)醫(yī)學(xué)圖像分析的領(lǐng)域?qū)Ｓ媚Ｐ停栽黾犹囟ㄈ蝿?wù)中的優(yōu)勢能力，通過“通專融合”的路徑打造“醫(yī)療多模態(tài)智能體”，助力智慧醫(yī)院建設(shè)。

為更好地推進“通專融合”創(chuàng)新，面向病理科，商湯醫(yī)療聯(lián)合中華醫(yī)學(xué)會病理學(xué)分會王哲副主委團隊、清華大學(xué)何永紅教授團隊，發(fā)布了國內(nèi)首個病理大模型PathOrchestra。

“病理圖像具有非常大的多樣性，要借助人工智能技術(shù)開展診斷難度極大，因此病理圖像處理也被稱為圖像處理中的皇冠上的明珠。病理大模型正是突破數(shù)字病理瓶頸的關(guān)鍵。”王哲表示。

該模型基于近30萬張全切片數(shù)字病理圖像（近300TB數(shù)據(jù)）數(shù)據(jù)集訓(xùn)練，并融合了文本、視頻等多模態(tài)訓(xùn)練數(shù)據(jù)，通過對海量數(shù)據(jù)的自監(jiān)督學(xué)習(xí)，無需大量精標注數(shù)據(jù)，即可分析肺、乳腺、肝臟、食管等20余種器官的病理圖像，實現(xiàn)包括泛癌分類、病灶識別和檢測、多癌種亞型分類、生物標志物評估等在內(nèi)的百余項臨床任務(wù)。

復(fù)旦大學(xué)智能醫(yī)學(xué)研究院常務(wù)副院長劉雷對記者表示，大模型主要依托高性能計算資源、數(shù)據(jù)資源和知識庫資源這三大要素。針對知識庫資源，復(fù)旦大學(xué)醫(yī)學(xué)大模型（OTMed）結(jié)合了基座大語言模型的理解、生成、推理、創(chuàng)造能力和多模態(tài)的生物醫(yī)學(xué)知識，能增強專業(yè)能力，實現(xiàn)生物醫(yī)學(xué)智能問答。