大語(yǔ)言模型（LLM），例如 ChatGPT、Gemini，推動(dòng)了自然語(yǔ)言處理（NLP）技術(shù)的迅猛發(fā)展，這些技術(shù)能夠?qū)崿F(xiàn)文本理解以及類似人類的響應(yīng)生成。
之前的大語(yǔ)言模型已顯示出解讀放射影像的潛力，從而有助于異常檢測(cè)并輔助做出診斷決策。GPT-4o 是 OpenAI 于 2024 年 5 月發(fā)布的最新視覺(jué)大語(yǔ)言模型，能夠?qū)崟r(shí)對(duì)音頻、視覺(jué)和文本進(jìn)行推理處理，突顯了其在多模態(tài)醫(yī)療應(yīng)用中的潛在用途。然而，基于視覺(jué)大語(yǔ)言模型的視頻處理在臨床環(huán)境中的應(yīng)用尚未得到探索。
2025年3月4日，中國(guó)醫(yī)科大學(xué)宋江典、張麗娜、裴冬梅等人在 Cell 子刊 Cell Reports Medicine 上發(fā)表了題為：Assessments of Lung Nodules by an Artificial Intelligence Chatbot Using Longitudinal CT Images 的研究論文。
該研究證明，當(dāng)前多模態(tài)視覺(jué)大語(yǔ)言模型 GPT-4o 能夠在肺癌患者隨訪 CT 掃描圖像上對(duì)肺部癌變影像特征進(jìn)行精準(zhǔn)的放射學(xué)表述報(bào)告，動(dòng)態(tài)監(jiān)測(cè)癌變趨勢(shì)，并對(duì)隨訪過(guò)程中病變尺寸變化進(jìn)行準(zhǔn)確測(cè)量。
在基于計(jì)算機(jī)斷層掃描（CT）圖像的肺癌分析的背景下，深度學(xué)習(xí)的進(jìn)步顯著影響了腫瘤的篩查和診斷。然而，深度學(xué)習(xí)模型的輸出通常缺乏可解釋的推理，這給臨床應(yīng)用帶來(lái)了挑戰(zhàn)，盡管它們有經(jīng)過(guò)驗(yàn)證的性能指標(biāo)。這種限制源于深度學(xué)習(xí)算法的復(fù)雜性，其中內(nèi)部決策過(guò)程對(duì)最終用戶來(lái)說(shuō)仍然很大程度上是模糊的。盡管傳統(tǒng)的臨床推理遵循醫(yī)師可以向患者解釋的明確診斷路徑，但深度學(xué)習(xí)模型通常只提供預(yù)測(cè)，而不揭示導(dǎo)致其結(jié)論的具體特征或模式。
近期，GPT 模型已展現(xiàn)出能夠根據(jù)放射學(xué)報(bào)告自動(dòng)標(biāo)注腫瘤表型并確定 TNM 分期的潛力。然而，能夠動(dòng)態(tài)測(cè)量一系列 CT 圖像中肺結(jié)節(jié)大小和特征的變化對(duì)于評(píng)估惡性腫瘤風(fēng)險(xiǎn)的進(jìn)展以及指導(dǎo)及時(shí)的臨床干預(yù)至關(guān)重要，尤其是對(duì)于早期肺癌而言。
大量的臨床證據(jù)表明，結(jié)節(jié)直徑的增大與惡性腫瘤風(fēng)險(xiǎn)之間存在關(guān)聯(lián)。因此，通過(guò)后續(xù)的 CT 評(píng)估來(lái)追蹤動(dòng)態(tài)結(jié)節(jié)變化，能夠?yàn)闈撛趷盒燥L(fēng)險(xiǎn)的評(píng)估提供有價(jià)值的見(jiàn)解。
目前，這一過(guò)程需要放射科醫(yī)生對(duì)每一張后續(xù)的 CT 圖像進(jìn)行人工審查；因此，結(jié)節(jié)變化的評(píng)估耗時(shí)且易受觀察者間差異的影響。這種差異在中期 CT 掃描中存在細(xì)微但關(guān)鍵的細(xì)節(jié)時(shí)尤為明顯，比如小支氣管受累或血管侵犯——這些都是惡性腫瘤進(jìn)展的關(guān)鍵指標(biāo)。結(jié)節(jié)特征動(dòng)態(tài)變化的自動(dòng)化評(píng)估能夠顯著提高放射學(xué)效率，并有助于早期發(fā)現(xiàn)和及時(shí)管理肺癌高?；颊?。
在這項(xiàng)最新研究中，研究團(tuán)隊(duì)旨在利用 GPT-4o 的先進(jìn)功能，通過(guò)個(gè)體患者的縱向 CT 隨訪圖像來(lái)估計(jì)肺結(jié)節(jié)惡性的概率以及結(jié)節(jié)大小和特征的動(dòng)態(tài)變化。通過(guò)模擬放射科醫(yī)生在查看 CT 圖像視頻時(shí)所采用的視覺(jué)檢查程序，該研究旨在評(píng)估 GPT-4o 準(zhǔn)確評(píng)估結(jié)節(jié)特征隨時(shí)間變化的能力，并確定 GPT-4o 在肺癌篩查和臨床監(jiān)測(cè)中提高診斷準(zhǔn)確性和效率的潛力。
研究團(tuán)隊(duì)評(píng)估了最新的生成式預(yù)訓(xùn)練模型 GPT-4o 對(duì) 647 名患者（其中 547 名來(lái)自中國(guó)醫(yī)科大學(xué)第四附屬醫(yī)院和中國(guó)醫(yī)科大學(xué)附屬盛京醫(yī)院，另外 100 名來(lái)自一個(gè)公共數(shù)據(jù)集）的縱向 CT 掃描圖像中肺結(jié)節(jié)惡性概率、大小和特征變化的評(píng)估能力。
結(jié)果顯示，GPT-4o 在預(yù)測(cè)肺結(jié)節(jié)惡性程度方面，與病理結(jié)果相比平均準(zhǔn)確率為 0.88，在測(cè)量結(jié)節(jié)大小方面，與放射科醫(yī)生的手動(dòng)測(cè)量相比，平均組內(nèi)相關(guān)系數(shù)為 0.91。六位放射科醫(yī)生的評(píng)估表明，GPT-4o 能夠捕捉結(jié)節(jié)特征的變化，其 Likert 評(píng)分評(píng)分的中位數(shù)為 4.17（滿分 5.00）。
該研究的亮點(diǎn)：
● GPT-4o 在縱向 CT 圖像中評(píng)估肺結(jié)節(jié)的惡性進(jìn)展情況；
● GPT-4o 監(jiān)測(cè)結(jié)節(jié)大小和紋理特征的動(dòng)態(tài)變化；
● 與深度學(xué)習(xí)模型相比，GPT-4o 提供了可解釋的預(yù)測(cè)結(jié)果；
● GPT-4o 提供精準(zhǔn)的放射學(xué)見(jiàn)解，以支持臨床決策。
總的來(lái)說(shuō)，這項(xiàng)研究借助于當(dāng)前多模態(tài)視覺(jué)大語(yǔ)言模型對(duì)圖像（特別是視頻數(shù)據(jù)）的前沿解析能力，設(shè)計(jì)了基于 GPT-4o 的 CT 圖像肺癌病變自動(dòng)分析工作流程。該研究將單次掃描的連續(xù) CT 圖像組成視頻，把每個(gè)患者多時(shí)間點(diǎn)隨訪 CT 視頻數(shù)據(jù)依次輸入 GPT-4o 的工作流程，結(jié)果發(fā)現(xiàn)，當(dāng)前視覺(jué)大語(yǔ)言模型能夠在 Prompt（提示詞）給定病變坐標(biāo)的前提下，準(zhǔn)確識(shí)別并分割出病變區(qū)域?；谒R(shí)別的病變區(qū)域，以標(biāo)準(zhǔn)放射學(xué)報(bào)告語(yǔ)言輸出病變尺寸、邊界、形態(tài)、紋理等影像征象在隨訪過(guò)程中的變化，并在動(dòng)態(tài)隨訪監(jiān)測(cè)過(guò)程中實(shí)時(shí)調(diào)整對(duì)病變區(qū)域癌變概率的評(píng)估，顯著提高了肺癌病變風(fēng)險(xiǎn)預(yù)測(cè)精度。
總的來(lái)說(shuō)，這項(xiàng)研究為臨床上更精準(zhǔn)地評(píng)估肺癌患者癌變風(fēng)險(xiǎn)概率，并為個(gè)體化的肺癌患者動(dòng)態(tài)監(jiān)測(cè)與臨床管理提供了新思路。
論文鏈接：
https://www.cell.com/cell-reports-medicine/fulltext/S2666-3791(25)00061-8
合作咨詢
肖女士
021-33392297
Kelly.Xiao@imsinoexpo.com
2006-2025 上海博華國(guó)際展覽有限公司版權(quán)所有（保留一切權(quán)利）
滬ICP備05034851號(hào)-57
