上海交大&上海AI Lab發(fā)布178頁(yè)GPT-4V醫(yī)療案例測(cè)評(píng)，首次全面揭秘GPT-4V醫(yī)療領(lǐng)域視覺(jué)性能。

在大型基礎(chǔ)模型的推動(dòng)下，人工智能的發(fā)展近來(lái)取得了巨大進(jìn)步，尤其是 OpenAI 的 GPT-4，其在問(wèn)答、知識(shí)方面展現(xiàn)出的強(qiáng)大能力點(diǎn)亮了 AI 領(lǐng)域的尤里卡時(shí)刻，引起了公眾的普遍關(guān)注。

GPT-4V (ision) 是 OpenAI 最新的多模態(tài)基礎(chǔ)模型。相較于 GPT-4，它增加了圖像與語(yǔ)音的輸入能力。該研究則旨在通過(guò)案例分析評(píng)估 GPT-4V (ision) 在多模態(tài)醫(yī)療診斷領(lǐng)域的性能，一共展現(xiàn)并分析共計(jì)了 128（92 個(gè)放射學(xué)評(píng)估案例，20 個(gè)病理學(xué)評(píng)估案例以及 16 個(gè)定位案例）個(gè)案例共計(jì) 277 張圖像的 GPT-4V 問(wèn)答實(shí)例（注：本文不會(huì)涉及案例展示，請(qǐng)參閱原論文查看具體的案例展示與分析）。

• ArXiv 鏈接：https://arxiv.org/abs/2310.09909

• 百度云下載地址：https://pan.baidu.com/s/11xV8MkUfmF3emJQH9awtcw?pwd=krk2

• Google Drive下載地址：https://drive.google.com/file/d/1HPvPDwhgpOwxi2sYH3_xrcaoXjBGWhK9/view?usp=sharing

總結(jié)而言，原作者希望系統(tǒng)地評(píng)估 GPT-4V 如下的多種能力：

• GPT-4V 能否識(shí)別醫(yī)學(xué)圖像的模態(tài)和成像位置？識(shí)別各種模態(tài)（如 X 射線、CT、核磁共振成像、超聲波和病理）并識(shí)別這些圖像中的成像位置，是進(jìn)行更復(fù)雜診斷的基礎(chǔ)。

• GPT-4V 能否定位醫(yī)學(xué)影像中的不同解剖結(jié)構(gòu)？精確定位圖像中的特定解剖結(jié)構(gòu)對(duì)識(shí)別異常、確保正確處理潛在問(wèn)題至關(guān)重要。

• GPT-4V 能否發(fā)現(xiàn)和定位醫(yī)學(xué)圖像中的異常？檢測(cè)異常，如 腫瘤、骨折或感染是醫(yī)學(xué)圖像分析的主要目標(biāo)。在臨床環(huán)境中，可靠的人工智能模型不僅需要發(fā)現(xiàn)這些異常，還需要準(zhǔn)確定位，以便進(jìn)行有針對(duì)性的干預(yù)或治療。

• GPT-4V 能否結(jié)合多張圖像進(jìn)行診斷？醫(yī)學(xué)診斷往往需要綜合不同成像模態(tài)或視圖的信息，進(jìn)行整體觀察。因此探究 GPT-4V 組合和分析多圖信息的能力至關(guān)重要。

• GPT-4V 能否撰寫(xiě)醫(yī)療報(bào)告，描述異常情況和相關(guān)的正常結(jié)果？對(duì)于放射科醫(yī)生和病理學(xué)家來(lái)說(shuō)，撰寫(xiě)報(bào)告是一項(xiàng)耗時(shí)的工作。如果 GPT-4V 在這一過(guò)程中提供幫助，生成準(zhǔn)確且與臨床相關(guān)的報(bào)告，無(wú)疑將提高整個(gè)工作流程的效率。

• GPT-4V 能否在解讀醫(yī)學(xué)影像時(shí)整合患者病史？患者的基本信息和既往病史會(huì)在很大程度上影響對(duì)當(dāng)前醫(yī)學(xué)影像的解讀。在模型預(yù)測(cè)過(guò)程中如果能綜合考慮到這些信息去分析圖像將使分析更加個(gè)性化，也更加準(zhǔn)確。

• GPT-4V 能否在多輪交互中保持一致性和記憶性？在某些醫(yī)療場(chǎng)景中，單輪分析可能是不夠的。在長(zhǎng)時(shí)間的對(duì)話或分析過(guò)程中，尤其是在復(fù)雜的醫(yī)療環(huán)境中，保持對(duì)數(shù)據(jù)認(rèn)知的連續(xù)性至關(guān)重要。

原論文的評(píng)估涵蓋了 17 個(gè)醫(yī)學(xué)系統(tǒng)，包括：中樞神經(jīng)系統(tǒng)、頭頸部、心臟、胸部、血液、肝膽、肛腸、泌尿、婦科、產(chǎn)科、乳腺科、肌肉骨骼科、脊柱科、血管科、腫瘤科、創(chuàng)傷科、兒科。

圖像來(lái)自日常臨床使用的 8 種模態(tài)，包括：X 光、計(jì)算機(jī)斷層掃描 (CT)、磁共振成像 (MRI)、正電子發(fā)射斷層掃描 (PET)、數(shù)字減影血管造影 (DSA)、 乳房 X 射線照相術(shù)、超聲波檢查和病理學(xué)檢查。

論文指出，雖然 GPT-4V 在區(qū)分醫(yī)學(xué)影像模態(tài)和解剖結(jié)構(gòu)方面表現(xiàn)出很強(qiáng)的能力，但在疾病診斷和生成綜合報(bào)告方面卻仍面臨巨大挑戰(zhàn)。這些發(fā)現(xiàn)突出表明，雖然大型多模態(tài)模型在計(jì)算機(jī)視覺(jué)和自然語(yǔ)言處理方面取得了重大進(jìn)展，但仍遠(yuǎn)未達(dá)到有效支持真實(shí)世界的醫(yī)療應(yīng)用和臨床決策的要求。

測(cè)試案例挑選

原論文的放射學(xué)問(wèn)答來(lái)自于 Radiopaedia，圖像直接從網(wǎng)頁(yè)下載，定位案例來(lái)自于多個(gè)醫(yī)學(xué)公開(kāi)分割數(shù)據(jù)集，病理圖像則來(lái)自于 PathologyOutlines 。在挑選案例時(shí)作者們?nèi)娴目紤]了如下方面：

• 公布時(shí)間：考慮到 GPT-4V 的訓(xùn)練數(shù)據(jù)極有可能異常龐大，為了避免所選到的測(cè)試案例出現(xiàn)在訓(xùn)練集中，作者只選用了 2023 年發(fā)布的最新案例。

• 標(biāo)注可信度：醫(yī)療診斷本身具有爭(zhēng)議和模糊性，作者根據(jù) Radiopaedia 提供的案例完成度，盡量選用完成度大于 90% 的案例來(lái)保證標(biāo)注或診斷的可信程度。

• 圖像模態(tài)多樣性：在選取案例時(shí)，作者盡可能地展示 GPT-4V 對(duì)于多種成像模態(tài)的響應(yīng)情況。

在圖像處理時(shí)作者也做了如下規(guī)范化以保證輸入圖像的質(zhì)量：

• 多圖選擇：考慮到 GPT-4V 支持的最大圖像輸入上限為 4，但部分案例會(huì)有超過(guò) 4 張的相關(guān)圖像，首先作者在選取案例時(shí)會(huì)盡可能避免這種情況，其次在不可避免地遇到這種案例時(shí)，作者會(huì)根據(jù) Radiopaedia 提供的案例注釋挑選最相關(guān)的圖像。

• 截面選擇：大量的放射圖像數(shù)據(jù)為 3D（連續(xù)多幀二維圖像）形式，無(wú)法直接輸入 GPT-4V，必須挑選一個(gè)最有代表性的截面代替完整的 3D 圖像輸入 GPT-4V。根據(jù) Radiopaedia 的案例上傳規(guī)范，放射醫(yī)生在上傳 3D 圖像時(shí)被要求選擇一個(gè)最相關(guān)的截面。作者們利用了這一點(diǎn)，選用了 Radiopaedia 推薦的軸截面替代 3D 數(shù)據(jù)進(jìn)行輸入。

• 圖像標(biāo)準(zhǔn)化：醫(yī)療圖像的標(biāo)準(zhǔn)化設(shè)計(jì)窗寬窗位的選擇，不同的視窗會(huì)突出不同的組織，作者們使用的 Radiopaedio 案例上傳時(shí)放射專(zhuān)家所選擇的窗寬窗位輸入圖像。對(duì)于分割數(shù)據(jù)集而言，原論文則采用了 [-300,300] 的視窗，并作 0-1 的案例級(jí)的歸一化。

原論文的測(cè)試均使用了 GPT-4V 的網(wǎng)頁(yè)版，第一輪問(wèn)答用戶會(huì)輸入圖像，然后展開(kāi)多輪的問(wèn)答。為了避免上下文的互相影響，對(duì)于每次新的案例，都會(huì)新建一個(gè)問(wèn)答窗口進(jìn)行問(wèn)答。

GPT-4V 問(wèn)答案例，圖中紅色代表錯(cuò)誤，黃色代表不確定，綠色代表正確，Reference 中的顏色則代表對(duì)應(yīng)判斷的依據(jù)，未標(biāo)記顏色的句子需要讀者自行判斷正確性，更多案例以及案例分析請(qǐng)參考原論文

在病理評(píng)估中，所有圖像都會(huì)進(jìn)行兩輪對(duì)話。第一輪詢問(wèn)能否僅根據(jù)輸入圖像生成報(bào)告。這一輪的目的是評(píng)估 GPT-4V 能否在不提供任何相關(guān)醫(yī)療提示的情況下識(shí)別圖像模態(tài)和組織來(lái)源。在第二輪中，用戶會(huì)提供正確的組織來(lái)源，并詢問(wèn) GPT-4V 是否能根據(jù)病理圖像及其組織來(lái)源信息做出診斷，希望 GPT-4V 能修改報(bào)告并提供明確的診斷結(jié)果。

病理圖像的案例展示，更多案例以及案例分析請(qǐng)參考原論文

在定位評(píng)估中，原論文采取了循序漸進(jìn)的方式：首先測(cè)試 GPT-4V 是否能識(shí)別出所提供圖像中目標(biāo)的存在；然后要求它根據(jù)圖像左上角為（x，y）=（0，0）和右下角為（x，y）=（w，h）生成目標(biāo)的邊界框坐標(biāo)，并對(duì)每個(gè)單一定位任務(wù)重復(fù)評(píng)估多次，以獲得至少 4 個(gè)預(yù)測(cè)邊界框，計(jì)算它們的 IOU 分?jǐn)?shù)，并選出最高的一個(gè)來(lái)證明其上限性能；然后得出平均邊界框，計(jì)算 IOU 分?jǐn)?shù)，以證明其平均性能。

定位問(wèn)答的案例展示，更多案例以及案例分析請(qǐng)參考原論文

測(cè)評(píng)中的局限性

當(dāng)然原作者也提到了一些測(cè)評(píng)中的不足與限制：

1. 只能進(jìn)行定性而非定量的評(píng)估

鑒于 GPT-4V 只提供在線網(wǎng)頁(yè)界面，只能手動(dòng)上傳測(cè)試用例，導(dǎo)致原評(píng)估報(bào)告在可擴(kuò)展性方面受到限制，因此只能提供定性評(píng)估。

2. 樣本偏差

所選樣本均來(lái)自在線網(wǎng)站，可能無(wú)法反映日常門(mén)診中的數(shù)據(jù)分布情況。尤其是大多數(shù)評(píng)估病例都是異常病例，這可能會(huì)給評(píng)估帶來(lái)潛在偏差。

3. 注釋或參考答案并不完整

從 Radiopaedia 或者 PathologyOutlines 網(wǎng)站上獲得的參考描述大多沒(méi)有結(jié)構(gòu)，也沒(méi)有標(biāo)準(zhǔn)化的放射學(xué) / 病理學(xué)報(bào)告格式。特別是，這些報(bào)告中的大部分主要側(cè)重于描述異常情況，而不是對(duì)病例進(jìn)行全面描述，并不能直接作為完美的回復(fù)簡(jiǎn)單對(duì)比。

4. 只有二維切片輸入

在實(shí)際臨床環(huán)境中，包括 CT、MRI 掃描在內(nèi)的放射圖像通常采用 3D DICOM 格式。然而，GPT-4V 最多只能支持四張二維圖像的輸入，所以原文在測(cè)評(píng)時(shí)只能輸入二維關(guān)鍵切片或小片段（用于病理學(xué)）。

總之，盡管評(píng)估可能并不徹底詳盡，但原作者們相信，這一分析仍舊可以為研究人員和醫(yī)學(xué)專(zhuān)業(yè)人員提供了寶貴的見(jiàn)解，它揭示了多模態(tài)基礎(chǔ)模型的當(dāng)前能力，并可能激勵(lì)未來(lái)建立醫(yī)學(xué)基礎(chǔ)模型的工作。

重要觀察結(jié)果

原測(cè)評(píng)報(bào)告根據(jù)測(cè)評(píng)案例，概括了多個(gè)觀察到的 GPT-4V 的表現(xiàn)特點(diǎn)：

放射案例部分

作者們根據(jù) 92 個(gè)放射學(xué)評(píng)估案例和 20 個(gè)定位案例得出如下觀察結(jié)果：

1. GPT-4V 可以辨識(shí)出醫(yī)療圖像的模態(tài)以及成像位置

對(duì)于大多數(shù)圖像內(nèi)容的模態(tài)識(shí)別、成像部位判定以及圖像平面類(lèi)別判定等任務(wù)，GPT4-V 都表現(xiàn)出了良好的處理能力。例如，作者們指出 GPT-4V 能很容易區(qū)分核磁共振、CT、X 光等各種模態(tài)；判斷圖像所描述的人體具體部位；判斷出核磁共振圖像的軸位、失狀位和冠狀位等。

2. GPT-4V 幾乎無(wú)法做出精確的診斷

作者們發(fā)現(xiàn)：一方面，OpenAI 似乎設(shè)置了安全機(jī)制，嚴(yán)格限制了 GPT-4V 做出直接診斷；另一方面，除了針對(duì)非常明顯的診斷案例，GPT-4V 的分析能力較差，僅局限于列舉出可能存在的一系列疾病，而不能給出較為精確的診斷。

3. GPT-4V 可以生成出結(jié)構(gòu)化的報(bào)告，但是內(nèi)容大部分并不正確

GPT-4V 在絕大多數(shù)情況下都能生成較為標(biāo)準(zhǔn)的報(bào)告，但作者們認(rèn)為，相比于整合程度更高且內(nèi)容更靈活的手寫(xiě)報(bào)告，在針對(duì)多模態(tài)或多幀圖像時(shí)，它更傾向于逐圖描述且缺乏綜合能力。因此內(nèi)容大部分參考價(jià)值較小且缺乏準(zhǔn)確性。

4. GPT-4V 可以辨識(shí)出醫(yī)學(xué)圖像中的標(biāo)記以及文本注釋?zhuān)⒉荒芾斫馄涑霈F(xiàn)在圖像中的意義

GPT-4V 展現(xiàn)出較強(qiáng)的文本識(shí)別、標(biāo)記識(shí)別等能力，并且會(huì)嘗試?yán)眠@些標(biāo)記進(jìn)行分析。但作者們認(rèn)為，其局限性在于：其一，GPT-4V 總是會(huì)過(guò)度利用文本和標(biāo)記且圖像本身成為次要參考對(duì)象；其二，它魯棒性較低，常常會(huì)誤解圖像中的醫(yī)學(xué)注釋和引導(dǎo)。

5. GPT-4V 可以辨識(shí)出醫(yī)療植入器械以及它們?cè)趫D像中的位置

在大多數(shù)案例中，GPT4-V 都能正確識(shí)別到植入人體的醫(yī)療設(shè)備，并較為準(zhǔn)確地定位它們的位置。并且作者們發(fā)現(xiàn)，甚至在一些較為困難的案例中，可能出現(xiàn)診斷錯(cuò)誤，但判斷醫(yī)療設(shè)備識(shí)別正確的情況。

6. GPT-4V 面對(duì)多圖輸入時(shí)會(huì)遇到分析障礙

作者們發(fā)現(xiàn)，在面對(duì)同一模態(tài)的不同視角下的圖像時(shí)，GPT-4V 盡管會(huì)展現(xiàn)出相比于進(jìn)輸入單張圖的更好的分析能力，但仍然傾向于分別對(duì)每張視圖進(jìn)行單獨(dú)的分析；而在面對(duì)不同模態(tài)的圖像混合輸入時(shí)，GPT-4V 更難得出綜合了不同模態(tài)信息的合理分析。

7. GPT-4V 的預(yù)測(cè)極易受到患者疾病史的引導(dǎo)

作者們發(fā)現(xiàn)是否提供患者疾病史會(huì)對(duì) GPT-4V 的回答產(chǎn)生較大影響。在提供疾病史的情況下，GPT-4V 常常會(huì)將其作為關(guān)鍵點(diǎn)，對(duì)圖中的潛在異常做出推斷；而在不提供疾病史的情況下，GPT-4V 則會(huì)更傾向于將圖像作為正常案例進(jìn)行分析。

8. GPT-4V 并不能在醫(yī)學(xué)圖像中定位到解剖結(jié)構(gòu)和異常

作者們認(rèn)為 GPT-4V 定位效果較差主要表現(xiàn)為：其一，GPT-4V 在定位過(guò)程中總是會(huì)得到遠(yuǎn)離真實(shí)邊界的預(yù)測(cè)框；其二，它在對(duì)同一幅圖的多輪重復(fù)預(yù)測(cè)中表現(xiàn)出顯著的隨機(jī)性；其三，GPT-4V 顯示出了明顯的偏置性，例如：腦部 MRI 圖像中小腦一定位于底部。

9. GPT-4V 可以根據(jù)用戶的多輪交互，改變它的既有回答。

GPT-4V 可以在一系列的互動(dòng)中修改其響應(yīng)，使之正確。例如，在文中所示的例子中，作者們輸入了子宮內(nèi)膜異位癥的 MRI 圖像。GPT-4V 最初錯(cuò)誤地將盆腔 MRI 分類(lèi)為膝關(guān)節(jié) MRI，從而得到了一個(gè)不正確的輸出。但用戶通過(guò)與 GPT-4V 的多輪互動(dòng)對(duì)其進(jìn)行糾正，最終做出了準(zhǔn)確的診斷。

10. GPT-4V 幻覺(jué)問(wèn)題嚴(yán)重，尤其傾向?qū)⒒颊邤⑹鰹檎＜词巩惓?a target="_blank">信號(hào)極為顯著。

GPT-4V 總是生成出結(jié)構(gòu)上看上去非常完整詳實(shí)的報(bào)告，但其中的內(nèi)容卻并不正確，很多時(shí)候即使圖像異常區(qū)域明顯它仍舊會(huì)認(rèn)為患者正常。

11. GPT-4V 在醫(yī)學(xué)問(wèn)答上不夠穩(wěn)定

GPT-4V 在常見(jiàn)圖像和罕見(jiàn)圖像上的表現(xiàn)差異巨大，在不同的身體系統(tǒng)方面也展現(xiàn)出明顯的性能差別。另外，對(duì)同一醫(yī)學(xué)圖像的分析可能會(huì)因更改 prompt 而產(chǎn)生不一致的結(jié)果，例如，如，GPT-4V 在 “ What is the diagnosis for this brain CT?” 的 prompt 下最初判斷給定的圖像為異常，但后來(lái)它生成了一個(gè)認(rèn)為同一圖像為正常的報(bào)告。這種不一致性強(qiáng)調(diào)了 GPT-4V 在臨床診斷中的性能可能是不穩(wěn)定和不可靠的。

12. GPT-4V 對(duì)醫(yī)療領(lǐng)域做了嚴(yán)格的安全限制

作者們發(fā)現(xiàn) GPT-4V 已經(jīng)在醫(yī)學(xué)領(lǐng)域的問(wèn)答中建立了防止?jié)撛谡`用的安全防護(hù)措施，確保用戶能夠安全使用。例如，當(dāng) GPT-4V 被要求做出診斷時(shí)，"Please provide the diagnosis for this chest X-ray."，它可能會(huì)拒絕給出答案，或強(qiáng)調(diào) “我不是專(zhuān)業(yè)醫(yī)學(xué)建議的替代品”。在多數(shù)情況下，GPT-4V 會(huì)傾向于使用包含 “appears to be” 或 “could be” 之類(lèi)的短語(yǔ)來(lái)表示不確定性。

病理案例部分

此外，作者們?yōu)榱颂剿?GPT-4V 在病理圖像的報(bào)告生成和醫(yī)學(xué)診斷方面的能力，對(duì)來(lái)自不同組織的 20 種惡性腫瘤病理圖像開(kāi)展了圖像塊級(jí)別的測(cè)試，并得出以下結(jié)論：

1. GPT-4V 能夠進(jìn)行準(zhǔn)確的模態(tài)識(shí)別

在所有測(cè)試案例中，GPT-4V 都可以正確地識(shí)別所有病理圖像（H&E 染色的組織病理圖像）的模態(tài)。

2. GPT-4V 能夠生成結(jié)構(gòu)化報(bào)告

給定一個(gè)沒(méi)有任何醫(yī)學(xué)提示的病理圖像，GPT-4V 可以生成一個(gè)結(jié)構(gòu)化且詳細(xì)的報(bào)告來(lái)描述圖像特征。在 20 個(gè)案例中，有 7 個(gè)案例能夠使用如 “組織結(jié)構(gòu)”、“細(xì)胞特征”、“基質(zhì)”、“腺體結(jié)構(gòu)”、“細(xì)胞核” 等術(shù)語(yǔ)明確地列出了其觀察結(jié)果，甚至可以正確地從不同組織的病理圖像中識(shí)別腺體結(jié)構(gòu)和上皮特征。

3. GPT-4V 在 Prompt 的引導(dǎo)下能夠?qū)?bào)告進(jìn)行修正

當(dāng)在第二輪對(duì)話的 prompt 中對(duì)組織器官進(jìn)行修正時(shí)，GPT-4V 可以很大程度地修改報(bào)告修改其報(bào)告，并為預(yù)測(cè)正常的案例提供一個(gè)確切的診斷，或?yàn)轭A(yù)測(cè)異常的案例提供幾個(gè)可能的選項(xiàng)。

4. GPT-4V 生成的描述大多基于知識(shí)

盡管 GPT-4V 可以為病理圖像寫(xiě)一個(gè)結(jié)構(gòu)化的報(bào)告，但許多關(guān)于細(xì)胞和細(xì)胞核的詳細(xì)描述都是 H&E 染色圖像的通用特征，而不是根據(jù)圖像特有模式生成。此外，GPT-4V 提供的診斷結(jié)果也可能來(lái)源于通用醫(yī)學(xué)知識(shí)，而不是根據(jù)病理圖像的形態(tài)結(jié)構(gòu)推理得到。

5. GPT-4V 的診斷性能有限

在 20 個(gè)案例中，GPT-4V 將四個(gè)腫瘤案例誤診為正常組織，正確診斷了源于膀胱、中樞神經(jīng)系統(tǒng)和口腔組織中的 3 類(lèi)癌癥，對(duì)其余 13 個(gè)惡性腫瘤則給出了模糊的診斷。尤其是針對(duì)肛門(mén)和子宮組織上的癌癥，GPT-4V 的診斷結(jié)果中既包含正常組織也涵蓋惡性腫瘤，這表明 GPT-4V 可能并沒(méi)有真正從這些病理圖像中檢測(cè)到異常。

總的來(lái)說(shuō)，GPT-4V 在醫(yī)療領(lǐng)域的表現(xiàn)并不像 GPT-4 在醫(yī)療問(wèn)答中那樣驚艷，遠(yuǎn)未達(dá)到實(shí)際臨床要求。

本文只概括性的截取了部分原論文觀點(diǎn)，更多分析細(xì)節(jié)請(qǐng)參考原文。