自ChatGPT橫空出世以來，人工智能領(lǐng)域的發(fā)展可謂一日千里，令人嘆為觀止。它已逐步滲透到我們?nèi)粘Ｉ詈凸ぷ鞯母鱾€角落，成為不可或缺的一部分。與此同時，人工智能在醫(yī)療領(lǐng)域也展現(xiàn)出了巨大的應(yīng)用潛力。然而，隨著人工智能在醫(yī)療領(lǐng)域的廣泛應(yīng)用，我們不得不思考其對現(xiàn)有醫(yī)療實(shí)踐的沖擊，特別是醫(yī)療質(zhì)量和安全問題。作為該領(lǐng)域的先驅(qū)者，美國在這方面已經(jīng)取得了一定的進(jìn)展。他們對于人工智能在醫(yī)療領(lǐng)域的應(yīng)用有著深入的思考和獨(dú)到的見解。我們可以借鑒美國的經(jīng)驗(yàn)，從中汲取智慧，以應(yīng)對人工智能對醫(yī)療實(shí)踐帶來的挑戰(zhàn)。正如古人云：“它山之石，可以攻玉?！苯柚麌慕?jīng)驗(yàn)，我們可以更好地應(yīng)對未來的挑戰(zhàn)，推動醫(yī)療領(lǐng)域的發(fā)展。編輯搜圖在ChatGPT公開發(fā)布短短一年多時間里，生成式人工智能和大型語言模型（LLMs）在臨床應(yīng)用領(lǐng)域呈現(xiàn)出飛速發(fā)展的態(tài)勢。從患者的初步診斷到后續(xù)治療，LLMs在未來可能會為臨床醫(yī)學(xué)帶來翻天覆地的變革。然而，短期內(nèi)，LLMs帶來的最顯著、最不受傳統(tǒng)監(jiān)管束縛的改變將體現(xiàn)在日常臨床實(shí)踐上。具體來說，目前正在研發(fā)的LLMs具備了整理臨床記錄、藥物信息以及患者其他數(shù)據(jù)的能力，而且可能很快就會進(jìn)入市場，直接應(yīng)用于患者，而無需經(jīng)過美國食品和藥品監(jiān)督管理局（FDA）的嚴(yán)格監(jiān)管。然而，看似簡單的總結(jié)任務(wù)實(shí)則蘊(yùn)含著極高的技術(shù)門檻。LLM所生成的摘要可能與實(shí)際情況存在出入，從而對臨床醫(yī)師的決策產(chǎn)生重大而難以預(yù)測的影響。因此，對于這一領(lǐng)域的深入研究和嚴(yán)格監(jiān)管顯得尤為重要，以確保技術(shù)的健康發(fā)展與患者的權(quán)益得到充分保障。編無FDA監(jiān)管的臨床數(shù)據(jù)總結(jié)（摘要）總結(jié)臨床數(shù)據(jù)的大型語言模型代表了一個廣泛的類別，無需FDA監(jiān)管。已經(jīng)在臨床上可用的較簡單的臨床文檔工具可以從患者錄音中產(chǎn)生由LLM生成的摘要。正在開發(fā)更復(fù)雜的可用于決策支持的LLMs，它們可以從電子病歷（EHR）中總結(jié)患者信息。例如，LLMs可以總結(jié)患者最近的訪問記錄和實(shí)驗(yàn)室結(jié)果，以便在預(yù)約前創(chuàng)建最新的臨床“快照”（臨床數(shù)據(jù)摘要）。它們可以將許多冗長的放射學(xué)報告壓縮成一個簡要的段落?；蛘週LMs可以描述患者在過去一年中接受的所有抗生素治療。當(dāng)前的EHR是為文檔編制和計(jì)費(fèi)而設(shè)計(jì)的，具有低效的信息訪問和冗長的剪切粘貼內(nèi)容。這種不甚理想的設(shè)計(jì)導(dǎo)致了醫(yī)生的疲勞和臨床錯誤。因此，如果實(shí)施得當(dāng)，LLM生成的摘要將提供顯而易見的優(yōu)勢，并最終取代許多鼠標(biāo)點(diǎn)擊的EHR交互。然而，這也存在潛在的患者傷害風(fēng)險，因?yàn)閳?zhí)行總結(jié)的LLMs不太可能作為醫(yī)療設(shè)備受到FDA監(jiān)管，并且可能在沒有安全和有效性保障的情況下在醫(yī)療場所使用。事實(shí)上，F(xiàn)DA針對臨床決策支持軟件的最終指導(dǎo)?-?發(fā)布于ChatGPT公開發(fā)布的兩個月前?-?提供了一個無意中的“路線圖”，說明了LLMs如何避免FDA監(jiān)管。即使執(zhí)行復(fù)雜的總結(jié)任務(wù)的LLMs也無法明確地被視為醫(yī)療設(shè)備，因?yàn)樗鼈兲峁┑氖腔谕ㄓ谜Z言的輸出，而不是疾病的特定預(yù)測或數(shù)字估算。通過謹(jǐn)慎地實(shí)施，我們預(yù)期許多總結(jié)臨床數(shù)據(jù)的LLMs可以符合豁免設(shè)備標(biāo)準(zhǔn)。準(zhǔn)確無誤的摘要有時可能會造成臨床困惑甚至傷害在臨床環(huán)境中，LLM生成的摘要缺乏全面標(biāo)準(zhǔn)，除了需要保持一致、準(zhǔn)確和簡潔之外。然而，有幾種方法可以準(zhǔn)確地總結(jié)臨床信息。摘要的長度、組織和語氣都可能影響臨床醫(yī)師的解釋和決策，可能是有意為之，也可能是無心之舉。為了更具體地說明這些挑戰(zhàn)，文章以ChatGPT-4為例，它總結(jié)了一些臨床文檔樣本（詳見補(bǔ)充電子附錄）。首先，LLM生成的摘要具有可變性，因?yàn)長LMs是概率性的，沒有確定性的“正確答案”。這可能意味著哪些信息被包含在內(nèi)以及如何排序都是可以改變的。例如，在相同的出院文件上運(yùn)行相同的提示時，LLM摘要在列出患者病情和強(qiáng)調(diào)臨床歷史元素方面會有所不同。這些差異具有重大臨床意義，因?yàn)橐延杏涗洷砻?，信息的組織和框架可能會改變臨床決策。此外，即使是提示之間微小的差異也可能對輸出產(chǎn)生影響。更具體地說，LLMs可能會表現(xiàn)出“諂媚”偏見。就像一個殷勤的個人助理一樣，當(dāng)LLMs根據(jù)用戶的預(yù)期調(diào)整回應(yīng)時，就會出現(xiàn)這種諂媚行為。在臨床背景下，這種奉承性的摘要可能會強(qiáng)調(diào)或以其他方式強(qiáng)調(diào)與臨床醫(yī)師先前的懷疑相符的事實(shí)，從而增加診斷錯誤的確認(rèn)偏見的風(fēng)險。例如，當(dāng)提示總結(jié)虛構(gòu)患者以前的住院記錄時，摘要對于是否擔(dān)心心肌梗死或肺炎可能有不同的臨床意義。此外，即使總結(jié)看起來大體準(zhǔn)確，也可能包含具有重要臨床影響的微小錯誤。這些錯誤并非完全的錯覺，而是類似于心理錯覺的小失誤，但它們可能會導(dǎo)致在完成臨床敘述或啟發(fā)式思維時做出錯誤的決策。例如，放射學(xué)報告中提到寒戰(zhàn)和無痰咳嗽的跡象，但我們的LLM摘要中卻添加了“發(fā)熱”?！鞍l(fā)熱”這個詞雖然只是一個小錯誤，但它卻完成了一個疾病腳本，可能導(dǎo)致醫(yī)生在沒有充分理由的情況下診斷為肺炎并開始抗生素治療。建議在美國國會正式賦予FDA監(jiān)管權(quán)力之前，大多數(shù)由生成式語言模型生成的臨床摘要將面臨監(jiān)管空白。然而，通過明確規(guī)定和強(qiáng)有力的自愿行動，我們可以在保護(hù)患者的同時充分發(fā)揮LLMs的優(yōu)勢。首先，我們需要制定全面的標(biāo)準(zhǔn)，用于評估LLM生成的摘要。這些標(biāo)準(zhǔn)不僅關(guān)注準(zhǔn)確性，還包括壓力測試，以檢測諂媚和微小但臨床重要的錯誤。這些標(biāo)準(zhǔn)應(yīng)以科學(xué)和臨床共識為基礎(chǔ)，并廣泛征求大型技術(shù)公司以外的意見。其次，我們認(rèn)為，在廣泛應(yīng)用之前，執(zhí)行臨床總結(jié)的LLMs應(yīng)被視為臨床輔助工具，進(jìn)行臨床測試以量化其潛在的臨床危害和效益。這種測試可以作為學(xué)習(xí)性健康系統(tǒng)的質(zhì)量改進(jìn)措施進(jìn)行，風(fēng)險最小。第三，對于風(fēng)險最高但可能最有用的摘要LLMs，我們鼓勵FDA采取預(yù)防措施澄清監(jiān)管標(biāo)準(zhǔn)。這些標(biāo)準(zhǔn)應(yīng)指明某些提示（例如“總結(jié)與心力衰竭風(fēng)險相關(guān)的患者歷史”）將導(dǎo)致LLMs在語義上受到限制，但在功能上仍屬于醫(yī)療設(shè)備范疇。FDA可以在新的指南或現(xiàn)有指南的更新中提供這些聲明，以應(yīng)對自臨床決策支持指南首次發(fā)布以來世界發(fā)生的實(shí)質(zhì)性變化。總結(jié)臨床數(shù)據(jù)的大型語言模型為簡化從EHR收集信息的過程提供了強(qiáng)大的機(jī)會。然而，由于處理語言的能力，它們也帶來了現(xiàn)有的FDA監(jiān)管保障無法覆蓋的獨(dú)特風(fēng)險。隨著總結(jié)工具越來越接近臨床實(shí)踐，透明地制定LLM生成的臨床摘要標(biāo)準(zhǔn)以及實(shí)用的臨床研究將對安全謹(jǐn)慎地推出這些技術(shù)至關(guān)重要。我們鼓勵FDA在總結(jié)成為常規(guī)患者護(hù)理的一部分之前澄清其監(jiān)管立場。原文鏈接:https://jamanetwork.com/journals/jama/fullarticle/2814609?