醫(yī)生經(jīng)常查詢患者的電子健康記錄以獲取有助于他們做出治療決定的信息，但這些記錄的繁瑣性質(zhì)阻礙了這一過程。研究表明，即使醫(yī)生接受過使用電子健康記錄 (EHR) 的培訓，平均而言，找到一個問題的答案也需要八分鐘以上的時間。

醫(yī)生必須花更多的時間瀏覽通常笨拙的 EHR 界面，他們與患者互動和提供治療的時間就越少。

研究人員已經(jīng)開始開發(fā)機器學習模型，該模型可以通過在 EHR 中自動查找醫(yī)生所需的信息來簡化流程。然而，訓練有效的模型需要大量相關(guān)醫(yī)學問題的數(shù)據(jù)集，由于隱私限制，這些數(shù)據(jù)集通常很難獲得?，F(xiàn)有模型難以生成真實的問題(人類醫(yī)生會提出的問題)，并且通常無法成功找到正確的答案。

為了克服這種數(shù)據(jù)短缺，麻省理工學院的研究人員與醫(yī)學專家合作，研究醫(yī)生在審查 EHR 時提出的問題。然后，他們構(gòu)建了一個公開可用的數(shù)據(jù)集，其中包含這些醫(yī)學專家撰寫的 2000 多個臨床相關(guān)問題。

當他們使用他們的數(shù)據(jù)集訓練機器學習模型以生成臨床問題時，他們發(fā)現(xiàn)與醫(yī)學專家提出的真實問題相比，該模型在超過 60% 的情況下提出了高質(zhì)量和真實的問題。

利用這個數(shù)據(jù)集，他們計劃生成大量真實的醫(yī)學問題，然后使用這些問題來訓練機器學習模型，這將幫助醫(yī)生更有效地在患者記錄中找到受歡迎的信息。

“兩千個問題聽起來可能很多，但是當你看看現(xiàn)在正在訓練的機器學習模型時，它們有如此多的數(shù)據(jù)，可能有數(shù)十億個數(shù)據(jù)點。當你訓練機器學習模型在醫(yī)療保健環(huán)境中工作時，你必須非常有創(chuàng)意，因為數(shù)據(jù)如此缺乏，”主要作者、計算機科學與人工智能實驗室 (CSAIL) 的研究生 Eric Lehman 說。

資深作者是電氣工程與計算機科學系 (EECS) 教授 Peter Szolovits，他是 CSAIL 臨床決策小組的負責人，也是 MIT-IBM Watson AI Lab 的成員。該研究論文由麻省理工學院、MIT-IBM Watson AI 實驗室、IBM Research 的合著者以及幫助提出問題并參與該研究的醫(yī)生和醫(yī)學專家合作完成，將在北方年度會議上發(fā)表計算語言學協(xié)會美國分會。

“真實數(shù)據(jù)對于訓練與任務(wù)相關(guān)但難以找到或創(chuàng)建的模型至關(guān)重要，”Szolovits 說。“這項工作的價值在于仔細收集臨床醫(yī)生就患者病例提出的問題，從中我們能夠開發(fā)出使用這些數(shù)據(jù)和通用語言模型提出進一步合理問題的方法。”

數(shù)據(jù)不足

雷曼解釋說，研究人員能夠找到的少數(shù)大型臨床問題數(shù)據(jù)集存在許多問題。有些是由患者在網(wǎng)絡(luò)論壇上提出的醫(yī)療問題組成，這與醫(yī)生的問題相去甚遠。其他數(shù)據(jù)集包含從模板生成的問題，因此它們在結(jié)構(gòu)上大多相同，使得許多問題不切實際。

“收集高質(zhì)量數(shù)據(jù)對于執(zhí)行機器學習任務(wù)非常重要，尤其是在醫(yī)療保健領(lǐng)域，我們已經(jīng)證明這是可以做到的，”雷曼說。

為了構(gòu)建他們的數(shù)據(jù)集，麻省理工學院的研究人員在最后一年的培訓中與執(zhí)業(yè)醫(yī)師和醫(yī)學生合作。他們向這些醫(yī)學專家提供了 100 多份 EHR 出院摘要，并告訴他們通讀摘要并詢問他們可能遇到的任何問題。為了收集自然問題，研究人員沒有對問題類型或結(jié)構(gòu)施加任何限制。他們還要求醫(yī)學專家識別 EHR 中導致他們提出每個問題的“觸發(fā)文本”。

例如，醫(yī)學專家可能會閱讀 EHR 中的注釋，說明患者過去的病史對前列腺癌和甲狀腺功能減退癥具有重要意義。觸發(fā)文本“前列腺癌”可能會導致專家提出諸如“診斷日期?”之類的問題?；?ldquo;做過任何干預嗎?”

他們發(fā)現(xiàn)大多數(shù)問題都集中在癥狀、治療或患者的測試結(jié)果上。雷曼說，雖然這些發(fā)現(xiàn)并不出人意料，但量化每個廣泛主題的問題數(shù)量將有助于他們建立一個有效的數(shù)據(jù)集，用于真實的臨床環(huán)境。

一旦他們編譯了他們的問題數(shù)據(jù)集和隨附的觸發(fā)文本，他們就使用它來訓練機器學習模型以根據(jù)觸發(fā)文本提出新問題。

然后，醫(yī)學專家使用四個指標確定這些問題是否“好”：可理解性(這個問題對人類醫(yī)生有意義嗎?)、瑣碎性(問題是否太容易從觸發(fā)文本中回答?)、醫(yī)學相關(guān)性(是否根據(jù)上下文問這個問題有意義嗎?)，以及與觸發(fā)器的相關(guān)性(觸發(fā)器與問題相關(guān)嗎?)。

值得關(guān)注

研究人員發(fā)現(xiàn)，當一個模型被賦予觸發(fā)文本時，它能夠在 63% 的時間內(nèi)產(chǎn)生一個好問題，而人類醫(yī)生在 80% 的時間里會提出一個好問題。

他們還使用他們在項目開始時發(fā)現(xiàn)的公開數(shù)據(jù)集訓練模型以恢復臨床問題的答案。然后他們測試了這些訓練有素的模型，看看他們是否能找到人類醫(yī)學專家提出的“好”問題的答案。

這些模型只能恢復大約 25% 的醫(yī)生提出的問題的答案。

“這個結(jié)果確實令人擔憂。人們認為表現(xiàn)良好的模型實際上很糟糕，因為他們測試的評估問題一開始就不好，”雷曼說。

該團隊現(xiàn)在正在將這項工作應(yīng)用于他們的最初目標：建立一個可以自動回答 EHR 中醫(yī)生問題的模型。下一步，他們將使用他們的數(shù)據(jù)集來訓練一個機器學習模型，該模型可以自動生成數(shù)千或數(shù)百萬個良好的臨床問題，然后可以用來訓練一個用于自動問答的新模型。

雖然在該模型成為現(xiàn)實之前還有很多工作要做，但 Lehman 對團隊使用該數(shù)據(jù)集展示的強大初步結(jié)果感到鼓舞。