在醫療保健業務的大計劃中，預測模型所發揮的作用與驗血、X 射線或 MRI 的作用無異：它們影響有關幹預是否合適的決策。
「從廣義上講，模型進行數學運算並產生機率估計，幫助醫生和病患決定是否採取行動，」史丹佛醫療保健首席資料科學家和 史丹佛大學HAI 教員Nigam Shah表示。但這些機率估計只有在觸發更有益的決策時才對醫療保健提供者有用。
「作為一個社區，我認為我們被模型的表現所困擾，而不是問這個模型有用嗎?」 Shah說。 「我們需要跳脫這種模式思考。」
Shah 的團隊是少數幾個評估醫院是否有能力基於模型進行幹預的醫療保健研究小組之一，以及乾預措施是否對患者和醫療機構有益。
「人們越來越擔心人工智慧研究人員正在左右建立模型而沒有部署任何東西，」Shah 說。造成這種情況的一個原因是建模者未能進行有用性分析，以顯示由模型觸發的干預如何以具有成本效益的方式融入醫院運營，同時弊大於利。 「「如果模型開發者願意花時間進行這種額外的分析，醫院也會關注的。 」他說。
Shah 表示，運籌學、醫療保健政策和計量經濟學領域已經存在進行有用性分析的工具，但醫療保健領域的模型開發人員使用它們的速度很慢。他自己的團隊試圖透過發表一些論文來改變這種心態，敦促更多的人評估他們的模型的實用性。其中包括一份JAMA論文，闡述了建模者考慮有用性的必要性，以及一份研究論文，該論文提出了一個分析預測模型在醫療保健中的有用性的框架，並展示了它如何使用現實世界的例子來工作。
「就像醫院可能在其運作中添加的任何新事物一樣，部署新模型必須是值得的，」Shah 說。「有成熟的框架來確定模型的價值。現在是建模師使用它們的時候了。 」
如上圖所示，模型的有用性取決於模型之間的相互作用、它觸發的干預以及乾預的利弊，Shah 說。
首先，這個模型——它經常得到最大的關注——應該擅長預測它應該預測的任何東西，無論是病人再入院的風險還是患糖尿病的風險。此外，Shah 說，它必須是公平的，這意味著它產生的預測同樣適用於所有人，無論種族、民族、國籍或性別如何；而且必須可以從一個醫院站點推廣到另一個醫院站點]，或者至少對當地醫院人口做出可靠的預測；此外，它還應該是可解釋的。
其次，醫療機構必須根據測試或模型製定關於何時以及如何進行幹預的政策，以及關於誰負責幹預的決定。他們還必須有能力（足夠的人員、材料或其他資源）進行幹預。
#Shah表示，制定關於是否或如何以特定方式乾預以回應模型的政策會影響健康公平。談到公平，Shah 表示，「研究人員花了太多的時間關註一個模型是否對所有人都同樣準確，而沒有足夠的時間關注幹預是否會讓所有人平等受益——儘管我們試圖解決的大多數不公平現像都來自後者。 」
例如，預測哪些病人在預約時不會出現，如果它的預測對所有種族和民族群體都一樣準確，那麼它本身可能並不不公平，但如何干預的選擇——是否重複預約時間或提供交通支持以幫助人們到達預約地點——可能會對不同群體的人產生不同的影響。
第三，幹預的利大於弊。Shah說，任何干預都可能產生積極和消極的後果。因此，模型預測的有用性將取決於它所觸發的干預措施的利弊。
要了解這種交互作用，請考慮一個常用的預測模型：動脈粥狀硬化性心血管疾病(ASCVD) 風險方程，它依賴於九個主要數據點（包括年齡、性別、種族、總膽固醇、低密度脂蛋白/高密度脂蛋白膽固醇、血壓、吸菸病史、糖尿病狀態和抗高血壓藥物的使用）來計算患者10 年心臟病發作或中風的風險。 Shah 說，對 ASCVD 風險方程式的充實有用性分析將考慮上圖的三個部分，並發現它是有用的。
首先，該模型被廣泛認為對心臟病具有高度預測性，並且還具有公平性、可推廣性和可解釋性。其次，大多數醫療機構透過遵循標準政策進行幹預關於開立他汀類藥物的風險水平，並且有足夠的干預能力，因為他汀類藥物廣泛可用。最後，對他汀類藥物使用的危害/益處分析表明，大多數人從他汀類藥物中受益，儘管有些患者無法忍受他們的副作用。
上面的 ASCVD 範例雖然具有說明性，但可能是最簡單的預測模型之一。但預測模型有可能觸發幹預措施，從而以更複雜的方式擾亂醫療保健工作流程，並且某些幹預措施的利弊可能不太清楚。
為了解決這個問題， Shah 和他的同事開發了一個框架來測試預測模型在實務上是否有用。他們使用觸發稱為高級護理計劃（ACP）的干預的模型演示了該框架。
ACP 通常提供給即將結束生命的患者，涉及對未來可能發生的情況以及患者失去能力時的願望進行公開和誠實的討論。這些對話不僅讓患者對自己的生活有一種控制感，而且還降低了醫療成本，提高了醫生的士氣，有時甚至提高了患者的生存率。
Shah 在史丹佛的團隊開發了一個模型，可以預測哪些住院病人可能在未來 12 個月內死亡。我們的目標是：確定哪些患者可能從 ACP 中受益。在確保模型可以很好地預測死亡率並且公平、可解釋和可靠之後，該團隊進行了兩項額外的分析，以確定該模型觸發的干預是否有用。
第一個是成本效益分析，發現成功的干預（向模型正確識別為可能受益的患者提供ACP）將節省約8,400 美元，同時對不需要ACP 的人進行幹預（即模型錯誤）將花費約3,300 美元。 「在這種情況下，非常粗略地說，即使我們只對了三分之一，我們也會收支平衡，」Shah 說。
但分析並沒有就此停止。 「為了節省那些承諾的 8,400 美元，我們實際上必須執行一個工作流程，例如，在 48 小時內涉及 21 個步驟、三個人和七個交接，」Shah 說。 「那麼，在現實生活中，我們能做到嗎？」
為了回答這個問題，團隊模擬了500 個住院日的干預，以評估醫療服務提供因素，例如人員有限或時間不足（由於病人出院）將如何影響介入的益處。他們還量化了增加住院人員與在門診提供 ACP 相比的相對益處。結果：擁有門診選項可確保更多預期收益。 「我們只需要跟進一半的出院患者即可獲得 75% 的效用，這非常好，」Shah 說。
這項工作表明，即使你有一個非常好的模型和一個非常好的干預，只有當你也有能力提供幹預時，一個模型才會有用，Shah 說。雖然事後再看可能會讓這個結果看起來很直觀，但 Shah 說，當時並非如此。 「如果我們沒有完成這項研究，史丹佛醫院可能剛剛擴大了提供ACP 的住院能力，儘管它的成本效益不是很高。」
Shah 的團隊用於分析模型、幹預措施以及乾預措施的利弊之間相互作用的框架可以幫助確定在實踐中有用的預測模型。 「至少，建模者應該進行某種分析，以確定他們的模型是否會提示有用的干預措施，」Shah 說。 「這將是一個開始。」
以上是我們如何確保醫療保健 AI 有用？的詳細內容。更多資訊請關注PHP中文網其他相關文章！
