Wie stellen wir sicher, dass KI im Gesundheitswesen nützlich ist?

Im Großen und Ganzen des Gesundheitswesens spielen Vorhersagemodelle die gleiche Rolle wie Bluttests, Röntgenaufnahmen oder MRTs: Sie beeinflussen Entscheidungen darüber, ob ein Eingriff angemessen ist.

„Im Großen und Ganzen führen Modelle mathematische Operationen durch und erstellen Wahrscheinlichkeitsschätzungen, die Ärzten und Patienten bei der Entscheidung helfen, ob Maßnahmen ergriffen werden sollen“, sagte Nigam Shah, leitender Datenwissenschaftler bei Stanford Healthcare und Fakultätsmitglied bei Stanford HAI. Diese Wahrscheinlichkeitsschätzungen sind für Gesundheitsdienstleister jedoch nur dann nützlich, wenn sie zu vorteilhafteren Entscheidungen führen.

„Als Gemeinschaft sind wir meiner Meinung nach von der Leistung des Modells besessen und nicht von der Frage, ob dieses Modell funktioniert?“, sagte Shah. „Wir müssen über den Tellerrand schauen.“

Shahs Team ist eine der wenigen Forschungsgruppen im Gesundheitswesen, die bewertet, ob Krankenhäuser in der Lage sind, Interventionen auf der Grundlage des Modells durchzuführen, und ob die Interventionen für Patienten und Gesundheitsorganisationen von Nutzen sein werden.

„Es wächst die Sorge, dass KI-Forscher links und rechts Modelle erstellen, ohne etwas bereitzustellen“, sagte Shah. Ein Grund dafür ist das Versäumnis der Modellierer, Nutzenanalysen durchzuführen, die zeigen, wie durch das Modell ausgelöste Interventionen kostengünstig in den Krankenhausbetrieb integriert werden können und dabei mehr Schaden als Nutzen anrichten. „Wenn Modellentwickler bereit sind, sich die Zeit zu nehmen, diese zusätzliche Analyse durchzuführen, werden Krankenhäuser aufmerksam sein.“

Shah sagte, dass es in den Bereichen Operations Research, Gesundheitspolitik und Ökonometrie bereits Tools für die Nutzenanalyse gibt, aber Modellentwickler im Gesundheitswesen haben sich nur langsam damit beschäftigt, sie zu nutzen veröffentlicht, um diese Denkweise zu ändern und mehr Menschen dazu aufzufordern, die Nützlichkeit ihrer Modelle zu bewerten. Dazu gehören ein JAMA-Papier, das sich mit der Notwendigkeit befasst, dass Modellierer die Nützlichkeit berücksichtigen, und ein Forschungspapier, das einen Rahmen für die Analyse der Nützlichkeit von Vorhersagemodellen im Gesundheitswesen darstellt zeigt anhand von Beispielen aus der Praxis, wie es funktioniert Modell. Jetzt ist es an der Zeit, dass Modellbauer sie nutzen. „

Verstehen Sie die Interaktion zwischen dem Modell, der Intervention und den Vor- und Nachteilen der Intervention.

Wie in der Abbildung oben gezeigt, hängt der Nutzen eines Modells von der Interaktion zwischen dem Modell und der Intervention, die es auslöst, ab , und die Vor- und Nachteile der Intervention, sagte Shah

Erstens

Dieses Modell – das oft die meiste Aufmerksamkeit erhält – sollte gut in der Lage sein, alles vorherzusagen, was es vorhersagen soll, sei es das Risiko eines Patienten, wieder aufgenommen zu werden oder an Diabetes zu erkranken „Muss fair sein, was bedeutet, dass die Vorhersagen, die es generiert, gleichermaßen für alle Menschen gelten, unabhängig von Rasse, ethnischer Zugehörigkeit, nationaler Herkunft oder Geschlecht, und von einem Krankenhausstandort auf einen anderen übertragen werden müssen], oder zumindest auf das örtliche Krankenhaus Bevölkerung, um verlässliche Vorhersagen zu treffen.

Zweitens müssen

Gesundheitsorganisationen auf der Grundlage des Tests oder Modells Richtlinien darüber entwickeln, wer für den Eingriff verantwortlich ist die Kapazität (ausreichend Personal, Materialien oder andere Ressourcen), um einzugreifen Es wird zu viel Zeit damit verbracht, sich darauf zu konzentrieren, ob ein Modell für alle gleich genau ist, wenn man Richtlinien darüber hat, ob oder wie man auf bestimmte Weise eingreift. und nicht genügend Zeit für die Frage, ob die Intervention allen gleichermaßen zugute kommt – auch wenn die meisten Ungleichheiten, die wir anzugehen versuchen, aus letzterem resultieren.

Beispielsweise ist die Vorhersage, welche Patienten nicht zu ihren Terminen erscheinen werden, an sich vielleicht nicht unfair, wenn ihre Vorhersagen für alle Rassen und ethnischen Gruppen gleich genau sind, aber die Wahl, wie eingegriffen werden soll – ob Termine wiederholt werden oder ob die Bereitstellung erfolgt Transportunterstützung, um Menschen dabei zu helfen, ihre Termine zu erreichen – kann unterschiedliche Auswirkungen auf verschiedene Personengruppen haben.

Drittens:

Eingriffe können sowohl positive als auch negative Folgen haben, sagte Shah Nachteile des dadurch ausgelösten Eingriffs .

Um diese Wechselwirkung zu verstehen, betrachten Sie ein häufig verwendetes Vorhersagemodell: die Risikogleichung für atherosklerotische Herz-Kreislauf-Erkrankungen (ASCVD), die auf neun Hauptdatenpunkten basiert, darunter Alter, Geschlecht, Rasse, Gesamtcholesterin, Lipoprotein niedriger Dichte/Lipoprotein hoher Dichte, Blutdruck, Rauchergeschichte, Diabetesstatus und Einnahme von blutdrucksenkenden Medikamenten), um das 10-Jahres-Risiko eines Patienten für einen Herzinfarkt oder Schlaganfall zu berechnen. Eine ausführliche Nutzenanalyse der ASCVD-Risikogleichung würde die drei Teile der obigen Abbildung berücksichtigen und sie für nützlich halten, sagte Shah.

Erstens gilt das Modell weithin als sehr prädiktiv für Herzerkrankungen und ist außerdem fair, verallgemeinerbar und interpretierbar. Zweitens greifen die meisten medizinischen Einrichtungen ein, indem sie bei der Verschreibung von Statinen Standardrichtlinien bezüglich des Risikoniveaus befolgen und über ausreichende Kapazitäten zum Eingreifen verfügen, da Statine weit verbreitet sind. Schließlich legt eine Schaden-Nutzen-Analyse des Statinkonsums nahe, dass die meisten Menschen von Statinen profitieren, obwohl einige Patienten ihre Nebenwirkungen nicht vertragen.

Ein Beispiel für die Modellnutzenanalyse: Advanced Care Planning

Das obige ASCVD-Beispiel ist zwar illustrativ, aber wahrscheinlich eines der einfachsten Vorhersagemodelle. Aber Vorhersagemodelle haben das Potenzial, Interventionen auszulösen, die die Arbeitsabläufe im Gesundheitswesen auf komplexere Weise stören, und der Nutzen und Schaden einiger Interventionen ist möglicherweise weniger klar.

Um dieses Problem anzugehen, haben Shah und Kollegen ein Framework entwickelt, um zu testen, ob Vorhersagemodelle in der Praxis nützlich sind. Sie demonstrierten den Rahmen anhand eines Modells, das eine Intervention namens Advanced Care Plan (ACP) auslöst.

ACP wird in der Regel Patienten angeboten, die sich dem Ende ihres Lebens nähern, und beinhaltet eine offene und ehrliche Diskussion möglicher Zukunftsszenarien und der Wünsche des Patienten für den Fall, dass er handlungsunfähig wird. Diese Gespräche geben den Patienten nicht nur ein Gefühl der Kontrolle über ihr Leben, sie senken auch die Gesundheitskosten, verbessern die Moral der Ärzte und verbessern manchmal sogar die Überlebensraten der Patienten.

Shahs Team in Stanford hat ein Modell entwickelt, das vorhersagen kann, welche Krankenhauspatienten in den nächsten 12 Monaten wahrscheinlich sterben werden. Unser Ziel: Patienten zu identifizieren, die von ACP profitieren könnten. Nachdem sichergestellt wurde, dass das Modell die Sterblichkeit gut vorhersagte und fair, interpretierbar und zuverlässig war, führte das Team zwei zusätzliche Analysen durch, um festzustellen, ob die durch das Modell ausgelösten Interventionen nützlich waren.

Die erste ist eine Kosten-Nutzen-Analyse, die ergab, dass eine erfolgreiche Intervention (die Bereitstellung von ACP für Patienten, die vom Modell korrekt als wahrscheinlich profitierend identifiziert wurden) etwa 8.400 US-Dollar einsparen würde, während eine Intervention für diejenigen, die kein ACP benötigten (d. h. Modellfehler) würde etwa 3.300 US-Dollar kosten. „In diesem Fall würden wir grob gesagt die Gewinnschwelle erreichen, selbst wenn wir nur ein Drittel Recht hätten“, sagte Shah.

Aber die Analyse hörte hier nicht auf. „Um die versprochenen 8.400 US-Dollar einzusparen, mussten wir tatsächlich einen Arbeitsablauf implementieren, der beispielsweise 21 Schritte, drei Personen und sieben Übergaben in 48 Stunden umfasste“, sagte Shah. „Können wir das im wirklichen Leben tun?“

Um diese Frage zu beantworten, simulierte das Team den Eingriff über 500 Krankenhaustage, um zu beurteilen, wie sich Faktoren wie begrenztes Personal oder Zeitmangel (aufgrund der Entlassung des Patienten) auswirken die Vorteile des Eingriffs. Sie quantifizierten auch die relativen Vorteile einer Aufstockung des stationären Personals im Vergleich zur Bereitstellung von ACP auf ambulanter Basis. Ergebnisse: Durch eine ambulante Option wird sichergestellt, dass mehr erwartete Vorteile erzielt werden. „Wir mussten nur die Hälfte der entlassenen Patienten weiterverfolgen, um eine Wirksamkeit von 75 Prozent zu erreichen, was ziemlich gut ist“, sagte Shah.

Diese Arbeit zeigt, dass selbst wenn man ein wirklich gutes Modell und eine wirklich gute Intervention hat, ein Modell nur dann nützlich ist, wenn man auch die Fähigkeit hat, die Intervention durchzuführen, sagte Shah. Auch wenn dieses Ergebnis im Nachhinein intuitiv erscheinen mag, sagte Shah, dass dies damals nicht der Fall war. „Hätten wir diese Studie nicht abgeschlossen, hätte das Stanford Hospital möglicherweise seine stationären Kapazitäten erweitert, um ACP anzubieten, auch wenn es nicht sehr kosteneffektiv war.

Shahs Team analysierte Modelle, Interventionen und die Kompromisse zwischen Nutzen und Nutzen.“ Schäden von Interventionen Der Interaktionsrahmen kann dabei helfen, Vorhersagemodelle zu identifizieren, die in der Praxis nützlich sind. „Modellierer sollten zumindest eine Art Analyse durchführen, um festzustellen, ob ihre Modelle nützliche Interventionen vorschlagen“, sagte Shah. „Das wird ein Anfang sein.“

Das obige ist der detaillierte Inhalt vonWie stellen wir sicher, dass KI im Gesundheitswesen nützlich ist?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!