新しい研究: 医療 AI は統合失調症の新規患者の治療結果を評価する精度が低い

1 月 12 日のニュース、統合失調症患者の治療において医師を支援するために使用されるコンピューター アルゴリズムが、以前の開発プロセスでは見られなかった新しいデータにうまく適応していないことが、新しい研究で判明しました。結果として、このタイプの医療 AI は、これまでに経験したことのない患者の治療結果を評価する場合、非常にパフォーマンスが悪くなります。

これらの医療ツールは、人工知能を使用して大規模なデータセットの特徴を発見し、特定の治療に対する個人の反応を予測します。これは精密医療の中核です。医療専門家は、このツールを利用して各患者に合わせた治療を行うことを期待しています。 Science誌に掲載された論文の中で研究者らは、人工知能モデルがトレーニングサンプルに含まれる患者の治療結果を高い精度で予測できると指摘した。ただし、これまでに見たことのない患者データを扱う場合、モデルのパフォーマンスは大幅に低下し、ランダムな推測よりわずかに優れているだけでした。

精密医療の有効性を確保するには、予測モデルはさまざまな状況下でも安定した精度を維持し、バイアスやランダムな結果の可能性を最小限に抑える必要があります。

「これは人々がまだ気づいていない大きな問題です」と、研究の共著者でコネチカット州ニューヘブンのイェール大学の精神科医アダム・チェクロード氏は言う。 「この研究は基本的に、アルゴリズムがまだ複数のサンプルでテストされる必要があることを示しています。」

アルゴリズムの精度

研究者らは、精神病の予測モデルで一般的に使用されるアルゴリズムを評価しました。彼らは、北米、アジア、ヨーロッパ、アフリカで統合失調症と診断された1,513人のボランティアを対象とした5件の抗精神病薬臨床試験のデータを使用した。この試験は2004年から2009年にかけて実施され、3種類の抗精神病薬のうち1種類を服用する前と服用後4週間のボランティアの症状を測定した。

研究チームは、このデータセットを使用して、4週間の抗精神病薬投与後の患者の症状の改善の程度を予測するアルゴリズムをトレーニングしました。まず研究者らは、アルゴリズムが開発された試験でアルゴリズムの精度をテストし、予測と試験で記録された実際の効果を比較したところ、精度が高いことが判明した。

その後、彼らはさまざまな方法を使用して、AI モデルが新しいデータをどの程度正確に分析したかを評価しました。研究者らは、ある臨床試験からのデータのサブセットでモデルをトレーニングし、それを同じ臨床試験からのデータの別のサブセットに適用しました。また、1 つまたは一連の試験からのすべてのデータでアルゴリズムをトレーニングし、他の臨床試験データでモデルのパフォーマンスをテストします。

これらのテストでは人工知能モデルのパフォーマンスが低く、トレーニングされていないデータセットに適用すると、モデルによって生成された予測がほぼランダムであるように見えることが判明しました。研究チームは異なる予測アルゴリズムを使用して実験を繰り返しましたが、同様の結果が得られました。

テストの改善

研究の著者らは、臨床予測モデルの信頼性を確保するために、臨床予測モデルがどのように大規模なデータセットで厳密にテストされるべきかを浮き彫りにしたと述べた。精神医学的転帰に関する 308 の臨床予測モデルの系統的レビューでは、開発に使用されたサンプル以外のデータセットで検証されたモデルはわずか約 20% であることがわかりました。

「私たちはモデル開発について、薬を開発するのと同じように考える必要があります」とチェクルッド氏は言いました。同氏は、多くの医薬品は初期の臨床試験では良好な成績を収めても、後の段階では問題に直面すると説明した。 「これらのアルゴリズムを開発およびテストする方法の原則を厳密に遵守する必要があります。一度実行しただけでそれが真実であると考えることはできません。」 (Chenchen)

以上が新しい研究: 医療 AI は統合失調症の新規患者の治療結果を評価する精度が低いの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。