자연의 관점: 의학 분야의 인공지능 테스트는 혼란에 빠졌습니다. 어떻게 해야 할까요?

Editor | ScienceAI

제한된 임상 데이터를 기반으로 수백 개의 의료 알고리즘이 승인되었습니다. 과학자들은 누가 도구를 테스트해야 하며 최선의 방법은 무엇인지에 대해 토론하고 있습니다.

1. 데빈 싱(Devin Singh)은 오랫동안 치료를 기다리던 중 응급실에서 소아 환자가 심정지 상태에 빠지는 것을 목격했고, 이를 계기로 대기 시간을 줄이기 위해 AI 활용을 모색하게 되었습니다.
2. SickKids 응급실의 분류 데이터를 활용하여 Singh과 동료들은 잠재적인 진단을 제공하고 테스트를 권장하는 일련의 AI 모델을 구축했습니다.
3. 한 연구에 따르면 이러한 모델은 의사 방문 속도를 22.3% 단축하여 의료 검사가 필요한 환자당 결과 처리 속도를 거의 3시간 단축할 수 있는 것으로 나타났습니다.
4. 그러나 연구에서 AI 알고리즘의 성공은 그러한 개입이 실제 생활에서 사람들에게 도움이 될지 여부를 검증하는 첫 번째 단계일 뿐입니다.

   

   머신러닝 의료 지시(MLMD)를 사용해 응급실(ED)에서 자율적으로 검사를 지시하는 방법 (출처: jamanetwork.com)

의료 AI 시스템을 테스트하는 사람은 누구인가요?

Singh이 개발하고 있는 것과 같은 AI 기반 의료 애플리케이션은 미국 FDA 및 영국 의약품 및 의료 제품 규제 기관을 비롯한 의약품 규제 기관에서 의료 기기로 간주하는 경우가 많습니다. 따라서 심사 및 사용 승인 기준은 일반적으로 의약품에 대한 기준보다 덜 엄격합니다. 환자에게 높은 위험을 초래할 수 있는 장치의 일부 하위 집합에만 승인을 위해 임상 시험 데이터가 필요합니다.

많은 사람들이 임계값이 너무 낮다고 생각합니다. 필라델피아에 있는 펜실베이니아 대학교의 중환자의사인 게리 와이스먼(Gary Weissman)은 자신의 분야에서 FDA 승인 AI 장치를 검토했을 때 그가 식별한 10개의 장치 중 단 3개만이 승인 시 공개 데이터를 인용했다는 사실을 발견했습니다. 4명만이 안전성 평가를 언급했고, 도구의 결과가 다양한 환자 그룹에 공평한지 분석하는 편향 평가는 포함되지 않았습니다. 그는 "이러한 장치가 병상 관리에 영향을 미칠 수 있고 실제로 영향을 미칠 수 있다는 것이 환자의 생명이 이러한 결정에 달려 있을 수 있다는 것"이라고 말했습니다.

데이터 부족으로 인해 병원과 의료 시스템이 이러한 기술을 사용할지 결정하기가 어렵습니다. 어려운 상황에서. 어떤 경우에는 재정적 인센티브가 작용합니다. 예를 들어, 미국에서는 건강 보험 제도가 이미 병원에 특정 의료 AI 장치 사용에 대해 상환을 제공하고 있어 재정적으로 매력적입니다. 이러한 기관은 환자 치료를 반드시 개선하지는 않더라도 비용 절감을 약속하는 AI 도구를 채택하는 경향이 있을 수 있습니다.

Ouyang은 이러한 인센티브로 인해 AI 회사가 임상 시험에 투자하는 것을 방해할 수 있다고 말했습니다. “많은 상업 기업의 경우 AI 도구에 대한 보상이 가능하도록 하기 위해 더 열심히 일할 것이라고 상상할 수 있습니다.”라고 그는 말했습니다.

상황은 시장마다 다를 수 있습니다. 예를 들어 영국에서는 정부가 지원하는 국가 건강 계획이 의료 센터가 특정 제품을 구매하기 전에 더 높은 증거 기준치를 설정할 수 있다고 버밍엄 대학의 임상 연구원이자 인공 지능의 책임 있는 혁신을 연구하는 Xiaoxuan Liu가 말했습니다. "

병원에서 AI 제품을 구매하면 추가 테스트를 할 필요 없이 다른 소프트웨어처럼 바로 사용할 수 있습니다. 그러나 일부 기관에서는 규제 승인이 장치가 실제로 유익할 것이라는 보장은 없다는 점을 인식하고 있습니다. 그래서 그들은 직접 테스트하기로 결정했습니다. 현재 이러한 노력의 대부분은 학술 의료 센터에서 수행되고 자금 지원을 받고 있다고 Ouyang은 말했습니다.

암스테르담 대학 의료원의 중환자실 의료 책임자인 Alexander Vlaar와 같은 기관의 마취과 의사인 Denise Veelo가 2017년부터 이러한 노력을 시작했습니다. 그들의 목표는 수술 중 저혈압 발생을 예측하도록 설계된 알고리즘을 테스트하는 것이었습니다. 수술 중 저혈압으로 알려진 이 상태는 심장 근육 손상, 심장마비, 급성 신부전, 심지어 사망과 같은 생명을 위협하는 합병증을 유발할 수 있습니다.

캘리포니아에 본사를 둔 Edwards Lifesciences가 개발한 이 알고리즘은 동맥 파형 데이터(응급실이나 중환자실의 모니터에 표시되는 최고점과 최저점이 있는 빨간색 선)를 사용합니다. 이 방법은 저혈압이 발생하기 몇 분 전에 예측할 수 있어 조기 개입이 가능합니다.

저혈압 예측(HYPE) 시험의 참가자 흐름. (출처: jamanetwork.com) Vlaar, Veelo 및 동료들은 비심장 수술을 받는 60명의 환자를 대상으로 이 도구를 테스트하기 위해 무작위 임상 시험을 실시했습니다. 이 장치를 사용한 환자들은 수술 중 평균 8분 동안 저혈압을 경험한 반면, 대조군 환자들은 평균 거의 33분을 경험했습니다.
팀은 두 번째 임상 시험을 실시하여 이 장치가 명확한 치료 요법과 결합될 때 심장 수술 및 중환자실을 포함한 보다 복잡한 환경에서도 효과적이라는 것을 확인했습니다. 결과는 아직 발표되지 않았습니다.
성공은 단지 알고리즘의 정확성 때문만은 아닙니다. 경보에 대한 마취과 의사의 반응도 중요합니다. 따라서 연구원들은 의사들이 잘 준비되어 있는지 확인합니다. "우리는 경고를 받았을 때 취해야 할 단계를 설명하는 진단 흐름도를 가지고 있습니다"라고 Veelo는 말했습니다. 동일한 알고리즘이 다른 기관에서 실시한 임상시험에서도 이점을 보여주지 못했습니다. 이 경우 "경보가 울렸을 때 병상 의사는 지시를 따르지 않고 조치를 취하지 못했습니다"라고 Vlaar는 말했습니다.
Humans Involved 완벽하게 좋은 알고리즘이라도 의료 전문가든 치료를 받는 사람이든 인간 행동의 변화로 인해 실패할 수 있습니다.
미네소타 주 로체스터에 있는 마요 클리닉(Mayo Clinic)은 낮은 박출률로 심장 질환을 감지하기 위해 자체 개발한 알고리즘을 테스트하고 있으며, 센터의 인간-컴퓨터 상호 작용 연구원인 바바라 배리(Barbara Barry)는 개발자와 사용자를 연결하는 역할을 담당하고 있습니다. 일차 진료 제공자 간의 격차.
이 도구는 심부전의 징후일 수 있고 치료가 가능하지만 진단되지 않는 경우가 많은 질환이 발생할 위험이 높은 개인을 표시하기 위해 설계되었습니다. 임상 시험에서는 알고리즘이 진단율을 높이는 것으로 나타났습니다. 그러나 서비스 제공자와의 대화에서 Barry는 알고리즘 결과를 환자와 논의하는 방법에 대한 추가 지침이 필요하다는 사실을 발견했습니다. 이로 인해 널리 구현된다면 의료 서비스 제공자가 매번 어떻게 대화해야 할지 고민할 필요가 없도록 환자와 소통하기 위한 중요한 정보의 주요 정보를 앱에 포함해야 한다는 제안이 나왔습니다. Barry는 "이것은 실용적인 실험에서 구현 전략으로 전환하는 사례입니다."라고 말했습니다.
일부 의료 AI 장치의 성공을 제한할 수 있는 또 다른 문제는 '경고 피로'입니다. 임상의가 AI에서 생성된 수많은 경고에 노출되면 이에 둔감해질 수 있습니다. 메이요클리닉(Mayo Clinic) 가정의학과 과장 데이비드 러쉴로(David Rushlow)는 검사 과정에서 이 점을 고려해야 한다고 말했다.
"우리는 환자가 위험에 처할 수 있는 질병에 대한 알림을 하루에도 여러 번 받습니다. 바쁜 일선 의사들에게 이는 실제로 매우 어려운 작업입니다."라고 그는 말했습니다. "하지만 이러한 도구 중 상당수가 도움이 될 수 있습니다." 정확하게 소개되지 않으면 새로운 것을 배울 충분한 대역폭이 없기 때문에 기본적으로 동일한 방식으로 작업을 계속하는 것입니다." Rushlow는 지적했습니다.
편향 고려
의료 AI 테스트의 또 다른 과제는 임상 시험 결과가 다양한 모집단에 걸쳐 일반화되기 어렵다는 것입니다. Liu는 "인공지능 알고리즘이 훈련 데이터와 다른 데이터에 사용될 때 매우 취약할 수 있다는 것은 잘 알려져 있습니다."라고 말했습니다.
그녀는 임상 시험 참가자가 도구를 사용할 모집단을 대표하는 경우에만 결과를 안전하게 추정할 수 있다고 언급했습니다.
또한 자원이 풍부한 병원에서 수집된 데이터로 훈련된 알고리즘은 자원이 부족한 환경에 적용하면 제대로 작동하지 않을 수 있습니다. 예를 들어 Google Health 팀은 당뇨병 환자의 시력 상실을 유발하는 질환인 당뇨병성 망막증을 이론적으로 높은 정확도로 감지하는 알고리즘을 개발했습니다. 그러나 이 도구가 태국의 병원에서 사용되었을 때 성능이 크게 떨어졌습니다.
관찰 연구에 따르면 태국 병원의 조명 조건으로 인해 눈 이미지 품질이 저하되어 도구의 효율성이 감소하는 것으로 나타났습니다.

환자 동의

현재 대부분의 의료 AI 도구는 의료 전문가의 검사, 진단 또는 치료 계획을 지원합니다. 환자는 이러한 기술이 자신의 치료에 일상적으로 테스트되거나 사용된다는 사실을 인식하지 못할 수 있으며, 현재 의료 서비스 제공자가 이를 공개하도록 요구하는 국가는 없습니다.

인공지능 기술에 대해 환자에게 어떤 말을 해야 하는지에 대한 논쟁이 계속되고 있습니다. 이러한 앱 중 일부는 환자 동의 문제를 개발자의 주목을 끌었습니다. Singh의 팀이 SickKids 응급실에서 어린이 치료를 간소화하기 위해 개발하고 있는 인공 지능 장치의 경우가 이에 해당합니다.

이 기술의 눈에 띄게 다른 점은 전체 프로세스에서 임상의를 제거하여 어린이(또는 부모 또는 보호자)가 최종 사용자가 될 수 있다는 것입니다.

"이 도구의 역할은 긴급 분류 데이터를 가져와 예측을 하고 자녀가 테스트를 받을 수 있는지 여부를 부모에게 직접 승인하는 것입니다."라고 Singh은 말했습니다. 이는 임상의의 부담을 줄이고 전체 과정의 속도를 높입니다. 그러나 이는 또한 전례 없는 많은 문제를 가져옵니다. 환자에게 문제가 생기면 누가 책임을 지는가? 불필요한 검사를 하면 누가 비용을 지불하나요?

“자동화된 방식으로 가족으로부터 사전 동의를 얻어야 하며 동의는 신뢰할 수 있고 진실되어야 합니다.”라고 Singh은 말했습니다. "소셜 미디어에 가입하고 20페이지의 작은 글씨로 된 내용을 갖고 동의만 클릭하면 되는 것과는 다릅니다.

Singh과 그의 동료들이 환자에 대한 임상시험을 시작할 자금을 기다리는 동안 팀은 법무팀과 협력하고 있습니다." 제안을 검토하고 규제 영향을 고려하는 데 국가의 규제 기관인 캐나다 보건부(Health Canada)와 협력합니다. SickKids Children's Medical Artificial Intelligence Initiative의 컴퓨터 과학자이자 공동 의장인 Anna Goldenberg는 현재 "규제 환경은 서부 개척 시대와 약간 비슷합니다"라고 말했습니다.

해결책 찾기

의료기관은 AI 도구를 신중하게 채택하고 자율적인 테스트를 수행합니다.
비용 요인으로 인해 연구자와 의료 기관은 대안을 모색하게 되었습니다.
대형 의료기관은 어려움이 적고, 소규모 기관은 더 큰 어려움에 직면합니다.
Mayo Clinic은 지역사회 의료 환경에서 사용할 AI 도구를 테스트합니다.
Health AI Alliance는 모델을 평가하기 위해 보증 실험실을 설립했습니다.
Duke University는 AI 모델을 현지에서 검증하기 위한 내부 테스트 기능을 제안합니다.
방사선 전문의 Nina Kottler는 현지 검증의 중요성을 강조합니다.
인공지능과 최종 사용자의 정확성을 보장하려면 인적 요소에 주의를 기울여야 합니다.

참고내용 : https://www.nature.com/articles/d41586-024-02675-0

위 내용은 자연의 관점: 의학 분야의 인공지능 테스트는 혼란에 빠졌습니다. 어떻게 해야 할까요?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!