역자 | Zhu Xianzhong
리뷰어 | Sun Shujuan
PathAI는 미국 보스턴에 위치한 병리학 인공지능 기술 회사로, 병리학(질병 연구) 인공지능 기술 도구 및 서비스를 제공하는 선도업체입니다. 그들이 개발한 플랫폼은 이미지 분할, 그래프 신경망, 다중 인스턴스 학습 등 기계 학습의 최신 방법을 활용하여 복잡한 질병의 진단 정확도와 효능 평가를 크게 향상시키는 것을 목표로 합니다.
전통적인 수기 병리학은 주관성과 관찰자 변동성이 있기 쉬우며, 이는 진단 및 약물 개발 시험에 부정적인 영향을 미칠 수 있습니다. Pytorch를 사용하여 진단 워크플로를 개선하는 방법을 알아보기 전에 먼저 기계 학습에 의존하지 않는 전통적인 시뮬레이션 병리학 워크플로를 소개하겠습니다.
바이오제약 회사는 다양한 방법으로 새로운 치료법이나 진단법을 발견할 수 있습니다. 한 가지 접근 방식은 다양한 질문에 답하기 위해 병리학적 슬라이드 분석에 크게 의존합니다. 특정 세포 통신 경로는 어떻게 작동합니까? 특정 질병 상태는 특정 단백질의 존재 여부와 연관되어 있습니까? 임상 시험에서 특정 약물이 일부 환자에게는 효과가 있지만 다른 환자에게는 효과가 없는 이유는 무엇입니까? 환자 결과와 새로운 바이오마커 사이에 상관관계가 있습니까? 등.
이러한 질문에 답하기 위해 바이오제약 회사는 일반적으로 전문 병리학자에게 의존하여 슬라이드를 분석하고 어떤 문제가 있을 수 있는지 평가하는 데 도움을 줍니다.
상상하실 수 있듯이 정확한 해석과 진단을 내리려면 위원회에서 인증한 전문 병리학자가 필요합니다. 한 연구에서는 36명의 병리학자가 단일 생검을 통해 치료가 필요하지 않은 경우부터 적극적인 치료가 필요한 경우까지 심각도에 따라 18가지 진단을 받았습니다. 또한 병리학자는 어려운 경계선 사례에 대해 동료로부터 피드백을 구하는 경우가 많습니다. 문제의 복잡성을 고려하면 병리학자가 전문가 교육과 협력을 통해 올바른 진단을 내리는 것이 어려울 수 있습니다. 이러한 잠재적 불일치는 승인된 약물과 임상 시험에 실패한 약물 간의 차이로 인해 발생할 수 있습니다.
PathAI는 약물 개발, 임상 시험 및 진단에 대한 통찰력을 제공하도록 설계된 일련의 기계 학습 모델을 개발했습니다. 이를 위해 PathAI는 그래프 신경망(GNN) 및 다중 인스턴스 학습을 포함한 다양한 방법을 사용하여 슬라이드 수준 추론을 위해 Pytork 프레임워크를 활용합니다. 이러한 맥락에서 "슬라이드"는 유리 슬라이드의 전체 크기 스캔을 의미합니다. 슬라이드는 다양한 세포 형성을 나타내기 위해 염색된 중앙에 얇은 조직 층이 있는 유리 조각입니다. PyTorch를 사용하면 우리 팀은 이러한 다양한 접근 방식을 사용하여 필요한 모든 조건에서 작동할 수 있을 만큼 강력한 공통 프레임워크를 공유할 수 있습니다. 또한 PyTorch의 높은 수준의 필수적이고 Python적인 구문을 사용하면 모델의 프로토타입을 빠르게 제작한 다음 원하는 결과를 얻은 후에 해당 모델을 확장할 수 있습니다.
병리학에 기계 학습 기술을 적용할 때 독특한 과제는 이미지의 크기입니다. 이러한 디지털 슬라이드쇼의 해상도는 일반적으로 100,000 x 100,000픽셀 이상이며 크기는 기가바이트입니다. GPU 메모리에 완전한 이미지를 로드하고 여기에 전통적인 컴퓨터 비전 알고리즘을 적용하는 것은 거의 불가능한 작업입니다. 전체 슬라이드 이미지(100k x 100k)에 주석을 다는 데도 많은 시간과 리소스가 소요됩니다. 특히 주석 작성자가 도메인 전문가(위원회 인증 병리학자)인 경우 더욱 그렇습니다. 우리는 전체 이미지에 걸쳐 수천 개의 픽셀을 포함하는 환자 슬라이드에서 암의 존재 여부와 같은 이미지 수준 레이블을 예측하기 위해 모델을 구축하는 경우가 많습니다. 암이 있는 부분은 전체 슬라이드의 작은 부분일 때도 있으므로 기계 학습 문제는 건초 더미에서 바늘을 찾는 것과 비슷합니다. 반면, 특정 조직학적 바이오마커 예측과 같은 일부 문제는 전체 슬라이드에서 정보를 집계해야 하지만 이 목표는 이미지 크기로 인해 달성하기 어렵습니다. 이러한 모든 요소는 기계 학습 기술을 병리학 문제에 적용할 때 상당한 알고리즘, 계산 및 논리적 복잡성을 추가합니다.
아래 그림과 같이 이미지를 더 작은 패치로 분해하고 패치 표현을 학습한 다음 이러한 표현을 병합하여 이미지 수준 레이블을 예측하는 것이 이 문제를 해결하는 한 가지 방법입니다. 일반적으로 사용되는 방법 중 하나는 다중 인스턴스 학습(MIL)입니다. 각 조각은 "인스턴스"로 간주되며 조각 그룹은 "패키지"를 형성합니다. 개별 조각 표현을 함께 집계하여 최종 패키지 수준 라벨을 예측합니다. 알고리즘적으로 Bag 내의 개별 슬라이스 인스턴스에는 레이블이 필요하지 않으므로 약한 감독 방식으로 Bag 수준 레이블을 학습할 수 있습니다. 또한 순열 불변 풀링 기능을 사용하여 슬라이스 순서에 관계없이 예측을 수행하고 정보를 효율적으로 집계할 수 있습니다.
보통 어텐션 기반 풀링 기능을 사용하면 효율적인 집계가 가능할 뿐만 아니라, 백에 담긴 각 슬라이스에 어텐션 값을 제공할 수 있습니다. 이 값은 예측에서 해당 슬라이스의 중요성을 나타내며 시각화하여 모델 예측을 더 잘 이해할 수 있습니다. 이러한 해석 가능성 요소는 이러한 모델의 실제 채택을 추진하는 데 중요하며, 이러한 공간 해석 가능성을 달성하기 위해 추가 MIL 모델과 같은 변형을 사용합니다. 계산적으로 MIL 모델은 슬라이스 표현이 이미지 크기와 독립적으로 얻어지기 때문에 대형 이미지에 신경망을 적용할 때 발생하는 문제를 방지합니다.
PathAI에서는 심층 네트워크를 기반으로 하는 맞춤형 MIL 모델을 사용하여 이미지 수준 레이블을 예측합니다. 프로세스는 다음과 같습니다.
1. 다양한 샘플링 방법을 사용하여 슬라이드에서 조각을 선택합니다.
2. 무작위 샘플링 또는 휴리스틱 규칙을 기반으로 슬라이스 팩을 구성합니다.
3. 사전 훈련된 모델 또는 대규모 표현 학습 모델을 기반으로 각 인스턴스에 대한 슬라이스 표현을 생성합니다.
4. 최종 슬라이드 레벨 점수를 얻으려면 순열 불변 풀링 기능을 적용하세요.
이제 Pytork에서 MIL에 대한 고급 세부 정보를 배웠습니다. 다음으로, 일부 코드를 살펴보고 Pytork에서 아이디어를 생산 코드로 전환하는 것이 얼마나 쉬운지 살펴보겠습니다. 샘플러, 변환 및 MIL 데이터세트를 정의하는 것부터 시작합니다.
<span style="color: rgb(0, 92, 197); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">#创建一袋采样器，从幻灯片中随机采样切片</span><br><span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">bag_sampler</span> <span style="color: rgb(215, 58, 73); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">=</span> <span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">RandomBagSampler</span>(<span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">bag_size</span><span style="color: rgb(215, 58, 73); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">=</span><span style="color: rgb(0, 92, 197); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">12</span>)<br><br><span style="color: rgb(0, 92, 197); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">#设置转换</span><br><span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">crop_transform</span> <span style="color: rgb(215, 58, 73); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">=</span> <span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">FlipRotateCenterCrop</span>(<span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">use_flips</span><span style="color: rgb(215, 58, 73); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">=</span><span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">True</span>)<br><br><span style="color: rgb(0, 92, 197); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">#创建为每个包加载切片的数据集</span><br><span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">train_dataset</span> <span style="color: rgb(215, 58, 73); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">=</span> <span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">MILDataset</span>(<br><span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">bag_sampler</span><span style="color: rgb(215, 58, 73); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">=</span><span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">bag_sampler</span>,<br><span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">samples_loader</span><span style="color: rgb(215, 58, 73); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">=</span><span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">sample_loader</span>,<br><span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">transform</span><span style="color: rgb(215, 58, 73); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">=</span><span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">crop_transform</span>,<br>)
샘플러와 데이터세트를 정의한 후에는 이 데이터세트를 사용하여 실제로 훈련되는 모델을 정의해야 합니다. 이는 익숙한 PyTorch 모델 정의 구문을 사용하여 쉽게 수행할 수 있으며 이를 통해 사용자 정의 모델을 생성할 수도 있습니다.
<span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">classifier</span> <span style="color: rgb(215, 58, 73); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">=</span> <span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">DefaultPooledClassifier</span>(<span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">hidden_dims</span><span style="color: rgb(215, 58, 73); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">=</span>[<span style="color: rgb(0, 92, 197); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">256</span>, <span style="color: rgb(0, 92, 197); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">256</span>], <span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">input_dims</span><span style="color: rgb(215, 58, 73); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">=</span><span style="color: rgb(0, 92, 197); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">1024</span>, <span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">output_dims</span><span style="color: rgb(215, 58, 73); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">=</span><span style="color: rgb(0, 92, 197); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">1</span>)<br><br><span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">pooling</span> <span style="color: rgb(215, 58, 73); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">=</span> <span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">DefaultAttentionModule</span>(<br><span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">input_dims</span><span style="color: rgb(215, 58, 73); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">=</span><span style="color: rgb(0, 92, 197); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">1024</span>,<br><span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">hidden_dims</span><span style="color: rgb(215, 58, 73); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">=</span>[<span style="color: rgb(0, 92, 197); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">256</span>, <span style="color: rgb(0, 92, 197); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">256</span>],<br><span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">output_activation</span><span style="color: rgb(215, 58, 73); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">=</span><span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">StableSoftmax</span>()<br>)<br><br># <span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">定义由特征化器、池模块和分类器组成的模型</span><br><span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">model</span> <span style="color: rgb(215, 58, 73); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">=</span> <span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">DefaultMILGraph</span>(<span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">featurizer</span><span style="color: rgb(215, 58, 73); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">=</span><span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">ShuffleNetV2</span>(), <span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">classifier</span><span style="color: rgb(215, 58, 73); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">=</span><span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">classifier</span>, <span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">pooling</span> <span style="color: rgb(215, 58, 73); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">=</span> <span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">pooling</span>)
이러한 모델은 엔드 투 엔드로 학습되었기 때문에 기가픽셀 전체 슬라이드 이미지에서 개별 레이블로 직접 변환할 수 있는 강력한 방법을 제공합니다. 다양한 생물학적 문제에 대한 광범위한 적용 가능성으로 인해 구현 및 배포의 두 가지 측면이 중요합니다.
Pytork은 MIL 모델링에 다양한 장점을 가지고 있습니다. 유연한 제어 흐름으로 동적 계산 그래프를 생성하는 직관적인 방법을 제공하며 이는 신속한 연구 실험에 유용합니다. 매핑 스타일 데이터 세트, 구성 가능한 샘플러 및 배치 샘플러를 사용하면 타일 패키지 구축 방법을 맞춤화하여 더 빠른 실험이 가능합니다. MIL 모델은 IO 집약적이므로 데이터 병렬성과 파이썬 데이터 로더는 작업을 매우 효율적이고 사용자 친화적으로 만듭니다. 마지막으로, PyTorch의 객체 지향적 특성을 통해 재사용 가능한 모듈을 구축할 수 있어 신속한 실험, 유지 관리 가능한 구현 및 파이프라인 구축이 용이한 구성 구성 요소가 가능합니다.
건강한 조직과 질병에 걸린 조직 모두에서 세포의 공간 배열과 구조는 종종 세포 자체만큼 중요합니다. 예를 들어, 폐암을 평가할 때 병리학자는 종양 세포의 전체 그룹화 및 구조(고체 시트를 형성합니까? 아니면 더 작고 국소적인 클러스터에서 발생합니까?)를 조사하여 암이 다음과 같은 특정 하위 유형에 속하는지 확인하려고 합니다. 다양하게 달라집니다. 세포와 다른 조직 구조 사이의 공간적 관계는 그래프를 사용하여 모델링하여 조직 토폴로지와 세포 구성을 동시에 포착할 수 있습니다. 그래프 신경망(GNN)을 사용하면 특정 암의 유전자 과발현과 같은 다른 임상 변수와 상관관계가 있는 그래프의 공간 패턴을 학습할 수 있습니다.
2020년 말 PathAI 회사가 조직 샘플에 GNN을 사용하기 시작했을 때 PyTorch는 PyG 패키지를 통해 GNN 기능에 대한 가장 성숙하고 뛰어난 지원을 받았습니다. GNN 모델이 우리가 탐구하고 싶은 중요한 기계 학습 개념이라는 것을 알았기 때문에 PyTork가 우리 팀에게 자연스러운 선택이 되었습니다.
조직 샘플의 맥락에서 GNN의 주요 부가 가치 중 하나는 그래프 자체가 육안 검사만으로는 찾기 어려운 공간적 관계를 드러낼 수 있다는 것입니다. 최근 AACR 간행물에서 우리는 GNN을 사용함으로써 종양 미세 환경에서 면역 세포 집합체(특히 3차 림프구조 또는 TLS)의 존재가 환자 결과에 미치는 영향을 더 잘 이해할 수 있다고 언급했습니다. 이 경우 TLS의 존재와 관련된 유전자 발현을 예측하고 TLS 영역 외부의 TLS 관련 조직학적 특징을 식별하기 위해 GNN 방법을 사용했습니다. 유전자 발현에 대한 이러한 통찰력은 ML 모델의 도움 없이는 조직 샘플 이미지에서 식별하기 어려울 것입니다.
우리가 성공적으로 사용한 가장 유망한 GNN 변형 중 하나는 self-attention 그래프 풀링입니다. 다음으로 PyTorch와 PyG를 사용하여 SAGPool(Self-Attention Graph Pooling) 모델을 정의하는 방법을 살펴보겠습니다.
<span style="color: rgb(215, 58, 73); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">class</span> <span style="color: rgb(0, 92, 197); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">SAGPool</span>(<span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">torch</span>.<span style="color: rgb(0, 92, 197); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">nn</span>.<span style="color: rgb(0, 92, 197); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">Module</span>):<br><span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">def</span> <span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">__init__</span>(<span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">self</span>, <span style="color: rgb(31, 127, 154); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">...</span>):<br><span style="color: rgb(215, 58, 73); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">super</span>().<span style="color: rgb(0, 92, 197); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">__init__</span>()<br><span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">self</span>.<span style="color: rgb(0, 92, 197); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">conv1</span> <span style="color: rgb(215, 58, 73); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">=</span> <span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">GraphConv</span>(<span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">in_features</span>, <span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">hidden_features</span>, <span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">aggr</span><span style="color: rgb(215, 58, 73); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">=</span><span style="color: rgb(102, 153, 0); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">'mean'</span>)<br><span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">self</span>.<span style="color: rgb(0, 92, 197); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">convs</span> <span style="color: rgb(215, 58, 73); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">=</span> <span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">torch</span>.<span style="color: rgb(0, 92, 197); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">nn</span>.<span style="color: rgb(0, 92, 197); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">ModuleList</span>()<br><span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">self</span>.<span style="color: rgb(0, 92, 197); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">pools</span> <span style="color: rgb(215, 58, 73); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">=</span> <span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">torch</span>.<span style="color: rgb(0, 92, 197); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">nn</span>.<span style="color: rgb(0, 92, 197); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">ModuleList</span>()<br><span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">self</span>.<span style="color: rgb(0, 92, 197); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">convs</span>.<span style="color: rgb(0, 92, 197); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">extend</span>([<span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">GraphConv</span>(<span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">hidden_features</span>, <span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">hidden_features</span>, <span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">aggr</span><span style="color: rgb(215, 58, 73); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">=</span><span style="color: rgb(102, 153, 0); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">'mean'</span>) <span style="color: rgb(215, 58, 73); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">for</span> <span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">i</span> <span style="color: rgb(215, 58, 73); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">in</span> <span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">range</span>(<span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">num_layers</span> <span style="color: rgb(215, 58, 73); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">-</span> <span style="color: rgb(0, 92, 197); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">1</span>)])<br><span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">self</span>.<span style="color: rgb(0, 92, 197); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">pools</span>.<span style="color: rgb(0, 92, 197); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">extend</span>([<span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">SAGPooling</span>(<span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">hidden_features</span>, <span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">ratio</span>, <span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">GNN</span><span style="color: rgb(215, 58, 73); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">=</span><span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">GraphConv</span>, <span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">min_score</span><span style="color: rgb(215, 58, 73); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">=</span><span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">min_score</span>) <span style="color: rgb(215, 58, 73); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">for</span> <span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">i</span> <span style="color: rgb(215, 58, 73); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">in</span> <span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">range</span>((<span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">num_layers</span>) <span style="color: rgb(106, 115, 125); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">// 2)])</span><br><span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">self</span>.<span style="color: rgb(0, 92, 197); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">jump</span> <span style="color: rgb(215, 58, 73); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">=</span> <span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">JumpingKnowledge</span>(<span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">mode</span><span style="color: rgb(215, 58, 73); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">=</span><span style="color: rgb(102, 153, 0); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">'cat'</span>)<br><span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">self</span>.<span style="color: rgb(0, 92, 197); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">lin1</span> <span style="color: rgb(215, 58, 73); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">=</span> <span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">Linear</span>(<span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">num_layers</span> <span style="color: rgb(215, 58, 73); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">*</span> <span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">hidden_features</span>, <span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">hidden_features</span>)<br><span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">self</span>.<span style="color: rgb(0, 92, 197); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">lin2</span> <span style="color: rgb(215, 58, 73); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">=</span> <span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">Linear</span>(<span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">hidden_features</span>, <span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">out_features</span>)<br><span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">self</span>.<span style="color: rgb(0, 92, 197); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">out_activation</span> <span style="color: rgb(215, 58, 73); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">=</span> <span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">out_activation</span><br><span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">self</span>.<span style="color: rgb(0, 92, 197); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">dropout</span> <span style="color: rgb(215, 58, 73); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">=</span> <span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">dropout</span>
在上面的代码中，我们首先定义一个卷积图层，然后添加两个模块列表层，允许我们传入可变数量的层。然后，我们获取空模块列表，并附加可变数量的GraphConv层，后跟可变数量的SAGPooling层。然后，我们通过添加JumpingKnowledge层、两个线性层、激活函数和退出值来完成SAGPool定义。PyTorch直观的语法使我们能够抽象出使用最先进方法（如SAG池）的复杂性，同时保持我们熟悉的通用模型开发方法。
像我们上面描述的使用一个SAG池这样的模型只是GNN与PyTorch如何允许我们探索新想法的一个例子。我们最近还探索了多模式CNN-GNN混合模型，其结果比传统病理学家共识分数高20%。这些创新以及传统CNN和GNN之间的相互作用，再次得益于从研究到生产的短期模型开发循环。
总而言之，为了实现我们使用人工智能驱动的病理学改善患者预后的使命，PathAI需要借助于ML开发框架，该框架：（1）在开发和探索的初始阶段促进快速迭代和轻松扩展（即模型配置为代码）（2）将模型训练和推理扩展到海量图像（3）轻松可靠地为我们产品的生产使用（在临床试验及以后）提供模型。
正如我们在本文中所展示的，PyTorch为我们提供了所有上述功能以及更多功能支持。我们对PyTorch框架的未来感到无比兴奋，甚至迫不及待地想看到我们可以使用该框架解决哪些其他有影响力的挑战。
朱先忠，51CTO社区编辑，51CTO专家博客、讲师，潍坊一所高校计算机教师，自由编程界老兵一枚。早期专注各种微软技术（编著成ASP.NET AJX、Cocos 2d-X相关三本技术图书），近十多年投身于开源世界（熟悉流行全栈Web开发技术），了解基于OneNet/AliOS+Arduino/ESP32/树莓派等物联网开发技术与Scala+Hadoop+Spark+Flink等大数据开发技术。
原文标题：Case Study: PathAI Uses PyTorch to Improve Patient Outcomes with AI-powered Pathology，作者：Logan Kilpatrick, Harshith Padigela, Syed Ashar Javed, Robert Egger
위 내용은 PathAI는 머신러닝을 사용하여 약물 개발을 추진합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
