DeepChecks 튜토리얼 : 기계 학습 테스트 자동화

이 자습서는 데이터 검증 및 기계 학습 모델 테스트에 대한 깊은 점검을 탐색하고 자동화 된 테스트 및 아티팩트 생성을위한 GitHub 작업을 활용합니다. 우리는 기계 학습 테스트 원칙, DeepChecks 기능 및 완전한 자동화 된 워크 플로를 다룰 것입니다.

저자에 의한 이미지

머신 러닝 테스트 이해

효과적인 머신 러닝은 간단한 정확도 메트릭을 넘어 엄격한 테스트가 필요합니다. 편견 탐지, 오 탐지/부정, 성과 지표, 처리량 및 AI 윤리와의 정렬을 포함한 공정성, 견고성 및 윤리적 고려 사항을 평가해야합니다. 여기에는 데이터 검증, 교차 검증, F1 스코어 계산, 혼동 매트릭스 분석 및 드리프트 감지 (데이터 및 예측)와 같은 기술이 포함됩니다. 신뢰할 수있는 모델 평가에 데이터 분할 (Train/Test/Validation)은 중요합니다. 이 프로세스 자동화는 신뢰할 수있는 AI 시스템을 구축하는 데 중요합니다.

초보자에게는 Python Skill Track의 기계 학습 기본 사항이 견고한 기초를 제공합니다. 오픈 소스 파이썬 라이브러리 인 DeepChecks는 포괄적 인 기계 학습 테스트를 단순화합니다. 신뢰할 수있는 모델 배포를위한 지속적인 유효성 검사를 지원하는 모델 성능, 데이터 무결성 및 배포에 대한 내장 점검을 제공합니다. 깊은 체크로 시작하는

PIP를 사용하여 DeepChecks를 설치하십시오 데이터로드 및 준비 (대출 데이터 세트) 는 DataCamp의 대출 데이터 데이터 세트를 사용합니다

DeepChecks 데이터 세트를 만듭니다 :

데이터 무결성 테스트

DeepChecks의 Data Integrity Suite는 자동 점검을 수행합니다

이것은 피처 레이블 상관 관계, 피처-가식 상관 관계, 단일 값 검사, 특수 문자 감지, 널 값 분석, 데이터 유형 일관성, 문자열 불일치, 중복 감지, 문자열 길이 검증, 충돌 레이블 및 Outlier Detection.

<:> 보고서를 저장하십시오 :

개별 테스트 실행

효율성을 위해 개별 테스트 실행 :

깊은 체크를 사용한 모델 평가

pip install deepchecks --upgrade -q

우리는 앙상블 모델 (로지스틱 회귀, 무작위 포레스트, 가우스 순진한 베이)을 훈련시키고 깊은 체크를 사용하여 그것을 평가합니다.

pip install deepchecks --upgrade -q

모델 평가 보고서에는 ROC 곡선, 약한 세그먼트 성능, 미사용 기능 감지, 열차 테스트 성능 비교, 예측 드리프트 분석, 간단한 모델 비교, 모델 추론 시간, 혼란 행렬 등

JSON 출력 :

개별 테스트 예제 (레이블 드리프트) : GitHub 동작으로 자동화

import pandas as pd
loan_data = pd.read_csv("loan_data.csv")
loan_data.head()

이 ​​섹션에서는 데이터 검증 및 모델 테스트를 자동화하기위한 GitHub 작업 워크 플로 설정에 대해 자세히 설명합니다. 이 프로세스에는 저장소 작성, 데이터 및 파이썬 스크립트 추가 (, ) 및 GitHub 작업 워크 플로 ()를 구성하여 이러한 스크립트를 실행하고 결과를 아티팩트로 저장하는 것이 포함됩니다. 자세한 단계와 코드 스 니펫은 원래 입력에 제공됩니다. 완전한 예제는

저장소를 참조하십시오. 워크 플로는 , 및 동작을 사용합니다

from sklearn.model_selection import train_test_split
from deepchecks.tabular import Dataset

label_col = 'not.fully.paid'
deep_loan_data = Dataset(loan_data, label=label_col, cat_features=["purpose"])

결론

DeepChecks 및 GitHub 동작을 사용한 기계 학습 테스트 자동화는 효율성과 안정성을 크게 향상시킵니다. 문제의 조기 탐지는 모델 정확도와 공정성을 향상시킵니다. 이 자습서는이 워크 플로 구현에 대한 실용적인 가이드를 제공하여 개발자가보다 강력하고 신뢰할 수있는 AI 시스템을 구축 할 수있게합니다. 이 분야의 추가 개발을 위해 Python Career 트랙의 기계 학습 과학자를 고려하십시오. data_validation.py.

위 내용은 DeepChecks 튜토리얼 : 기계 학습 테스트 자동화의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!