또 다른 기계 학습 모델 해석 아티팩트: Shapash
Shapash란 무엇입니까
모델 해석 가능성과 이해 가능성은 많은 연구 논문과 오픈 소스 프로젝트의 초점이었습니다. 그리고 많은 프로젝트에는 데이터 전문가와 숙련된 전문가가 참여하고 있습니다.
Shapash는 대부분의 sklearn, lightgbm, xgboost, catboost 모델과 작동하며 분류 및 회귀 작업에 사용할 수 있습니다. Shap 백엔드를 활용하여 기능의 로컬 기여도를 계산하지만 이는 로컬 기여도를 계산하기 위한 다른 전략으로 대체될 수 있습니다. 데이터 과학자는 Shapash 해석기를 활용하여 모델을 조사하고 문제를 해결하거나 이를 배포하여 각 추론의 시각화를 제공할 수 있습니다. 또한 최종 고객과 기업가에게 엄청난 가치를 제공할 수 있는 웹 애플리케이션을 만드는 데에도 사용할 수 있습니다.
Shapash의 목표
1. 명확하고 합리적인 결과 표시
각 구성 요소 및 해당 패턴에 대한 레이블을 사용하여 플롯 및 출력:
2. 데이터 과학자 웹 애플리케이션을 사용하여 모델을 신속하게 이해하고 다양한 핵심 사항이 어떻게 진행되는지 이해함으로써 글로벌 이웃과 지역 이웃 사이를 쉽게 탐색할 수 있습니다.
3 요약 및 내보내기 설명
Shapash가 제공됩니다. 짧고 명확한 설명. Shapash 기능이 요약되고 명확하게 설명되므로 모든 고객은 배경에 관계없이 호스팅 모델에 대한 명확한 설명을 이해할 수 있습니다.
4. 전체 데이터 과학 보고서
전체 데이터 보고서는 여기에서 볼 수 있습니다: https://shapash-demo.ossbymaif.fr/
Shapash 기능
Shapash의 일부 기능은 다음과 같습니다.
1. 기계 학습 모델: 분류(이진 또는 다중 클래스 문제) 및 회귀 문제에 적합합니다. Catboost, Xgboost, LightGBM, Sklearn Ensemble, 선형 모델 및 SVM과 같은 여러 모델을 지원합니다.
2. 기능 인코딩: 원-핫 인코딩, 서수 인코딩, Base N 인코딩, 대상 인코딩 또는 이진 인코딩 등과 같은 데이터 세트의 범주형 기능을 처리하기 위한 다양한 인코딩 기술을 지원합니다.
3.SklearnColumnTransformer: OneHotEncoder, OrdinalEncoder, StandardScaler, QuantileTransformer 또는 PowerTransformer
4. 시각화: 결과를 쉽게 설명하고 이해하기 쉽고 명확한 결과를 표시할 수 있는 일련의 시각 효과를 제공합니다.
5. Lime, Shap과 호환됩니다. Shap 백엔드를 사용하여 단 몇 줄의 코드로 결과를 표시합니다.
6. 간결한 결과를 얻을 수 있도록 다양한 매개변수 옵션을 제공합니다.
7.Shapash는 설치 및 사용이 쉽습니다. 모델을 이해하고 간단한 구문으로 요약 및 명확화할 수 있는 SmartExplainer 클래스를 제공합니다.
8. 배포: 운영 용도에 대한 조사 및 배포(API 또는 배치 모드를 통해)가 중요합니다. 글로벌에서 로컬로 이동하는 웹 애플리케이션을 쉽게 생성할 수 있습니다.
9. 높은 다양성: 결과를 표시하려면 많은 인수가 필요합니다. 그러나 데이터를 더 많이 정리하고 보관할수록 최종 고객에게 더 명확한 결과가 제공됩니다.
Shapash 작동 방식
Shapash는 기계 학습을 쉽게 이해하고 해석할 수 있게 해주는 Python 라이브러리입니다. 데이터 애호가는 자신의 모델을 쉽게 이해하고 공유할 수 있습니다. Shapash는 Lime과 Shap을 백엔드로 사용하여 단 몇 줄의 코드로 결과를 표시합니다. Shapash는 합리적인 결과를 만들기 위해 기계 학습 모델을 구축하는 데 있어 다양한 중요한 발전을 활용합니다. 아래 이미지는 shapash 패키지의 작업 흐름을 보여줍니다.
작동 방식
- 먼저 데이터 준비, 기능 엔지니어링, 모델 피팅, 모델 평가, 모델 이해 등 각 단계의 요소를 컴파일합니다.
- 둘째, 모델을 더 잘 이해할 수 있도록 WebApp과 다이어그램을 제공합니다. 모델 결과를 고객과 공유하고 논의할 수 있습니다.
- 마지막으로 해석 가능성에 대한 요약을 제공합니다.
Installation
Shapash는 다음 코드를 사용하여 설치할 수 있습니다:
<span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">pip</span> <span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">install</span> <span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">shapash</span>
Jupyter 노트북의 경우: jupyter 노트북을 사용하고 있고 인라인 그래프를 보려면 다른 명령을 사용해야 합니다:
<span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">pip</span> <span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">install</span> <span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">ipywidgets</span>
시작하기
여기서는 House Price Prediction 데이터 세트를 사용하여 Shapash를 살펴보겠습니다. 이는 회귀 문제이므로 주택 가격을 예측해야 합니다. 먼저 단변량 및 이변량 분석을 포함한 데이터 세트를 분석한 다음 기능 중요도, 기능 기여도, 로컬 및 비교 플롯, 모델 성능, 마지막으로 WebApp을 사용하여 해석 가능성을 모델화합니다.
데이터 세트 분석
단변량 분석
아래 이미지를 보면 1층 제곱피트라는 요소를 이해할 수 있습니다. 평균, 최대값, 최소값, 표준편차, 중앙값 등과 같은 훈련 및 테스트 데이터세트에 대한 다양한 통계를 보여주는 테이블을 볼 수 있습니다. 오른쪽 그림에서는 훈련 및 테스트 데이터 세트의 분포도를 볼 수 있습니다. Shapash는 또한 기능이 범주형인지 숫자형인지 언급하고 모든 기능을 사용할 수 있는 드롭다운 옵션도 제공합니다.
일변량 분석
범주형 특성의 경우 학습 및 테스트 데이터세트에 중복되지 않은 값과 누락된 값이 표시됩니다. 오른쪽에는 각 기능의 해당 카테고리 비율을 보여주는 막대 차트가 표시됩니다.
기능 카테고리
타겟 분석
판매가라는 타겟 변수에 대한 상세 분석도 보실 수 있습니다. 왼쪽에는 훈련 및 예측 데이터 세트에 대한 개수, 평균, 표준 편차, 최소값, 최대값, 중앙값 등과 같은 모든 통계가 표시됩니다. 오른쪽에는 훈련 및 예측 데이터 세트의 분포가 표시됩니다.
대상 분석
다변량 분석
위에서 단변량 분석에 대해 자세히 설명했습니다. 이번 장에서는 다변량 분석에 대해 살펴보겠습니다. 다음 그림은 훈련 및 테스트 데이터 세트의 처음 20개 기능에 대한 상관 행렬을 보여줍니다. 상관 척도는 다양한 색상을 기준으로 표시됩니다. 이것이 Shapash를 사용하여 기능 간의 관계를 시각화하는 방법입니다.
다변량 분석
모델 해석성
특성 중요도 도표
이 라이브러리를 사용하면 특성의 중요성을 확인할 수 있습니다. 특성 중요도는 출력 값을 예측할 때 입력 특성의 중요도를 찾는 방법입니다. 아래 그림은 기능 중요도 곡선을 보여줍니다.
Feature Importance Plot
Feature Contribution Plot
이 곡선은 기능이 예측에 어떤 영향을 미치는지, 기여도가 긍정적인지 부정적인지 등과 같은 질문에 대답하는 데 도움이 됩니다. 기다리다. 이 다이어그램은 모델 해석 가능성의 중요성, 즉 모델의 전반적인 일관성을 완성하여 모델에 대한 기능의 영향을 더 잘 이해할 수 있도록 해줍니다.
숫자 및 범주형 특성의 기여도를 볼 수 있습니다.
숫자 특성의 경우
문자 기여도 플롯
범주형 특성의 경우
범주형 특성의 경우
부분 플롯
로컬을 그릴 수 있습니다. 플롯. 아래 이미지는 부분 이미지를 보여줍니다:
부분 다이어그램
비교 다이어그램
비교 다이어그램을 그릴 수 있습니다. 아래 이미지는 비교 그래프를 보여줍니다.
비교 그래프
모델 성능
데이터 분석 후 기계 학습 모델을 훈련하고 있습니다. 아래 이미지는 예측 결과를 보여줍니다. 왼쪽에는 참값과 예측값에 대한 개수, 최소값, 최대값, 중앙값, 표준편차 등의 통계가 표시됩니다. 오른쪽에는 예측값과 실제값의 분포가 표시됩니다.
모델 성능
WebApp
모델 교육 후에 웹앱을 구축할 수도 있습니다. 이 웹 앱은 지금까지 다룬 내용을 포함하여 데이터의 전체 대시보드를 보여줍니다. 아래 이미지는 대시보드를 보여줍니다.
WebApp
프로젝트 주소: https://github.com/MAIF/shapash
Written at the end
이 글은 shapash의 기본 기능과 도면 표시에 대해 간략하게 소개한 내용입니다. 파이썬 라이브러리 확실한 이해.
위 내용은 또 다른 기계 학습 모델 해석 아티팩트: Shapash의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
핫 AI 도구
Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱
AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.
Undress AI Tool
무료로 이미지를 벗다
Clothoff.io
AI 옷 제거제
Video Face Swap
완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!
인기 기사
뜨거운 도구
메모장++7.3.1
사용하기 쉬운 무료 코드 편집기
SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.
스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경
드림위버 CS6
시각적 웹 개발 도구
SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)
뜨거운 주제
7643
15
1392
52
91
11
73
19
33
151
15가지 추천 오픈 소스 무료 이미지 주석 도구
Mar 28, 2024 pm 01:21 PM
이미지 주석은 이미지 콘텐츠에 더 깊은 의미와 설명을 제공하기 위해 이미지에 레이블이나 설명 정보를 연결하는 프로세스입니다. 이 프로세스는 비전 모델을 훈련하여 이미지의 개별 요소를 보다 정확하게 식별하는 데 도움이 되는 기계 학습에 매우 중요합니다. 이미지에 주석을 추가함으로써 컴퓨터는 이미지 뒤의 의미와 맥락을 이해할 수 있으므로 이미지 내용을 이해하고 분석하는 능력이 향상됩니다. 이미지 주석은 컴퓨터 비전, 자연어 처리, 그래프 비전 모델 등 다양한 분야를 포괄하여 차량이 도로의 장애물을 식별하도록 지원하는 등 광범위한 애플리케이션을 보유하고 있습니다. 의료영상인식을 통한 질병진단. 이 기사에서는 주로 더 나은 오픈 소스 및 무료 이미지 주석 도구를 권장합니다. 1.마케센스
이 기사에서는 SHAP: 기계 학습을 위한 모델 설명을 이해하도록 안내합니다.
Jun 01, 2024 am 10:58 AM
기계 학습 및 데이터 과학 분야에서 모델 해석 가능성은 항상 연구자와 실무자의 초점이었습니다. 딥러닝, 앙상블 방법 등 복잡한 모델이 널리 적용되면서 모델의 의사결정 과정을 이해하는 것이 특히 중요해졌습니다. explainable AI|XAI는 모델의 투명성을 높여 머신러닝 모델에 대한 신뢰와 확신을 구축하는 데 도움이 됩니다. 모델 투명성을 향상시키는 것은 여러 복잡한 모델의 광범위한 사용은 물론 모델을 설명하는 데 사용되는 의사 결정 프로세스와 같은 방법을 통해 달성할 수 있습니다. 이러한 방법에는 기능 중요도 분석, 모델 예측 간격 추정, 로컬 해석 가능성 알고리즘 등이 포함됩니다. 특성 중요도 분석은 모델이 입력 특성에 미치는 영향 정도를 평가하여 모델의 의사결정 과정을 설명할 수 있습니다. 모델 예측 구간 추정
학습 곡선을 통해 과적합과 과소적합 식별
Apr 29, 2024 pm 06:50 PM
이 글에서는 학습 곡선을 통해 머신러닝 모델에서 과적합과 과소적합을 효과적으로 식별하는 방법을 소개합니다. 과소적합 및 과적합 1. 과적합 모델이 데이터에 대해 과도하게 훈련되어 데이터에서 노이즈를 학습하는 경우 모델이 과적합이라고 합니다. 과적합된 모델은 모든 예를 너무 완벽하게 학습하므로 보이지 않거나 새로운 예를 잘못 분류합니다. 과대적합 모델의 경우 완벽/거의 완벽에 가까운 훈련 세트 점수와 형편없는 검증 세트/테스트 점수를 얻게 됩니다. 약간 수정됨: "과적합의 원인: 복잡한 모델을 사용하여 간단한 문제를 해결하고 데이터에서 노이즈를 추출합니다. 훈련 세트로 사용되는 작은 데이터 세트는 모든 데이터를 올바르게 표현하지 못할 수 있기 때문입니다."
투명한! 주요 머신러닝 모델의 원리를 심층적으로 분석!
Apr 12, 2024 pm 05:55 PM
일반인의 관점에서 보면 기계 학습 모델은 입력 데이터를 예측된 출력에 매핑하는 수학적 함수입니다. 보다 구체적으로, 기계 학습 모델은 예측 출력과 실제 레이블 사이의 오류를 최소화하기 위해 훈련 데이터로부터 학습하여 모델 매개변수를 조정하는 수학적 함수입니다. 기계 학습에는 로지스틱 회귀 모델, 의사결정 트리 모델, 지원 벡터 머신 모델 등 다양한 모델이 있습니다. 각 모델에는 적용 가능한 데이터 유형과 문제 유형이 있습니다. 동시에, 서로 다른 모델 간에는 많은 공통점이 있거나 모델 발전을 위한 숨겨진 경로가 있습니다. 연결주의 퍼셉트론을 예로 들면, 퍼셉트론의 은닉층 수를 늘려 심층 신경망으로 변환할 수 있습니다. 퍼셉트론에 커널 함수를 추가하면 SVM으로 변환할 수 있다. 이 하나
우주탐사 및 인간정주공학 분야 인공지능의 진화
Apr 29, 2024 pm 03:25 PM
1950년대에는 인공지능(AI)이 탄생했다. 그때 연구자들은 기계가 사고와 같은 인간과 유사한 작업을 수행할 수 있다는 것을 발견했습니다. 이후 1960년대에 미국 국방부는 인공 지능에 자금을 지원하고 추가 개발을 위해 실험실을 설립했습니다. 연구자들은 우주 탐사, 극한 환경에서의 생존 등 다양한 분야에서 인공지능의 응용 분야를 찾고 있습니다. 우주탐험은 지구를 넘어 우주 전체를 포괄하는 우주에 대한 연구이다. 우주는 지구와 조건이 다르기 때문에 극한 환경으로 분류됩니다. 우주에서 생존하려면 많은 요소를 고려해야 하며 예방 조치를 취해야 합니다. 과학자와 연구자들은 우주를 탐험하고 모든 것의 현재 상태를 이해하는 것이 우주가 어떻게 작동하는지 이해하고 잠재적인 환경 위기에 대비하는 데 도움이 될 수 있다고 믿습니다.
C++에서 기계 학습 알고리즘 구현: 일반적인 과제 및 솔루션
Jun 03, 2024 pm 01:25 PM
C++의 기계 학습 알고리즘이 직면하는 일반적인 과제에는 메모리 관리, 멀티스레딩, 성능 최적화 및 유지 관리 가능성이 포함됩니다. 솔루션에는 스마트 포인터, 최신 스레딩 라이브러리, SIMD 지침 및 타사 라이브러리 사용은 물론 코딩 스타일 지침 준수 및 자동화 도구 사용이 포함됩니다. 실제 사례에서는 Eigen 라이브러리를 사용하여 선형 회귀 알고리즘을 구현하고 메모리를 효과적으로 관리하며 고성능 행렬 연산을 사용하는 방법을 보여줍니다.
당신이 모르는 머신러닝의 5가지 학교
Jun 05, 2024 pm 08:51 PM
머신 러닝은 명시적으로 프로그래밍하지 않고도 컴퓨터가 데이터로부터 학습하고 능력을 향상시킬 수 있는 능력을 제공하는 인공 지능의 중요한 분야입니다. 머신러닝은 이미지 인식, 자연어 처리, 추천 시스템, 사기 탐지 등 다양한 분야에서 폭넓게 활용되며 우리의 삶의 방식을 변화시키고 있습니다. 기계 학습 분야에는 다양한 방법과 이론이 있으며, 그 중 가장 영향력 있는 5가지 방법을 "기계 학습의 5개 학교"라고 합니다. 5개 주요 학파는 상징학파, 연결주의 학파, 진화학파, 베이지안 학파, 유추학파이다. 1. 상징주의라고도 알려진 상징주의는 논리적 추론과 지식 표현을 위해 상징을 사용하는 것을 강조합니다. 이 사고 학교는 학습이 기존을 통한 역연역 과정이라고 믿습니다.
설명 가능한 AI: 복잡한 AI/ML 모델 설명
Jun 03, 2024 pm 10:08 PM
번역기 | 검토자: Li Rui | Chonglou 인공 지능(AI) 및 기계 학습(ML) 모델은 오늘날 점점 더 복잡해지고 있으며 이러한 모델에서 생성되는 출력은 이해관계자에게 설명할 수 없는 블랙박스입니다. XAI(Explainable AI)는 이해관계자가 이러한 모델의 작동 방식을 이해할 수 있도록 하고, 이러한 모델이 실제로 의사 결정을 내리는 방식을 이해하도록 하며, AI 시스템의 투명성, 이 문제를 해결하기 위한 신뢰 및 책임을 보장함으로써 이 문제를 해결하는 것을 목표로 합니다. 이 기사에서는 기본 원리를 설명하기 위해 다양한 설명 가능한 인공 지능(XAI) 기술을 살펴봅니다. 설명 가능한 AI가 중요한 몇 가지 이유 신뢰와 투명성: AI 시스템이 널리 수용되고 신뢰되려면 사용자가 의사 결정 방법을 이해해야 합니다.
