Satu lagi artifak tafsiran model pembelajaran mesin: Shapash
Apakah itu Shapash
Kebolehtafsiran model dan kebolehfahaman telah menjadi tumpuan banyak kertas penyelidikan dan projek sumber terbuka. Dan banyak projek dilengkapi dengan pakar data dan profesional terlatih.
Shapash berfungsi dengan kebanyakan model sklearn, lightgbm, xgboost, catboost dan boleh digunakan untuk tugasan pengelasan dan regresi. Ia menggunakan bahagian belakang Shap untuk mengira sumbangan tempatan bagi ciri, bagaimanapun, ini boleh digantikan dengan beberapa strategi lain untuk mengira sumbangan tempatan. Saintis data boleh memanfaatkan penterjemah Shapash untuk menyiasat dan menyelesaikan masalah model mereka, atau menggunakan ia untuk memberikan visualisasi bagi setiap inferens. Dan ia juga boleh digunakan untuk membuat aplikasi web yang boleh membawa nilai yang besar kepada pelanggan dan usahawan akhir.
pustaka shabash
Matlamat Shapash
1 Paparkan hasil yang jelas dan munasabah
Lukisan dan output menggunakan setiap Teg untuk komponen dan coraknya:
2. Aplikasi Web
Saintis data boleh meneroka dengan mudah antara kejiranan global dan tempatan dengan menggunakan aplikasi web untuk memahami mereka dengan cepat model dan fahami cara pelbagai perkara utama berfungsi:
apl web perpustakaan shapash
3 Ringkasan dan eksport Penjelasan
Shapash menawarkan ringkasan dan penerangan yang jelas. Ia membolehkan setiap pelanggan, tidak kira apa latar belakang mereka, memahami penjelasan yang jelas tentang model pengehosan kerana ciri Shapash diringkaskan dan dijelaskan dengan jelas.
4. Laporan sains data lengkap
Laporan data lengkap boleh dilihat di sini: https://shapash-demo.ossbymaif.fr/
Ciri Shapash
Beberapa ciri Shapash adalah seperti berikut:
1. Model pembelajaran mesin: Ia sesuai untuk klasifikasi (masalah binari atau berbilang kelas) dan masalah regresi. Ia menyokong berbilang model seperti Catboost, Xgboost, LightGBM, Sklearn Ensemble, model linear dan SVM.
2. Pengekodan ciri: Ia menyokong sejumlah besar teknik pengekodan untuk memproses ciri kategori dalam set data kami, seperti pengekodan satu panas, pengekodan ordinal, pengekodan Base N, pengekodan sasaran atau pengekodan binari, dsb.
3.SklearnColumnTransformer: OneHotEncoder, OrdinalEncoder, StandardScaler, QuantileTransformer atau PowerTransformer
4.Visualization: Menyediakan satu set kesan visual untuk menerangkan hasil anda dengan mudah dan memaparkan hasil yang boleh difahami dan jelas.
5. Ia serasi dengan Lime dan Shap. Ia menggunakan bahagian belakang Shap untuk memaparkan hasil hanya dalam beberapa baris kod.
6. Ia menyediakan banyak pilihan untuk parameter untuk mendapatkan hasil dengan ringkas.
7.Shapash mudah dipasang dan digunakan: Ia menyediakan kelas SmartExplainer untuk memahami model anda dan meringkaskan serta menjelaskannya dengan sintaks yang mudah.
8. Penerapan: Penyiasatan dan penggunaan (melalui API atau mod kelompok) penggunaan operasi adalah penting. Buat aplikasi web dengan mudah untuk menavigasi dari global ke tempatan.
9. Fleksibiliti tinggi: Untuk memaparkan keputusan, banyak hujah diperlukan. Tetapi semakin banyak yang anda lakukan untuk membersihkan dan mengarkibkan data anda, semakin jelas hasilnya untuk pelanggan akhir anda.
Cara Shapash berfungsi
Shapash ialah perpustakaan Python yang menjadikan pembelajaran mesin mudah difahami dan ditafsir. Peminat data boleh memahami dan berkongsi model mereka dengan mudah. Shapash menggunakan Lime dan Shap sebagai bahagian belakang untuk memaparkan hasil hanya dalam beberapa baris kod. Shapash bergantung pada pelbagai kemajuan penting dalam membina model pembelajaran mesin untuk membuat keputusan yang munasabah. Imej di bawah menunjukkan aliran kerja pakej shapash:
Cara Shapash berfungsi
Cara ia berfungsi
- Pertama, ia menyusun elemen setiap langkah, seperti penyediaan data, kejuruteraan ciri, pemasangan model, penilaian model dan pemahaman model.
- Kedua, ia menyediakan WebApp dan gambar rajah untuk memahami model dengan lebih baik. Hasil model boleh dikongsi dan dibincangkan dengan pelanggan.
- Akhir sekali, ia memberi anda ringkasan kebolehtafsiran.
Pemasangan
Shapash boleh dipasang menggunakan kod berikut:
<span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">pip</span> <span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">install</span> <span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">shapash</span>
Untuk Buku Nota Jupyter: Jika anda menggunakan buku nota jupyter dan ingin melihat graf sebaris , Kemudian anda perlu menggunakan arahan lain:
<span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">pip</span> <span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">install</span> <span style="color: rgb(89, 89, 89); margin: 0px; padding: 0px; background: none 0% 0% / auto repeat scroll padding-box border-box rgba(0, 0, 0, 0);">ipywidgets</span>
Bermula
Di sini kita akan meneroka Shapash menggunakan dataset Ramalan Harga Rumah. Ini adalah masalah regresi dan kita perlu meramalkan harga rumah. Mula-mula kita menganalisis set data, termasuk analisis univariat dan bivariat, kemudian kebolehtafsiran model menggunakan kepentingan ciri, sumbangan ciri, plot tempatan dan perbandingan, kemudian prestasi model, dan akhirnya WebApp.
Analisis Set Data
Analisis Univariat
Penggunaan Anda boleh melihat imej di bawah untuk memahami elemen yang dinamakan Kaki Persegi Tingkat Pertama. Kami boleh melihat jadual yang menunjukkan pelbagai statistik untuk set data latihan dan ujian kami, seperti min, maksimum, minimum, sisihan piawai, median dan banyak lagi. Dalam rajah di sebelah kanan anda boleh melihat plot pengedaran set data latihan dan ujian. Shapash juga menyebut sama ada ciri kami adalah kategori atau angka dan ia juga menyediakan pilihan lungsur di mana semua ciri tersedia.
Analisis univariate
Untuk ciri kategori, set data latihan dan ujian menunjukkan nilai bukan pendua dan tiada. Di sebelah kanan, carta bar ditunjukkan menunjukkan peratusan kategori yang sepadan dalam setiap ciri.
Kategori dalam Ciri
Analisis Matlamat
Anda juga boleh melihat sasaran yang dinamakan Analisis Terperinci Harga Jualan bagi pembolehubah. Di sebelah kiri, semua statistik seperti kiraan, min, sisihan piawai, minimum, maksimum, median, dll. ditunjukkan untuk set data latihan dan ramalan. Di sebelah kanan, pengedaran set data latihan dan ramalan ditunjukkan.
Analisis Sasaran
Analisis Pelbagai
Kami membincangkan analisis univariate secara terperinci di atas. Dalam bahagian ini kita akan melihat analisis multivariate. Rajah berikut menunjukkan matriks korelasi untuk 20 ciri pertama set data latihan dan ujian. Skala korelasi juga ditunjukkan berdasarkan warna yang berbeza. Beginilah cara kami menggunakan Shapash untuk menggambarkan hubungan antara ciri.
Analisis Pelbagai
Kebolehtafsiran Model
Plot Kepentingan Ciri
Lulus Menggunakan perpustakaan ini kita dapat melihat kepentingan ciri ini. Kepentingan ciri ialah kaedah mencari kepentingan ciri input dalam meramalkan nilai keluaran. Rajah berikut menunjukkan lengkung kepentingan ciri:
Plot Kepentingan Ciri
Plot Sumbangan Ciri
Keluk Ini bantu kami menjawab soalan seperti bagaimana ciri mempengaruhi ramalan saya, sama ada sumbangannya positif atau negatif, dsb. Gambar rajah ini melengkapkan kepentingan kebolehtafsiran model, ketekalan keseluruhan model menjadikannya lebih berkemungkinan untuk memahami kesan ciri pada model.
Kita boleh melihat plot sumbangan ciri berangka dan kategori.
Untuk ciri berangka
Plot sumbangan
Untuk ciri kategori
Untuk ciri kategori
Peta separa
Kami boleh melukis peta setempat. Imej di bawah menunjukkan peta separa:
Rajah Separa
Rajah Perbandingan
Kita boleh melukis rajah perbandingan. Imej berikut menunjukkan graf perbandingan:
Graf perbandingan
Prestasi Model
Selepas analisis data, kami sedang melatih model pembelajaran mesin . Imej di bawah menunjukkan output ramalan kami. Di sebelah kiri, statistik seperti kiraan, minimum, maksimum, median, sisihan piawai, dsb. ditunjukkan untuk nilai sebenar dan ramalan. Di sebelah kanan, taburan nilai ramalan dan nilai sebenar ditunjukkan.
Prestasi Model
WebApp
Selepas latihan model, kami juga boleh membina WebApp. Apl web ini menunjukkan papan pemuka lengkap data kami, termasuk perkara yang telah kami bincangkan setakat ini. Imej di bawah menunjukkan papan pemuka.
WebApp
Alamat projek: https://github.com/MAIF/shapash
Tulis di penghujung
Artikel ini memperkenalkan secara ringkas fungsi asas dan paparan lukisan shapash. Saya percaya semua orang mempunyai pemahaman tertentu tentang perpustakaan ular sawa ini.
Atas ialah kandungan terperinci Satu lagi artifak tafsiran model pembelajaran mesin: Shapash. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!
Alat AI Hot
Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik
AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.
Undress AI Tool
Gambar buka pakaian secara percuma
Clothoff.io
Penyingkiran pakaian AI
Video Face Swap
Tukar muka dalam mana-mana video dengan mudah menggunakan alat tukar muka AI percuma kami!
Artikel Panas
Alat panas
Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma
SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan
Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa
Dreamweaver CS6
Alat pembangunan web visual
SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)
Topik panas
1392
52
15 alat anotasi imej percuma sumber terbuka disyorkan
Mar 28, 2024 pm 01:21 PM
Anotasi imej ialah proses mengaitkan label atau maklumat deskriptif dengan imej untuk memberi makna dan penjelasan yang lebih mendalam kepada kandungan imej. Proses ini penting untuk pembelajaran mesin, yang membantu melatih model penglihatan untuk mengenal pasti elemen individu dalam imej dengan lebih tepat. Dengan menambahkan anotasi pada imej, komputer boleh memahami semantik dan konteks di sebalik imej, dengan itu meningkatkan keupayaan untuk memahami dan menganalisis kandungan imej. Anotasi imej mempunyai pelbagai aplikasi, meliputi banyak bidang, seperti penglihatan komputer, pemprosesan bahasa semula jadi dan model penglihatan graf Ia mempunyai pelbagai aplikasi, seperti membantu kenderaan dalam mengenal pasti halangan di jalan raya, dan membantu dalam proses. pengesanan dan diagnosis penyakit melalui pengecaman imej perubatan. Artikel ini terutamanya mengesyorkan beberapa alat anotasi imej sumber terbuka dan percuma yang lebih baik. 1.Makesen
Artikel ini akan membawa anda memahami SHAP: penjelasan model untuk pembelajaran mesin
Jun 01, 2024 am 10:58 AM
Dalam bidang pembelajaran mesin dan sains data, kebolehtafsiran model sentiasa menjadi tumpuan penyelidik dan pengamal. Dengan aplikasi meluas model yang kompleks seperti kaedah pembelajaran mendalam dan ensemble, memahami proses membuat keputusan model menjadi sangat penting. AI|XAI yang boleh dijelaskan membantu membina kepercayaan dan keyakinan dalam model pembelajaran mesin dengan meningkatkan ketelusan model. Meningkatkan ketelusan model boleh dicapai melalui kaedah seperti penggunaan meluas pelbagai model yang kompleks, serta proses membuat keputusan yang digunakan untuk menerangkan model. Kaedah ini termasuk analisis kepentingan ciri, anggaran selang ramalan model, algoritma kebolehtafsiran tempatan, dsb. Analisis kepentingan ciri boleh menerangkan proses membuat keputusan model dengan menilai tahap pengaruh model ke atas ciri input. Anggaran selang ramalan model
Kenal pasti overfitting dan underfitting melalui lengkung pembelajaran
Apr 29, 2024 pm 06:50 PM
Artikel ini akan memperkenalkan cara mengenal pasti pemasangan lampau dan kekurangan dalam model pembelajaran mesin secara berkesan melalui keluk pembelajaran. Underfitting dan overfitting 1. Overfitting Jika model terlampau latihan pada data sehingga ia mempelajari bunyi daripadanya, maka model tersebut dikatakan overfitting. Model yang dipasang terlebih dahulu mempelajari setiap contoh dengan sempurna sehingga ia akan salah mengklasifikasikan contoh yang tidak kelihatan/baharu. Untuk model terlampau, kami akan mendapat skor set latihan yang sempurna/hampir sempurna dan set pengesahan/skor ujian yang teruk. Diubah suai sedikit: "Punca overfitting: Gunakan model yang kompleks untuk menyelesaikan masalah mudah dan mengekstrak bunyi daripada data. Kerana set data kecil sebagai set latihan mungkin tidak mewakili perwakilan yang betul bagi semua data. 2. Underfitting Heru
Telus! Analisis mendalam tentang prinsip model pembelajaran mesin utama!
Apr 12, 2024 pm 05:55 PM
Dalam istilah orang awam, model pembelajaran mesin ialah fungsi matematik yang memetakan data input kepada output yang diramalkan. Secara lebih khusus, model pembelajaran mesin ialah fungsi matematik yang melaraskan parameter model dengan belajar daripada data latihan untuk meminimumkan ralat antara output yang diramalkan dan label sebenar. Terdapat banyak model dalam pembelajaran mesin, seperti model regresi logistik, model pepohon keputusan, model mesin vektor sokongan, dll. Setiap model mempunyai jenis data dan jenis masalah yang berkenaan. Pada masa yang sama, terdapat banyak persamaan antara model yang berbeza, atau terdapat laluan tersembunyi untuk evolusi model. Mengambil perceptron penyambung sebagai contoh, dengan meningkatkan bilangan lapisan tersembunyi perceptron, kita boleh mengubahnya menjadi rangkaian neural yang mendalam. Jika fungsi kernel ditambah pada perceptron, ia boleh ditukar menjadi SVM. yang ini
Evolusi kecerdasan buatan dalam penerokaan angkasa lepas dan kejuruteraan penempatan manusia
Apr 29, 2024 pm 03:25 PM
Pada tahun 1950-an, kecerdasan buatan (AI) dilahirkan. Ketika itulah penyelidik mendapati bahawa mesin boleh melakukan tugas seperti manusia, seperti berfikir. Kemudian, pada tahun 1960-an, Jabatan Pertahanan A.S. membiayai kecerdasan buatan dan menubuhkan makmal untuk pembangunan selanjutnya. Penyelidik sedang mencari aplikasi untuk kecerdasan buatan dalam banyak bidang, seperti penerokaan angkasa lepas dan kelangsungan hidup dalam persekitaran yang melampau. Penerokaan angkasa lepas ialah kajian tentang alam semesta, yang meliputi seluruh alam semesta di luar bumi. Angkasa lepas diklasifikasikan sebagai persekitaran yang melampau kerana keadaannya berbeza daripada di Bumi. Untuk terus hidup di angkasa, banyak faktor mesti dipertimbangkan dan langkah berjaga-jaga mesti diambil. Para saintis dan penyelidik percaya bahawa meneroka ruang dan memahami keadaan semasa segala-galanya boleh membantu memahami cara alam semesta berfungsi dan bersedia untuk menghadapi kemungkinan krisis alam sekitar
Melaksanakan Algoritma Pembelajaran Mesin dalam C++: Cabaran dan Penyelesaian Biasa
Jun 03, 2024 pm 01:25 PM
Cabaran biasa yang dihadapi oleh algoritma pembelajaran mesin dalam C++ termasuk pengurusan memori, multi-threading, pengoptimuman prestasi dan kebolehselenggaraan. Penyelesaian termasuk menggunakan penunjuk pintar, perpustakaan benang moden, arahan SIMD dan perpustakaan pihak ketiga, serta mengikuti garis panduan gaya pengekodan dan menggunakan alat automasi. Kes praktikal menunjukkan cara menggunakan perpustakaan Eigen untuk melaksanakan algoritma regresi linear, mengurus memori dengan berkesan dan menggunakan operasi matriks berprestasi tinggi.
Lima sekolah pembelajaran mesin yang anda tidak tahu
Jun 05, 2024 pm 08:51 PM
Pembelajaran mesin ialah cabang penting kecerdasan buatan yang memberikan komputer keupayaan untuk belajar daripada data dan meningkatkan keupayaan mereka tanpa diprogramkan secara eksplisit. Pembelajaran mesin mempunyai pelbagai aplikasi dalam pelbagai bidang, daripada pengecaman imej dan pemprosesan bahasa semula jadi kepada sistem pengesyoran dan pengesanan penipuan, dan ia mengubah cara hidup kita. Terdapat banyak kaedah dan teori yang berbeza dalam bidang pembelajaran mesin, antaranya lima kaedah yang paling berpengaruh dipanggil "Lima Sekolah Pembelajaran Mesin". Lima sekolah utama ialah sekolah simbolik, sekolah sambungan, sekolah evolusi, sekolah Bayesian dan sekolah analogi. 1. Simbolisme, juga dikenali sebagai simbolisme, menekankan penggunaan simbol untuk penaakulan logik dan ekspresi pengetahuan. Aliran pemikiran ini percaya bahawa pembelajaran adalah proses penolakan terbalik, melalui sedia ada
AI yang boleh dijelaskan: Menerangkan model AI/ML yang kompleks
Jun 03, 2024 pm 10:08 PM
Penterjemah |. Disemak oleh Li Rui |. Chonglou Model kecerdasan buatan (AI) dan pembelajaran mesin (ML) semakin kompleks hari ini, dan output yang dihasilkan oleh model ini adalah kotak hitam – tidak dapat dijelaskan kepada pihak berkepentingan. AI Boleh Dijelaskan (XAI) bertujuan untuk menyelesaikan masalah ini dengan membolehkan pihak berkepentingan memahami cara model ini berfungsi, memastikan mereka memahami cara model ini sebenarnya membuat keputusan, dan memastikan ketelusan dalam sistem AI, Amanah dan akauntabiliti untuk menyelesaikan masalah ini. Artikel ini meneroka pelbagai teknik kecerdasan buatan (XAI) yang boleh dijelaskan untuk menggambarkan prinsip asasnya. Beberapa sebab mengapa AI boleh dijelaskan adalah penting Kepercayaan dan ketelusan: Untuk sistem AI diterima secara meluas dan dipercayai, pengguna perlu memahami cara keputusan dibuat
