Cet article vous amènera à comprendre SHAP : explication du modèle pour l'apprentissage automatique

Dans les domaines de l'apprentissage automatique et de la science des données, l'interprétabilité des modèles a toujours été au centre des préoccupations des chercheurs et des praticiens. Avec l'application généralisée de modèles complexes tels que l'apprentissage profond et les méthodes d'ensemble, la compréhension du processus décisionnel du modèle est devenue particulièrement importante. Explainable AI | XAI contribue à renforcer la confiance dans les modèles d’apprentissage automatique en augmentant la transparence des modèles. L'amélioration de la transparence des modèles peut être obtenue grâce à des méthodes telles que l'utilisation généralisée de plusieurs modèles complexes, ainsi que les processus décisionnels utilisés pour expliquer les modèles. Ces méthodes incluent l'analyse de l'importance des caractéristiques, l'estimation de l'intervalle de prédiction du modèle, les algorithmes d'interprétabilité locale, etc. L'analyse de l'importance des fonctionnalités peut expliquer le processus de prise de décision du modèle en évaluant le degré d'influence du modèle sur les fonctionnalités d'entrée. Les estimations des intervalles de prédiction du modèle peuvent fournir des informations déterministes sur les prédictions du modèle. Les algorithmes d'interprétabilité locaux peuvent aider

XAI est un ensemble d'outils et de cadres permettant de comprendre et d'expliquer comment les modèles d'apprentissage automatique prennent des décisions. Parmi eux, la bibliothèque SHAP (SHapley Additive Explications) en Python est un outil très utile. La bibliothèque SHAP quantifie la contribution des fonctionnalités aux prédictions individuelles et aux prédictions globales, et fournit des visualisations belles et faciles à utiliser.

Ensuite, nous présenterons les bases de la bibliothèque SHAP pour comprendre les prédictions des modèles de régression et de classification construits dans Scikit-learn.

SHAP et valeurs SHAP

SHAP (Shapley Additive Explanations) est une méthode de théorie des jeux permettant d'interpréter la sortie de tout modèle d'apprentissage automatique. Il exploite la valeur du jeu classique de la théorie des jeux et ses extensions associées pour combiner une allocation optimale de crédits avec une interprétation locale (voir l'article connexe pour plus de détails et de citations : https://github.com/shap/shap#citations). SHAP fournit une allocation optimale de crédits et une explication locale en calculant la contribution de chaque fonctionnalité à la sortie du modèle. Cette approche peut être appliquée à différents types de modèles, notamment les modèles linéaires, les modèles arborescents, les modèles d'apprentissage en profondeur, etc. L'objectif de SHAP est de fournir un moyen intuitif et interprétable d'aider les utilisateurs à comprendre le processus de prise de décision du modèle d'apprentissage automatique et l'impact de chaque fonctionnalité sur les résultats de prédiction. En utilisant les valeurs SHAP et les extensions associées, nous pouvons obtenir une interprétation plus précise et complète de l'importance des fonctionnalités, et les valeurs pré-SHAP+ du modèle peuvent nous aider à quantifier la contribution des fonctionnalités aux prédictions. Plus la valeur SHAP est proche de zéro, plus la contribution de la fonctionnalité à la prédiction est faible ; plus la valeur SHAP est éloignée de zéro, plus la contribution de la fonctionnalité à la prédiction est grande. De plus, la valeur SHAP peut également nous indiquer la contribution des fonctionnalités à la prédiction. Lorsque la valeur SHAP est proche de zéro, cela signifie que la fonctionnalité contribue peu à la prédiction ; et lorsque la valeur SHAP est loin de zéro,

Installez le package shap :

pip install shap-i https://pypi.tuna.tsinghua.edu.cn/simple

Regardons l'exemple suivant : Comment obtenir des fonctionnalités dans les problèmes de régression valeur SHAP. Nous commencerons par charger la bibliothèque et des exemples de données, puis créerons rapidement un modèle pour prédire la progression du diabète :

import numpy as npnp.set_printoptions(formatter={'float':lambda x:"{:.4f}".format(x)})import pandas as pdpd.options.display.float_format = "{:.3f}".formatimport seaborn as snsimport matplotlib.pyplot as pltsns.set(style='darkgrid', context='talk', palette='rainbow')from sklearn.datasets import load_diabetesfrom sklearn.model_selection import train_test_splitfrom sklearn.ensemble import (RandomForestRegressor, RandomForestClassifier)import shapshap.initjs()# Import sample datadiabetes = load_diabetes(as_frame=True)X = diabetes['data'].iloc[:, :4] # Select first 4 columnsy = diabetes['target']# Partition dataX_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=1)print(f"Training features shape: {X_train.shape}")print(f"Training target shape: {y_train.shape}\n")print(f"Test features shape: {X_test.shape}")print(f"Test target shape: {y_test.shape}")display(X_train.head())# Train a simple modelmodel = RandomForestRegressor(random_state=42)model.fit(X_train, y_train)

Une façon courante d'obtenir les valeurs SHAP consiste à utiliser un objet Explainer. Créez ensuite un objet Explainer et extrayez la valeur shap_test pour les données de test :

explainer = shap.Explainer(model)shap_test = explainer(X_test)print(f"Shap values length: {len(shap_test)}\n")print(f"Sample shap value:\n{shap_test[0]}")

shap_test a une longueur de 89 car il contient des enregistrements pour chaque instance de test. En regardant le premier enregistrement de test, nous pouvons voir qu'il contient trois attributs :

shap_test[0].base_values : la valeur de base de la cible

shap_test[0].data : la valeur de chaque fonctionnalité

shap_test[ 0].values : valeur SHAP de chaque objet

valeur de base : la valeur de base (shap_test.base_values), également appelée valeur attendue (explainer.expected_value), est la moyenne des valeurs cibles dans les données d'entraînement.

print(f"Expected value: {explainer.expected_value[0]:.1f}")print(f"Average target value (training data): {y_train.mean():.1f}")print(f"Base value: {np.unique(shap_test.base_values)[0]:.1f}")

EaShap_test.data contient la même valeur

Rreeee

values : L'attribut le plus important de Shap_test est la valeur de la valeur car nous pouvons accéder à la valeur Shap via elle. Convertissons la valeur SHAP en DataFrame pour une manipulation plus facile :

(shap_test.data == X_test).describe()

可以看到每条记录中每个特征的 SHAP 值。如果将这些 SHAP 值加到期望值上，就会得到预测值：



np.isclose(model.predict(X_test),  explainer.expected_value[0] + shap_df.sum(axis=1))



现在我们已经有了 SHAP 值，可以进行自定义可视化，如下图所示，以理解特征的贡献：

columns = shap_df.apply(np.abs).mean()\ .sort_values(ascending=False).indexfig, ax = plt.subplots(1, 2, figsize=(11,4))sns.barplot(data=shap_df[columns].apply(np.abs), orient='h', ax=ax[0])ax[0].set_title("Mean absolute shap value")sns.boxplot(data=shap_df[columns], orient='h', ax=ax[1])ax[1].set_title("Distribution of shap values");plt.show()



左侧子图显示了每个特征的平均绝对 SHAP 值，而右侧子图显示了各特征的 SHAP 值分布。从这些图中可以看出，bmi 在所使用的4个特征中贡献最大。

Shap 内置图表

虽然我们可以使用 SHAP 值构建自己的可视化图表，但 shap 包提供了内置的华丽可视化图表。在本节中，我们将熟悉其中几种选择的可视化图表。我们将查看两种主要类型的图表：

• 全局：可视化特征的整体贡献。这种类型的图表显示了特征在整个数据集上的汇总贡献。
• 局部：显示特定实例中特征贡献的图表。这有助于我们深入了解单个预测。
• 条形图/全局：对于之前显示的左侧子图，有一个等效的内置函数，只需几个按键即可调用：

shap.plots.bar(shap_test)



这个简单但有用的图表显示了特征贡献的强度。该图基于特征的平均绝对 SHAP 值而生成：shap_df.apply(np.abs).mean()。特征按照从上到下的顺序排列，具有最高平均绝对 SHAP 值的特征显示在顶部。

• 总结图/全局：另一个有用的图是总结图：

shap.summary_plot(shap_test)



以下是解释这张图的指南：

• 图的横轴显示了特征的 SHAP 值分布。每个点代表数据集中的一个记录。例如，我们可以看到对于 BMI 特征，点的分布相当散乱，几乎没有点位于 0 附近，而对于年龄特征，点更加集中地分布在 0 附近。
• 点的颜色显示了特征值。这个额外的维度允许我们看到随着特征值的变化，SHAP 值如何变化。换句话说，我们可以看到关系的方向。例如，我们可以看到当 BMI 较高时（由热粉色点表示）SHAP 值倾向于较高，并且当 BMI 较低时（由蓝色点表示）SHAP 值倾向于较低。还有一些紫色点散布在整个光谱中。
• 
  
• 热力图/全局：热力图是另一种可视化 SHAP 值的方式。与将 SHAP 值聚合到平均值不同，我们看到以颜色编码的个体值。特征绘制在 y 轴上，记录绘制在 x 轴上：

shap.plots.heatmap(shap_test)



这个热力图的顶部还补充了每个记录的预测值（即 f(x)）的线图。

• Force plot/全局：这个交互式图表允许我们通过记录查看 SHAP 值的构成。

shap.initjs()shap.force_plot(explainer.expected_value, shap_test.values, X_test)



就像热力图一样，x 轴显示每个记录。正的 SHAP 值显示为红色，负的 SHAP 值显示为蓝色。例如，由于第一个记录的红色贡献比蓝色贡献多，因此该记录的预测值将高于期望值。

交互性允许我们改变两个轴。例如，y 轴显示预测值 f(x)，x 轴根据输出（预测）值排序，如上面的快照所示。

• 条形图/局部:现在我们将看一下用于理解个别案例预测的图表。让我们从一个条形图开始：

shap.plots.bar(shap_test[0])



与“ 条形图/全局 ”中完全相同，只是这次我们将数据切片为单个记录。

1. Force plot/局部:Force plot是单个记录的强制图。

shap.initjs()shap.plots.force(shap_test[0])

分类模型的SHAP values/图表

上面示例是回归模型，下面我们以分类模型展示SHAP values及可视化：

import numpy as npnp.set_printoptions(formatter={'float':lambda x:"{:.4f}".format(x)})import pandas as pdpd.options.display.float_format = "{:.3f}".formatimport seaborn as snsimport matplotlib.pyplot as pltsns.set(style='darkgrid', context='talk', palette='rainbow')from sklearn.datasets import load_diabetesfrom sklearn.model_selection import train_test_splitfrom sklearn.ensemble import RandomForestClassifierimport shapfrom sklearn.datasets import fetch_openml# 加载 Titanic 数据集titanic = fetch_openml('titanic', version=1, as_frame=True)df = titanic.frame# 选择特征和目标变量features = ['pclass', 'age', 'sibsp', 'parch', 'fare']df = df.dropna(subset=features + ['survived'])# 删除包含缺失值的行X = df[features]y = df['survived']# 分割数据集X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)# 训练随机森林分类器model = RandomForestClassifier(n_estimators=100, random_state=42)model.fit(X_train, y_train)

和回归模型一样的，shap values 值也是包括base_values 和values 值：

explainer = shap.Explainer(model)shap_test = explainer(X_test)print(f"Length of shap_test: {len(shap_test)}\n")print(f"Sample shap_test:\n{shap_test[0]}")print(f"Expected value: {explainer.expected_value[1]:.2f}")print(f"Average target value (training data): {y_train}")print(f"Base value: {np.unique(shap_test.base_values)[0]:.2f}")shap_df = pd.DataFrame(shap_test.values[:,:,1],  columns=shap_test.feature_names,  index=X_test.index)shap_df

我们仔细检查一下将 shap 值之和添加到预期概率是否会给出预测概率：

np.isclose(model.predict_proba(X_test)[:,1],  explainer.expected_value[1] + shap_df.sum(axis=1))

内置图与回归模型是一致的，比如：

shap.plots.bar(shap_test[:,:,1])

或者瀑布图如下：

shap.plots.waterfall(shap_test[:,:,1][0])

示例

看一个具体的用例。我们将找出模型对幸存者预测最不准确的例子，并尝试理解模型为什么会做出错误的预测：

test = pd.concat([X_test, y_test], axis=1)test['probability'] = model.predict_proba(X_test)[:,1]test['order'] = np.arange(len(test))test.query("survived=='1'").nsmallest(5, 'probability')

生存概率为第一个记录的746。让我们看看各个特征是如何对这一预测结果产生贡献的：

ind1 = test.query("survived=='1'")\ .nsmallest(1, 'probability')['order'].values[0]shap.plots.waterfall(shap_test[:,:,1][ind1])

主要是客舱等级和年龄拉低了预测值。让我们在训练数据中找到类似的例子：

pd.concat([X_train, y_train], axis=1)[(X_train['pclass']==3) & (X_train['age']==29) & (X_train['fare'].between(7,8))]

所有类似的训练实例实际上都没有幸存。现在，这就说得通了！这是一个小的分析示例，展示了 SHAP 如何有助于揭示模型为何会做出错误预测。

在机器学习和数据科学中，模型的可解释性一直备受关注。可解释人工智能（XAI）通过提高模型透明度，增强对模型的信任。SHAP库是一个重要工具，通过量化特征对预测的贡献，提供可视化功能。本文介绍了SHAP库的基础知识，以及如何使用它来理解回归和分类模型的预测。通过具体用例，展示了SHAP如何帮助解释模型错误预测。

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!