超強い！知っておくべき機械学習アルゴリズムのトップ 10

1. 線形回帰

線形回帰は、予測モデリングに最も単純で最も広く使用されている機械学習アルゴリズムの 1 つです。

これは、1 つ以上の独立変数に基づいて従属変数の値を予測するために使用される教師あり学習アルゴリズムです。

定義

線形回帰の中核は、観測データに基づいて線形モデルを近似することです。

線形モデルは次の方程式で表されます:

ここで、

• は従属変数 (予測したい変数) です。
• は独立変数 (予測に使用する変数) です。予測を行う)
• は直線の傾き
• は y 切片 (直線と y 軸の交点)

線形回帰アルゴリズムには、最良のものを見つけることが含まれます。データ点を通る直線をフィッティングします。これは通常、観測値と予測値の間の二乗差を最小化することによって行われます。

評価指標

• 平均二乗誤差 (MSE): 二乗測定誤差の平均。値が低いほど良好です。
• R-squared: 独立変数から予測できる従属変数の変動のパーセンテージを示します。 1 に近いほど良いです。

from sklearn.datasets import load_diabetesfrom sklearn.model_selection import train_test_splitfrom sklearn.linear_model import LinearRegressionfrom sklearn.metrics import mean_squared_error, r2_score# Load the Diabetes datasetdiabetes = load_diabetes()X, y = diabetes.data, diabetes.target# Splitting the dataset into training and testing setsX_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)# Creating and training the Linear Regression modelmodel = LinearRegression()model.fit(X_train, y_train)# Predicting the test set resultsy_pred = model.predict(X_test)# Evaluating the modelmse = mean_squared_error(y_test, y_pred)r2 = r2_score(y_test, y_pred)print("MSE is:", mse)print("R2 score is:", r2)

2. ロジスティック回帰

ロジスティック回帰は分類問題に使用されます。特定のデータ ポイントが特定のカテゴリ (はい/いいえ、0/1 など) に属する確率を予測します。

評価指標

• 精度: 精度とは、合計の観測値に対する正しく予測された観測値の比率です。
• 精度と再現率: 精度とは、予想されるすべての肯定的な観測値に対する、正しく予測された肯定的な観測値の比率です。再現率は、すべての実際の観測値に対する、正しく予測された肯定的な観測値の比率です。
• F1 スコア: 再現率と精度のバランス。

from sklearn.datasets import load_breast_cancerfrom sklearn.linear_model import LogisticRegressionfrom sklearn.model_selection import train_test_splitfrom sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score# Load the Breast Cancer datasetbreast_cancer = load_breast_cancer()X, y = breast_cancer.data, breast_cancer.target# Splitting the dataset into training and testing setsX_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)# Creating and training the Logistic Regression modelmodel = LogisticRegression(max_iter=10000)model.fit(X_train, y_train)# Predicting the test set resultsy_pred = model.predict(X_test)# Evaluating the modelaccuracy = accuracy_score(y_test, y_pred)precision = precision_score(y_test, y_pred)recall = recall_score(y_test, y_pred)f1 = f1_score(y_test, y_pred)# Print the resultsprint("Accuracy:", accuracy)print("Precision:", precision)print("Recall:", recall)print("F1 Score:", f1)

3. デシジョン ツリー

デシジョン ツリーは、分類および回帰タスクに使用できる多用途で強力な機械学習アルゴリズムです。

それらは、そのシンプルさ、解釈しやすさ、および数値データとカテゴリデータの両方を処理できる能力で人気があります。

定義

デシジョン ツリーは、決定点を表すノード、考えられる結果を表す枝、最終的な決定または予測を表す葉で構成されます。

決定木の各ノードは特徴に対応し、枝は特徴の取り得る値を表します。

決定木を構築するアルゴリズムには、さまざまな特徴の値に基づいてデータセットをサブセットに再帰的に分割することが含まれます。目標は、ターゲット変数 (予測したい変数) が各サブセット内で類似している、同種のサブセットを作成することです。

分割プロセスは、最大深度、最小サンプル数などの停止基準が満たされるか、それ以上の改善ができなくなるまで続行されます。

評価指標

• 分類の場合: 精度、精度、再現率、およびF1スコア
• 回帰の場合: 平均二乗誤差(MSE)、R二乗

from sklearn.datasets import load_winefrom sklearn.tree import DecisionTreeClassifier# Load the Wine datasetwine = load_wine()X, y = wine.data, wine.target# Splitting the dataset into training and testing setsX_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)# Creating and training the Decision Tree modelmodel = DecisionTreeClassifier(random_state=42)model.fit(X_train, y_train)# Predicting the test set resultsy_pred = model.predict(X_test)# Evaluating the modelaccuracy = accuracy_score(y_test, y_pred)precision = precision_score(y_test, y_pred, average='macro')recall = recall_score(y_test, y_pred, average='macro')f1 = f1_score(y_test, y_pred, average='macro')# Print the resultsprint("Accuracy:", accuracy)print("Precision:", precision)print("Recall:", recall)print("F1 Score:", f1)

4 .ナイーブ・ベイズ

単純ベイズ分類器は、ベイズの定理と特徴間の強い (単純な) 独立性の仮定を使用する単純な「確率的分類器」のファミリーです。特にテキストの分類に使用されます。

各入力値が与えられた場合、各クラスの確率と各クラスの条件付き確率を計算します。これらの確率は、最も高い確率に基づいて新しい値を分類するために使用されます。

評価メトリクス:

• 精度: モデルの全体的な正確さを測定します。
• 精度、再現率、F1 スコア: クラスの分布が不均衡な場合に特に重要です。

りー

5.K-最近邻（KNN）

K 最近邻 (KNN) 是一种简单直观的机器学习算法，用于分类和回归任务。

它根据输入数据点与其在特征空间中最近邻居的相似性进行预测。

在 KNN 中，新数据点的预测由其 k 个最近邻的多数类（用于分类）或平均值（用于回归）确定。KNN 中的 “k” 表示要考虑的邻居数量，这是用户选择的超参数。

算法

KNN 算法包括以下步骤

1. 计算距离：计算新数据点与数据集中所有其他数据点之间的距离。
2. 查找邻居：根据计算的距离选择 k 个最近邻居。
3. 多数投票或平均：对于分类，分配 k 个邻居中出现最频繁的类标签。对于回归，计算 k 个邻居的目标变量的平均值。
4. 进行预测：将预测的类标签或值分配给新数据点。

评估指标

• 「分类」：准确率、精确率、召回率、F1 分数。
• 「回归」：均方误差 (MSE)、R 平方。

from sklearn.datasets import load_winefrom sklearn.model_selection import train_test_splitfrom sklearn.neighbors import KNeighborsClassifierfrom sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score# Load the Wine datasetwine = load_wine()X, y = wine.data, wine.target# Splitting the dataset into training and testing setsX_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)# Creating and training the KNN modelknn_model = KNeighborsClassifier(n_neighbors=3)knn_model.fit(X_train, y_train)# Predicting the test set resultsy_pred_knn = knn_model.predict(X_test)# Evaluating the modelaccuracy_knn = accuracy_score(y_test, y_pred_knn)precision_knn = precision_score(y_test, y_pred_knn, average='macro')recall_knn = recall_score(y_test, y_pred_knn, average='macro')f1_knn = f1_score(y_test, y_pred_knn, average='macro')# Print the resultsprint("Accuracy:", accuracy_knn)print("Precision:", precision_knn)print("Recall:", recall_knn)print("F1 Score:", f1_knn)

6.SVM

支持向量机 (SVM) 是一种强大的监督学习算法，用于分类和回归任务。

它们在高维空间中特别有效，广泛应用于图像分类、文本分类和生物信息学等各个领域。

算法原理

支持向量机的工作原理是找到最能将数据分为不同类别的超平面。

选择超平面以最大化边距，即超平面与每个类的最近数据点（支持向量）之间的距离。

SVM 还可以通过使用核函数将输入空间转换为可以线性分离的高维空间来处理非线性数据。

训练 SVM 的算法包括以下步骤：

1. 数据准备：预处理数据并根据需要对分类变量进行编码。
2. 选择核：选择合适的核函数，例如线性、多项式或径向基函数 (RBF)。
3. 模型训练：通过寻找使类之间的间隔最大化的超平面来训练 SVM。
4. 模型评估：使用交叉验证或保留验证集评估 SVM 的性能。

评估指标

• 「分类」：准确率、精确率、召回率、F1 分数。
• 「回归」：均方误差 (MSE)、R 平方。

from sklearn.svm import SVCbreast_cancer = load_breast_cancer()X, y = breast_cancer.data, breast_cancer.target# Splitting the dataset into training and testing setsX_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)# Creating and training the SVM modelsvm_model = SVC()svm_model.fit(X_train, y_train)# Predicting the test set resultsy_pred_svm = svm_model.predict(X_test)# Evaluating the modelaccuracy_svm = accuracy_score(y_test, y_pred_svm)precision_svm = precision_score(y_test, y_pred_svm, average='macro')recall_svm = recall_score(y_test, y_pred_svm, average='macro')f1_svm = f1_score(y_test, y_pred_svm, average='macro')accuracy_svm, precision_svm, recall_svm, f1_svm# Print the resultsprint("Accuracy:", accuracy_svm)print("Precision:", precision_svm)print("Recall:", recall_svm)print("F1 Score:", f1_svm)

7.随机森林

随机森林是一种集成学习技术，它结合了多个决策树来提高预测性能并减少过度拟合。

它们广泛用于分类和回归任务，并以其鲁棒性和多功能性而闻名。

算法步骤

随机森林是根据数据集的随机子集并使用特征的随机子集进行训练的决策树的集合。

森林中的每棵决策树独立地进行预测，最终的预测是通过聚合所有树的预测来确定的。

构建随机森林的算法包括以下步骤

1. 随机采样：从数据集中随机选择样本子集（带替换）来训练每棵树。
2. 特征随机化：随机选择每个节点的特征子集以考虑分割。
3. 树构建：使用采样数据和特征构建多个决策树。
4. 投票或平均：聚合所有树的预测以做出最终预测。

评估指标

• 分类：准确率、精确率、召回率、F1 分数。
• 回归：均方误差 (MSE)、R 平方。

from sklearn.ensemble import RandomForestClassifierbreast_cancer = load_breast_cancer()X, y = breast_cancer.data, breast_cancer.target# Splitting the dataset into training and testing setsX_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)# Creating and training the Random Forest modelrf_model = RandomForestClassifier(random_state=42)rf_model.fit(X_train, y_train)# Predicting the test set resultsy_pred_rf = rf_model.predict(X_test)# Evaluating the modelaccuracy_rf = accuracy_score(y_test, y_pred_rf)precision_rf = precision_score(y_test, y_pred_rf, average='macro')recall_rf = recall_score(y_test, y_pred_rf, average='macro')f1_rf = f1_score(y_test, y_pred_rf, average='macro')# Print the resultsprint("Accuracy:", accuracy)print("Precision:", precision)print("Recall:", recall)print("F1 Score:", f1)

8.K-均值聚类

K 均值聚类是一种无监督学习算法，用于将数据分组为 “K” 个聚类。确定 k 个质心后，每个数据点被分配到最近的簇。

该算法将数据点分配给一个簇，使得数据点与簇质心之间的平方距离之和最小。

评估指标

• 「惯性」：样本到最近聚类中心的总平方距离称为惯性。值越低越好。
• 「Silhouette Score」：表示一个项目属于其自身集群的紧密程度。高轮廓分数意味着该项目与其自身的集群匹配良好，而与附近的集群匹配不佳。轮廓得分从 -1 到 1。

from sklearn.datasets import load_irisfrom sklearn.cluster import KMeansfrom sklearn.metrics import silhouette_score# Load the Iris datasetiris = load_iris()X = iris.data# Applying K-Means Clusteringkmeans = KMeans(n_clusters=3, random_state=42)kmeans.fit(X)# Predicting the cluster for each data pointy_pred_clusters = kmeans.predict(X)# Evaluating the modelinertia = kmeans.inertia_silhouette = silhouette_score(X, y_pred_clusters)print("Inertia:", inertia)print("Silhouette:", silhouette)

9.PCA

降维是通过使用主成分分析 (PCA) 来完成的。它将数据转换为新的坐标系，减少变量数量，同时尽可能多地保留原始数据的变化。

使用 PCA 可以找到使数据方差最大化的主要成分或轴。第一个主成分捕获最大方差，第二个主成分（与第一个主成分正交）捕获第二大方差，依此类推。

评估指标

• 「解释方差」：表示每个主成分捕获的数据方差有多少。
• 「总解释方差」：由所选主成分解释的累积方差。

from sklearn.datasets import load_breast_cancerfrom sklearn.decomposition import PCAimport numpy as np# Load the Breast Cancer datasetbreast_cancer = load_breast_cancer()X = breast_cancer.data# Applying PCApca = PCA(n_compnotallow=2)# Reducing to 2 dimensions for simplicitypca.fit(X)# Transforming the dataX_pca = pca.transform(X)# Explained Varianceexplained_variance = pca.explained_variance_ratio_# Total Explained Variancetotal_explained_variance = np.sum(explained_variance)print("Explained variance:", explained_variance)print("Total Explained Variance:", total_explained_variance)

10.梯度提升算法

梯度提升是一种先进的机器学习技术。它依次构建多个弱预测模型（通常是决策树）。每个新模型都逐渐最小化整个模型的损失函数（误差）。

评估指标

• 「对于分类」：准确率、精确率、召回率、F1 分数。
• 「对于回归」：均方误差 (MSE)、R 平方。

from sklearn.datasets import load_diabetesfrom sklearn.ensemble import GradientBoostingRegressorfrom sklearn.metrics import mean_squared_error, r2_score# Load the Diabetes datasetdiabetes = load_diabetes()X, y = diabetes.data, diabetes.target# Splitting the dataset into training and testing setsX_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)# Creating and training the Gradient Boosting modelgb_model = GradientBoostingRegressor(random_state=42)gb_model.fit(X_train, y_train)# Predicting the test set resultsy_pred_gb = gb_model.predict(X_test)# Evaluating the modelmse_gb = mean_squared_error(y_test, y_pred_gb)r2_gb = r2_score(y_test, y_pred_gb)print("MSE:", mse_gb)

以上が超強い！知っておくべき機械学習アルゴリズムのトップ 10の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。