Detaillierte Erklärung des K-means++-Algorithmus in Python

Der

K-Means-Algorithmus ist ein gängiger unbeaufsichtigter Lernalgorithmus, der zum Gruppieren von Daten in verschiedene Kategorien verwendet wird. Der K-means++-Algorithmus ist eine verbesserte Version des K-means-Algorithmus mit dem Ziel, die Effizienz und Genauigkeit der anfänglichen Auswahl des Clusterzentrums zu verbessern. In diesem Artikel werden das Prinzip, die Code-Implementierung und die Anwendung des K-means++-Algorithmus in Python ausführlich vorgestellt.

1. Überblick über den K-Means-Algorithmus

Der K-Means-Algorithmus ist ein iterativer Algorithmus. Der Prozess jeder Iteration ist: Wählen Sie zunächst zufällig K anfängliche Clusterzentren aus und weisen Sie dann jeden Datenpunkt dem nächstgelegenen In der Kategorie zu Nachdem das anfängliche Clusterzentrum gefunden wurde, werden die Zentren aller Cluster neu berechnet und die Clusterzentren aktualisiert. Wiederholen Sie den obigen Vorgang, bis die Konvergenzbedingungen erfüllt sind.

K-Means-Algorithmusprozess:

1. Wählen Sie zufällig K Datenpunkte aus den Daten als anfängliches Clusterzentrum aus.
2. Weisen Sie Datenpunkte dem Cluster mit dem nächstgelegenen Clusterzentrum zu.
3. Berechnen Sie die Mitte jedes Clusters neu.
4. Wiederholen Sie 2-3, bis die Konvergenzbedingungen erfüllt sind (das Clusterzentrum ändert sich nicht mehr, die maximale Anzahl von Iterationen ist erreicht usw.).
5. K-means++-Algorithmusschritte

Der K-means++-Algorithmus ist eine verbesserte Version des K-means-Algorithmus, der hauptsächlich die Auswahl der anfänglichen Clusterzentren optimiert. Die ersten Schritte zur Auswahl des Clusterzentrums des K-means++-Algorithmus lauten wie folgt:

1. Wählen Sie zufällig einen Datenpunkt als erstes Clusterzentrum aus.
2. Berechnen Sie für jeden Datenpunkt seinen Abstand D(x) vom nächstgelegenen Clusterzentrum.
3. Wählen Sie zufällig einen Datenpunkt als nächsten Cluster-Zentrum aus. Stellen Sie sicher, dass die Wahrscheinlichkeit, dass er ausgewählt wird, umso größer ist:
   a Clusterzentrum Der nächste Abstand zum Zentrum beträgt D(x)^2.
   b. Berechnen Sie die Summe Sum(D(x)^2) aller D(x)^2.
   c. Gewichten Sie jeden Datenpunkt entsprechend dem Verhältnis seiner nächsten Entfernung zum vorhandenen Clusterzentrum, und die Wahrscheinlichkeit ist D(x)^2/Summe(D(x)^2).
   d. Wählen Sie aus der Stichprobe gemäß der oben genannten Wahrscheinlichkeit einen Datenpunkt als nächstes Clusterzentrum aus.
4. Wiederholen Sie Schritt 3, bis K-Clusterzentren ausgewählt sind.
5. Python implementiert den K-means++-Algorithmus

Im Folgenden implementieren wir den K-means++-Algorithmus über Python.

Importieren Sie zunächst die erforderlichen Bibliotheken:

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_blobs
from sklearn.cluster import KMeans

Als nächstes generieren wir einen Datensatz für das Clustering:

n_samples = 1500
random_state = 170
X, y = make_blobs(n_samples=n_samples, random_state=random_state)

Dann trainieren wir das K-means++-Modell durch das KMeans-Modul von sklearn:

kmeans = KMeans(init="k-means++", n_clusters=3, n_init=10)
kmeans.fit(X)

Abschließend werden wir das Clustering visualisieren Ergebnisse:

plt.figure(figsize=(12, 12))
h = 0.02
x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1
y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1
xx, yy = np.meshgrid(np.arange(x_min, x_max, h), np.arange(y_min, y_max, h))
Z = kmeans.predict(np.c_[xx.ravel(), yy.ravel()])
Z = Z.reshape(xx.shape)
plt.imshow(Z, interpolation="nearest",
          extent=(xx.min(), xx.max(), yy.min(), yy.max()),
          cmap=plt.cm.Pastel1, aspect="auto", origin="lower")
plt.scatter(X[:, 0], X[:, 1], s=30, c=kmeans.labels_, cmap=plt.cm.Paired)
plt.scatter(kmeans.cluster_centers_[:, 0], kmeans.cluster_centers_[:, 1],
            marker="^", s=100, linewidths=3,
            color='black', zorder=10)
plt.title("K-means++ clustering")
plt.xlim(x_min, x_max)
plt.ylim(y_min, y_max)
plt.show()

4. K-means++-Algorithmus-Anwendungsszenarien

Der K-means-Algorithmus eignet sich für Datenclusterprobleme ohne Etiketteninformationen. Im Vergleich zum K-Means-Algorithmus eignet sich der K-Means++-Algorithmus besser für Situationen, in denen viele Daten vorhanden sind oder die Datenverteilung relativ verstreut ist, um die Rationalität und Einzigartigkeit des anfänglichen Clustering-Zentrums sicherzustellen. Der

K-means++-Algorithmus kann in den Bereichen Data Mining, Bildverarbeitung, Verarbeitung natürlicher Sprache und anderen Bereichen verwendet werden. Clustering-Algorithmen können verwendet werden, um Proben mit höherer Ähnlichkeit zu finden, was auch für die Visualisierung großer Datenmengen sehr nützlich ist.

Kurz gesagt, der K-means++-Algorithmus hat gute Anwendungsaussichten in den Bereichen Data Mining, Clusteranalyse, Bilderkennung, Verarbeitung natürlicher Sprache und anderen Bereichen.

Das obige ist der detaillierte Inhalt vonDetaillierte Erklärung des K-means++-Algorithmus in Python. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!