Table des matières
Quelle est la différence entre le clustering hiérarchique et les K-means ?
Qu'est-ce que le clustering hiérarchique ?
Types de clustering hiérarchique
Cluster hiérarchique agglomératif
Cluster hiérarchique divisé
Étapes pour effectuer un clustering hiérarchique
Introduction au cas
Créer une matrice de proximité
Effectuer un clustering hiérarchique
Comment choisir le nombre de clusters ?
Cas pratique du code Python
Si vous le trouvez utile, donnez-lui une étoile !
Maison développement back-end Tutoriel Python Comprendre le clustering hiérarchique dans un seul article (code Python)

Comprendre le clustering hiérarchique dans un seul article (code Python)

Apr 11, 2023 pm 09:13 PM
python 代码 层次聚类

Comprendre le clustering hiérarchique dans un seul article (code Python)

Tout d'abord, le clustering appartient à l'apprentissage non supervisé de l'apprentissage automatique, et il existe de nombreuses méthodes, comme les célèbres K-means. Le clustering hiérarchique est également un type de clustering et est également très couramment utilisé. Ensuite, je passerai brièvement en revue les principes de base des K-means, puis présenterai lentement la définition et les étapes hiérarchiques du clustering hiérarchique, qui seront plus utiles à comprendre pour tout le monde.

Quelle est la différence entre le clustering hiérarchique et les K-means ?

Le principe de fonctionnement des K-means peut être brièvement résumé comme suit :

  • Déterminer le nombre de clusters (k)
  • Sélectionner aléatoirement k points dans les données comme centroïdes
  • Attribuer tous les points au centroïde de cluster le plus proche
  • Calculer le nouveau formation Le centroïde du cluster
  • Répétez les étapes 3 et 4

Il s'agit d'un processus itératif jusqu'à ce que le centroïde du cluster nouvellement formé ne change pas ou que le nombre maximum d'itérations soit atteint.

Mais K-means présente certaines lacunes. Nous devons décider du nombre de clusters K avant le démarrage de l'algorithme. Mais en réalité, nous ne savons pas combien de clusters il devrait y avoir, nous en définissons donc généralement un en fonction de notre propre compréhension. ce qui peut conduire à certains écarts entre notre compréhension et la situation réelle.

Le clustering hiérarchique est complètement différent. Il ne nous oblige pas à spécifier le nombre de clusters au début. Au lieu de cela, une fois que l'ensemble du clustering hiérarchique est complètement formé, le nombre correspondant de clusters et de clusters peut être trouvé automatiquement en déterminant la distance appropriée. .

Qu'est-ce que le clustering hiérarchique ?

Ci-dessous, nous présenterons ce qu'est le clustering hiérarchique, du superficiel au profond, en commençant par un exemple simple.

Supposons que nous ayons les points suivants et que nous souhaitions les regrouper :

Comprendre le clustering hiérarchique dans un seul article (code Python)

Nous pouvons attribuer chacun de ces points à un cluster distinct, soit 4 clusters (4 couleurs) :

Comprendre le clustering hiérarchique dans un seul article (code Python)

Ensuite, en fonction du similarité (distance) de ces clusters, les points les plus similaires (les plus proches) sont regroupés et le processus est répété jusqu'à ce qu'il ne reste qu'un seul cluster :

Comprendre le clustering hiérarchique dans un seul article (code Python)

Ce qui précède consiste essentiellement à construire une structure hiérarchique. Comprenons cela d’abord, et nous présenterons ses étapes de superposition en détail plus tard.

Types de clustering hiérarchique

Il existe principalement deux types de clustering hiérarchique :

  • Clustering hiérarchique aggloméré
  • Clustering hiérarchique divisé

Cluster hiérarchique agglomératif

Prenons d'abord tous les points pour devenir des clusters séparés. Les clusters sont ensuite continuellement combinés par similarité. jusqu'à ce qu'il n'y ait qu'un seul cluster au final. C'est le processus de clustering hiérarchique agglomératif, qui est cohérent avec ce que nous venons de dire plus haut.

Cluster hiérarchique divisé

Le clustering hiérarchique fractionné est tout le contraire. Il commence à partir d'un seul cluster et le divise progressivement jusqu'à ce qu'il ne puisse pas être divisé, c'est-à-dire que chaque point est un cluster.

Donc, peu importe qu'il s'agisse de 10, 100, 1000 points de données, ces points appartiennent tous au même cluster au début :

Comprendre le clustering hiérarchique dans un seul article (code Python)

Maintenant, à chaque itération, divisez les deux points du cluster les plus éloignés, et répétez ce processus jusqu'à ce que chaque cluster ne contienne qu'un seul point :

Comprendre le clustering hiérarchique dans un seul article (code Python)

Le processus ci-dessus est un clustering hiérarchique divisé.

Étapes pour effectuer un clustering hiérarchique

Le processus général de clustering hiérarchique a été décrit ci-dessus Vient maintenant le point clé : Comment déterminer la similarité entre les points ?

C'est l'un des problèmes les plus importants du clustering. La méthode générale de calcul de similarité consiste à calculer la distance entre les centroïdes de ces clusters. Les points avec une distance minimale sont appelés points similaires et nous pouvons les fusionner ou appeler cela un algorithme basé sur la distance.

Également dans le clustering hiérarchique, il existe un concept appelé matrice de proximité, qui stocke la distance entre chaque point. Ci-dessous, nous utilisons un exemple pour comprendre comment calculer la similarité, la matrice de proximité et les étapes spécifiques du clustering hiérarchique.

Introduction au cas

Supposons qu'un enseignant souhaite diviser les élèves en différents groupes. J'ai maintenant les scores de chaque élève sur le devoir et je souhaite les diviser en groupes en fonction de ces scores. Il n’y a pas d’objectif fixe ici quant au nombre de groupes à former. Puisque l’enseignant ne sait pas quel type d’élèves doit être affecté à quel groupe, ce problème ne peut pas être résolu comme un problème d’apprentissage supervisé. Ci-dessous, nous essaierons d'appliquer un regroupement hiérarchique pour séparer les étudiants en différents groupes.

Voici les résultats de 5 étudiants :

Comprendre le clustering hiérarchique dans un seul article (code Python)

Créer une matrice de proximité

Tout d'abord, nous devons créer une matrice de proximité, qui stocke la distance entre chaque point, afin que nous puissions obtenir une matrice carrée de forme n X n.

Dans ce cas, la matrice de proximité 5 x 5 suivante peut être obtenue :

Comprendre le clustering hiérarchique dans un seul article (code Python)

Il y a deux points à noter dans la matrice :

  • Les éléments diagonaux de la matrice sont toujours 0, car la distance entre un le point et lui-même est toujours 0
  • Utilisez la formule de distance euclidienne pour calculer la distance des éléments non diagonaux

Par exemple, si nous voulons calculer la distance entre les points 1 et 2, la formule de calcul est :

Comprendre le clustering hiérarchique dans un seul article (code Python)

De même, calculez-le comme suit Une fois la méthode terminée, les éléments restants de la matrice de proximité sont remplis.

Effectuer un clustering hiérarchique

Ceci est implémenté à l'aide d'un clustering hiérarchique agglomératif.

Étape 1 : Tout d'abord, nous attribuons tous les points dans un seul cluster :

Comprendre le clustering hiérarchique dans un seul article (code Python)

Ici, différentes couleurs représentent différents clusters, 5 points dans nos données, c'est-à-dire qu'il y a 5 clusters différents.

Étape 2 : Ensuite, nous devons trouver la distance minimale dans la matrice de proximité et fusionner les points avec la plus petite distance. Ensuite, nous mettons à jour la matrice de proximité :

Comprendre le clustering hiérarchique dans un seul article (code Python)

La distance minimale est de 3, nous allons donc fusionner les points 1 et 2 :

Comprendre le clustering hiérarchique dans un seul article (code Python)

Voyons les clusters mis à jour et mettons à jour la matrice de proximité en conséquence :

Comprendre le clustering hiérarchique dans un seul article (code Python)

Mise à jour Après cela, nous avons pris la plus grande valeur (7, 10) entre les points 1 et 2 pour remplacer la valeur de ce cluster. Bien entendu, en plus de la valeur maximale, on peut également prendre la valeur minimale ou moyenne. Nous calculerons ensuite à nouveau la matrice de proximité de ces clusters :

Comprendre le clustering hiérarchique dans un seul article (code Python)

Étape 3 : Répétez l'étape 2 jusqu'à ce qu'il ne reste qu'un seul cluster.

Après avoir répété toutes les étapes, nous obtiendrons les clusters fusionnés comme indiqué ci-dessous :

Comprendre le clustering hiérarchique dans un seul article (code Python)

C'est ainsi que fonctionne le clustering hiérarchique agglomératif. Mais le problème est que nous ne savons toujours pas en combien de groupes diviser ? Est-ce le groupe 2, 3 ou 4 ?

Commençons par comment choisir le nombre de clusters.

Comment choisir le nombre de clusters ?

Pour obtenir le nombre de clusters pour le clustering hiérarchique, nous utilisons un concept appelé dendrogramme.

Grâce au dendrogramme, nous pouvons sélectionner plus facilement le nombre de grappes.

Retour à l'exemple ci-dessus. Lorsque nous fusionnons deux clusters, le dendrogramme enregistre en conséquence la distance entre ces clusters et la représente graphiquement. Voici l'état d'origine du dendrogramme. L'abscisse enregistre la marque de chaque point, et l'axe vertical enregistre la distance entre les points :

Comprendre le clustering hiérarchique dans un seul article (code Python)

Lors de la fusion de deux clusters, le dendrogramme apparaîtra Une fois connecté, la hauteur du dendrogramme. la connexion est la distance entre les points. Voici le processus de clustering hiérarchique que nous venons d'effectuer.

Comprendre le clustering hiérarchique dans un seul article (code Python)

Ensuite, commencez à dessiner un diagramme arborescent du processus ci-dessus. En partant de la fusion des échantillons 1 et 2, la distance entre ces deux échantillons est de 3.

Comprendre le clustering hiérarchique dans un seul article (code Python)

Vous pouvez voir que 1 et 2 ont été fusionnés. La ligne verticale représente la distance entre 1 et 2. De la même manière, toutes les étapes de fusion des clusters sont tracées selon le processus de clustering hiérarchique, et finalement un dendrogramme comme celui-ci est obtenu :

Comprendre le clustering hiérarchique dans un seul article (code Python)

Grâce au dendrogramme, nous pouvons visualiser clairement les étapes du regroupement hiérarchique. Plus les lignes verticales du dendrogramme sont éloignées, plus la distance entre les grappes est grande.

Avec ce dendrogramme, il nous est beaucoup plus facile de déterminer le nombre de grappes.

Maintenant, nous pouvons définir une distance seuil et tracer une ligne horizontale. Par exemple, nous fixons le seuil à 12 et traçons une ligne horizontale comme suit :

Comprendre le clustering hiérarchique dans un seul article (code Python)

Comme vous pouvez le voir sur les points d'intersection, le nombre de clusters est le nombre d'intersections avec la ligne horizontale et la ligne verticale du seuil (la la ligne rouge coupe 2 lignes verticales, nous aurons 2 clusters). Correspondant à l'abscisse, un cluster aura un ensemble d'échantillons (1,2,4) et l'autre cluster aura un ensemble d'échantillons (3,5).

De cette façon, nous résolvons le problème de la détermination du nombre de clusters dans un clustering hiérarchique via un dendrogramme.

Cas pratique du code Python

Ce qui précède est la base théorique, et toute personne ayant des bases mathématiques peut la comprendre. Voici comment implémenter ce processus à l'aide du code Python. Voici des données de segmentation client à afficher.

L'ensemble de données et le code se trouvent dans mon référentiel GitHub :

​https://github.com/xiaoyusmd/PythonDataScience​

Si vous le trouvez utile, donnez-lui une étoile !

Ces données proviennent de la bibliothèque d'apprentissage automatique UCI. Notre objectif est de segmenter les clients des grossistes-distributeurs en fonction de leurs dépenses annuelles sur différentes catégories de produits telles que le lait, les produits d'épicerie, les régions, etc.

Commencez par standardiser les données pour rendre toutes les données de la même dimension faciles à calculer, puis appliquez un clustering hiérarchique pour segmenter les clients.

from sklearn.preprocessing import normalize
data_scaled = normalize(data)
data_scaled = pd.DataFrame(data_scaled, columns=data.columns)
import scipy.cluster.hierarchy as shc
plt.figure(figsize=(10, 7))
plt.title("Dendrograms")
dend = shc.dendrogram(shc.linkage(data_scaled, method='ward'))
Copier après la connexion

Comprendre le clustering hiérarchique dans un seul article (code Python)

L'axe des x contient tous les échantillons et l'axe des y représente la distance entre ces échantillons. La ligne verticale avec la plus grande distance est la ligne bleue Supposons que nous décidions de couper le dendrogramme avec un seuil de 6 :

plt.figure(figsize=(10, 7))
plt.title("Dendrograms")
dend = shc.dendrogram(shc.linkage(data_scaled, method='ward'))
plt.axhline(y=6, color='r', linestyle='--')
Copier après la connexion

Comprendre le clustering hiérarchique dans un seul article (code Python)

Maintenant que nous avons deux clusters, nous voulons appliquer un clustering hiérarchique à ces 2 clusters :

from sklearn.cluster import AgglomerativeClustering
cluster = AgglomerativeClustering(n_clusters=2, affinity='euclidean', linkage='ward')
cluster.fit_predict(data_scaled)
Copier après la connexion

Comprendre le clustering hiérarchique dans un seul article (code Python)

Depuis que nous avons défini 2 clusters, nous pouvons voir les valeurs de 0 et 1 dans la sortie. 0 représente les points appartenant au premier cluster et 1 représente les points appartenant au deuxième cluster.

plt.figure(figsize=(10, 7))
plt.scatter(data_scaled['Milk'], data_scaled['Grocery'], c=cluster.labels_)
Copier après la connexion

Comprendre le clustering hiérarchique dans un seul article (code Python)

À ce stade, nous avons terminé avec succès le clustering.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
2 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Repo: Comment relancer ses coéquipiers
1 Il y a quelques mois By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island Adventure: Comment obtenir des graines géantes
4 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Combien de temps faut-il pour battre Split Fiction?
3 Il y a quelques semaines By DDD

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Comment ouvrir le format XML Comment ouvrir le format XML Apr 02, 2025 pm 09:00 PM

Utiliser la plupart des éditeurs de texte pour ouvrir des fichiers XML; Si vous avez besoin d'un affichage d'arbre plus intuitif, vous pouvez utiliser un éditeur XML, tel que Oxygen XML Editor ou XMLSPY; Si vous traitez les données XML dans un programme, vous devez utiliser un langage de programmation (tel que Python) et des bibliothèques XML (telles que XML.ETREE.ElementTree) pour analyser.

Existe-t-il un outil gratuit XML à PDF pour les téléphones mobiles? Existe-t-il un outil gratuit XML à PDF pour les téléphones mobiles? Apr 02, 2025 pm 09:12 PM

Il n'y a pas d'outil XML à PDF simple et direct sur mobile. Le processus de visualisation des données requis implique une compréhension et un rendu complexes des données, et la plupart des outils dits "gratuits" sur le marché ont une mauvaise expérience. Il est recommandé d'utiliser des outils côté informatique ou d'utiliser des services cloud, ou de développer vous-même des applications pour obtenir des effets de conversion plus fiables.

Y a-t-il une application mobile qui peut convertir XML en PDF? Y a-t-il une application mobile qui peut convertir XML en PDF? Apr 02, 2025 pm 08:54 PM

Une application qui convertit le XML directement en PDF ne peut être trouvée car ce sont deux formats fondamentalement différents. XML est utilisé pour stocker des données, tandis que PDF est utilisé pour afficher des documents. Pour terminer la transformation, vous pouvez utiliser des langages de programmation et des bibliothèques telles que Python et ReportLab pour analyser les données XML et générer des documents PDF.

La modification XML nécessite-t-elle une programmation? La modification XML nécessite-t-elle une programmation? Apr 02, 2025 pm 06:51 PM

La modification du contenu XML nécessite une programmation, car elle nécessite une recherche précise des nœuds cibles pour ajouter, supprimer, modifier et vérifier. Le langage de programmation dispose de bibliothèques correspondantes pour traiter XML et fournit des API pour effectuer des opérations sûres, efficaces et contrôlables comme les bases de données de fonctionnement.

Outil de mise en forme XML recommandé Outil de mise en forme XML recommandé Apr 02, 2025 pm 09:03 PM

Les outils de mise en forme XML peuvent taper le code en fonction des règles pour améliorer la lisibilité et la compréhension. Lors de la sélection d'un outil, faites attention aux capacités de personnalisation, en gérant des circonstances spéciales, des performances et de la facilité d'utilisation. Les types d'outils couramment utilisés incluent des outils en ligne, des plug-ins IDE et des outils de ligne de commande.

Comment embellir le format XML Comment embellir le format XML Apr 02, 2025 pm 09:57 PM

L'embellissement XML améliore essentiellement sa lisibilité, y compris l'indentation raisonnable, les pauses-lignes et l'organisation des étiquettes. Le principe est de traverser l'arbre XML, d'ajouter l'indentation en fonction du niveau et de gérer les balises et les balises vides contenant du texte. La bibliothèque XML.ETREE.ElementTree de Python fournit une fonction Pretty_xml () pratique qui peut implémenter le processus d'embellissement ci-dessus.

Comment convertir les fichiers XML en PDF sur votre téléphone? Comment convertir les fichiers XML en PDF sur votre téléphone? Apr 02, 2025 pm 10:12 PM

Il est impossible de terminer la conversion XML à PDF directement sur votre téléphone avec une seule application. Il est nécessaire d'utiliser les services cloud, qui peuvent être réalisés via deux étapes: 1. Convertir XML en PDF dans le cloud, 2. Accédez ou téléchargez le fichier PDF converti sur le téléphone mobile.

Comment convertir XML en PDF sur votre téléphone? Comment convertir XML en PDF sur votre téléphone? Apr 02, 2025 pm 10:18 PM

Il n'est pas facile de convertir XML en PDF directement sur votre téléphone, mais il peut être réalisé à l'aide des services cloud. Il est recommandé d'utiliser une application mobile légère pour télécharger des fichiers XML et recevoir des PDF générés, et de les convertir avec des API Cloud. Les API Cloud utilisent des services informatiques sans serveur et le choix de la bonne plate-forme est crucial. La complexité, la gestion des erreurs, la sécurité et les stratégies d'optimisation doivent être prises en compte lors de la gestion de l'analyse XML et de la génération de PDF. L'ensemble du processus nécessite que l'application frontale et l'API back-end fonctionnent ensemble, et il nécessite une certaine compréhension d'une variété de technologies.

See all articles