简体中文(ZH-CN) English(EN) 繁体中文(ZH-TW) 日本語(JA) 한국어(KO) Melayu(MS) Français(FR) Deutsch(DE)
Maison > Problème commun > le corps du texte

Introduction aux trois composants principaux de hadoop

小老鼠
Libérer： 2024-03-13 17:54:41
original
1013 Les gens l'ont consulté

Les trois composants principaux de Hadoop sont : Hadoop Distributed File System (HDFS), MapReduce et Yet Another Resource Négociateur (YARN).

  1. Hadoop Distributed File System (HDFS) :

    • HDFS est le système de fichiers distribué de Hadoop utilisé pour stocker des ensembles de données à grande échelle. Il divise les gros fichiers en plusieurs blocs de données et distribue et stocke ces blocs de données sur plusieurs nœuds du cluster. HDFS fournit des solutions de stockage de données haute capacité, haute fiabilité et haut débit et constitue la base du cadre informatique distribué Hadoop.

  2. MapReduce :

    • MapReduce est le cadre informatique distribué de Hadoop pour le traitement parallèle d'ensembles de données à grande échelle. Il s'appuie sur le modèle de programmation fonctionnelle et décompose la tâche informatique en deux étapes : Mapper et Réduire. L'étape Map divise les données d'entrée en tâches indépendantes pour le traitement, tandis que l'étape Reduction combine les résultats des tâches Map dans la sortie finale. MapReduce offre des capacités de tolérance aux pannes, d'évolutivité et de traitement parallèle.

  3. Encore un autre négociateur de ressources (YARN) :

    • YARN est le gestionnaire de ressources de Hadoop, responsable de la planification et de la gestion des ressources dans le cluster. Il peut allouer et gérer des ressources informatiques pour plusieurs applications, améliorant ainsi l'utilisation des ressources informatiques. YARN divise les ressources informatiques du cluster en plusieurs conteneurs et fournit des ressources appropriées pour différentes applications tout en surveillant et en gérant l'état d'exécution de chaque application.

Ces trois composants forment ensemble le cœur du cadre informatique distribué Hadoop, ce qui rend Hadoop efficace pour l'analyse de données hors ligne. Dans le cloud computing, Hadoop est associé à la technologie du big data et de la virtualisation pour fournir un support puissant au traitement des données.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Étiquettes associées：
hadoop 核心组件
source：php.cn
Article précédent：Quels sont les sites Web d’analyse de données recommandés ? Article suivant：Combien coûte un carnaval Douyin en RMB ?
Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn
Derniers articles par auteur
Derniers numéros
Comment déclencher le rendu (avec filtre et pagination) sur la méthode de tri dans React ? Voici mon composant de style Sort.js : <SortWrapper><SortText>SortBy</SortT...
Depuis 2024-04-06 21:28:37
0
1
2257
Comment utiliser les composants Laravel avec des espaces réservés paresseux Livewire Je souhaite ajouter le squelette de mon composant Laravel dans un espace réservé livewire3...
Depuis 2024-04-06 20:02:10
0
2
543
Les points de nuage de points ne conservent pas leurs valeurs lors du zoom dans d3.js C'est la première fois que j'utilise d3.js, alors soyez indulgents avec moi. Je l'ai implé...
Depuis 2024-04-06 18:16:26
0
1
403
La mise à jour du statut ne fonctionne pas dans React-Native sur Android J'ai du code qui contient des paires d'images dans une galerie horizontale pouvant être gl...
Depuis 2024-04-06 16:54:10
0
1
410
React Three Fiber : Pourquoi mes événements de défilement sont-ils en retard ? Dans ReactThreeFiber, j'ai un composant React qui génère un sprite que je souhaite conserv...
Depuis 2024-04-06 13:39:24
0
1
410
Rubriques connexes
Plus>
Recommandations populaires
Tutoriels populaires
Plus>
Tutoriels associés
Recommandations populaires
Derniers cours
Derniers téléchargements
Plus>
effets Web
Code source du site Web
Matériel du site Web
Modèle frontal
À propos de nous Clause de non-responsabilité Sitemap
Site Web PHP chinois：Formation PHP en ligne sur le bien-être public，Aidez les apprenants PHP à grandir rapidement！