简体中文(ZH-CN) English(EN) 繁体中文(ZH-TW) 日本語(JA) 한국어(KO) Melayu(MS) Français(FR) Deutsch(DE)
Maison > Problème commun > le corps du texte

Quels sont les trois composants majeurs de Hadoop

coldplay.xixi
Libérer： 2023-01-13 00:34:37
original
42886 Les gens l'ont consulté

Hadoop comprend trois composants principaux : 1. HDFS, un système de fichiers distribué hautement fiable et à haut débit ; 2. MapReduce, un cadre de calcul parallèle hors ligne distribué ; 3. Yarn, un cadre de gestion des ressources distribuées.

Quels sont les trois composants majeurs de Hadoop

L'environnement d'exploitation de cet article : système Windows 7, ordinateur Dell G3.

Trois composants majeurs de hadoop :

1 HDFS

Un système de fichiers distribué hautement fiable et à haut débit <.>

Stockage de données massives

Distribué

Sécurité

Copier les données

Les données sont stockées en blocs, 128M

Pour exemple : 200M—128M 72M

2. MapReduce

Un cadre informatique parallèle hors ligne distribué

pour le traitement massif de données

Distribué

Idéologie :

Diviser pour conquérir

Un grand ensemble de données est divisé en petits ensembles de données

Chaque ensemble de données Effectuer un traitement métier logique (carte)

Fusionner les résultats des données statistiques (réduire)

3. Yarn

Cadre de gestion des ressources distribuées

Gérer les ressources de l'ensemble du cluster ( mémoire, cœurs CPU)

Allocation et planification des ressources du cluster

Recommandations vidéo associées :

Programmation PHP de l'entrée à la maîtrise

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Étiquettes associées：
hadoop
source：php.cn
Article précédent：Qu'est-ce que le cloud computing et le big data Article suivant：Qu'est-ce que l'encodage base64
Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn
Derniers articles par auteur
Derniers numéros
À quoi sert Hadoop, quels sont ses principaux scénarios et domaines d'application et quels sont les principaux problèmes à résoudre ? Comment pouvons-nous personnellement le faire ? À quoi sert Hadoop ? Quels sont ses principaux scénarios d'application et domaines d'appli...
Depuis 2020-09-24 16:31:30
0
1
1245
python - Puis-je exécuter une instruction source avec pyhive? curseur.execute("source '/home/hadoop/create_table.sql'") résultat de l'exécutio...
Depuis 2017-06-28 09:22:35
0
1
1272
hadoop - Utilisez le module python hdfs ou d'autres modules similaires pour filtrer le contenu du journal sur HDFS Actuellement, la société utilise HDFS pour stocker les journaux téléchargés par chaque ser...
Depuis 2017-06-13 09:24:45
0
1
714
hadoop - 不同机器上docker创建的虚拟机器怎么相互访问 我在A机器上用docker虚拟化创建了10台linux机器。B机器上同样虚拟化10台机器。我要搭建spark环境，B和A上的虚拟机可以相互通过ssh访问吗？
Depuis 2017-04-26 09:01:41
0
2
658
eclipse 读取Hadoop文件 如图，通过dfs，我能看见hdfs里的存储目录结构，但是双击后打开缺看不到文件的内容。报错：Could not obtain block: BP-583232605-127.0.1...
Depuis 2017-04-25 09:02:41
0
0
540
Rubriques connexes
Plus>
Recommandations populaires
Tutoriels populaires
Plus>
Tutoriels associés
Recommandations populaires
Derniers cours
Derniers téléchargements
Plus>
effets Web
Code source du site Web
Matériel du site Web
Modèle frontal
À propos de nous Clause de non-responsabilité Sitemap
Site Web PHP chinois：Formation PHP en ligne sur le bien-être public，Aidez les apprenants PHP à grandir rapidement！