Comment mettre en œuvre la gestion des ressources Debian Hadoop

Cet article décrit comment configurer Hadoop Explorer sur Debian System. Les étapes suivantes couvrent la construction et la vérification des grappes Hadoop.

1. Configuration de l'installation et de l'environnement Hadoop

Tout d'abord, installez Hadoop sur le système Debian. En supposant que vous ayez téléchargé le package d'installation Hadoop 2.7.2, vous pouvez décompresser et l'installer en utilisant la commande suivante:

 sudo mkdir / usr / local / hadoop
sudo tar xvf hadoop-2.7.2.tar.gz -c / usr / local / hadoop

Ensuite, configurez les variables d'environnement pour faciliter les opérations ultérieures. Modifiez le fichier ~/.bashrc ou /etc/profile et ajoutez ce qui suit:

 exporter hadoop_home = / usr / local / hadoop
Export Path = $ Path: $ hadoop_home / bin

Exécutez source ~/.bashrc ou source /etc/profile pour rendre la configuration prendre effet.

2. Configuration du cluster Hadoop

Sur tous les nœuds du cluster, vous devez configurer les fichiers de configuration de Hadoop Core: core-site.xml , hdfs-site.xml , mapred-site.xml et yarn-site.xml . Ces fichiers définissent les propriétés clés des clusters Hadoop, tels que l'adresse du nœud de nom HDFS, le nombre de répliques de données, le framework MapReduce et l'adresse du gestionnaire de ressources de fil.

Par exemple, core-site.xml est le suivant:

<configuration>
  <property>
    <name>Fs.defaultfs</name>
    <value>hdfs: // debian171: 9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/ usr / local / hadoop / tmp</value>
  </property>
</configuration>

Veuillez modifier ces configurations en fonction de la situation réelle de votre cluster.

3. Startup de cluster Hadoop

Sur tous les nœuds, démarrez les services HDFS et YARN avec la commande suivante:

 CD / USR / Local / Hadoop / Sbin
./start-dfs.sh
./start-roun.sh

4. Vérification de la gestion des ressources

Exécutez un travail simple pour vérifier que la gestion des ressources Hadoop fonctionne:

 Jar Hadoop Hadoop-Examples.Jar WordCount / TMP / Input / Outpture

Si le résultat est exécuté avec succès, cela signifie que la configuration de gestion des ressources Hadoop est réussie.

5. Choses à noter

Les étapes ci-dessus fournissent un processus de configuration de gestion des ressources Hadoop de base. La configuration réelle peut varier en fonction de la taille du cluster, de la version Hadoop et des exigences spécifiques. Veuillez vous référer à la documentation officielle de Hadoop pour des informations de configuration plus détaillées.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!