Comment Debian intègre Hadoop à d'autres outils

Ce guide détaille comment intégrer Hadoop et d'autres outils sur le système Debian, couvrant des étapes clés telles que Java Environment Construction, la configuration de Hadoop, le démarrage et la gestion des cluster.

1. Préparation de l'environnement Java

Tout d'abord, assurez-vous que votre système a installé Java 8 ou supérieur. Installez OpenJDK 8 en utilisant la commande suivante:

 Mise à jour Sudo Apt
sudo apt install openjdk-8-jdk

Vérifiez l'installation:

 Java-Version

2. Téléchargement et décompression de Hadoop

Téléchargez la dernière version du package d'installation de Hadoop (tel que Hadoop 3.3.1) sur le site officiel d'Apache Hadoop et décompressez-le dans le répertoire spécifié (tel que /usr/local/hadoop ):

 wget https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
TAR -XZVF HADOOP-3.3.1.tar.gz -c / usr / local / hadoop

3. Configuration variable de l'environnement

Modifiez le fichier ~/.bashrc et ajoutez les variables d'environnement suivantes:

 Exporter java_home = / usr / lib / jvm / jdk-8-openjdk-amd64
exporter hadoop_home = / usr / local / hadoop
Export Path = $ Path: $ hadoop_home / bin: $ hadoop_home / sbin

Faire prendre effet de la configuration:

 Source ~ / .Bashrc

4. Configuration du noyau Hadoop

Modifier les fichiers de configuration de Core Hadoop ( core-site.xml , hdfs-site.xml , mapred-site.xml , yarn-site.xml ). Ce qui suit est un exemple de configuration:

core-site.xml :

<configuration>
  <property>
    <name>Fs.defaultfs</name>
    <value>hdfs: // namenode: 9000</value>
  </property>
</configuration>

hdfs-site.xml :

<configuration>
  <property>
    <name>dfs.réplication</name>
    <value>3</value>
  </property>
  <property>
    <name>dfs.nameNode.name.dir</name>
    <value>/ usr / local / hadoop / dfs / nom</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/ usr / local / hadoop / dfs / data</value>
  </property>
</configuration>

mapred-site.xml :

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>fil</value>
  </property>
</configuration>

yarn-site.xml :

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>MapReduce_Shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.shufflehandler</value>
  </property>
</configuration>

5. Formatage HDFS

Sur le nœud NameNode, exécutez la commande suivante pour formater HDFS:

 hdfs namenode -format

6. Le service Hadoop commence

Démarrez le service Hadoop sur Namenode:

 start-dfs.sh
start-yarn.sh

7. Vérification de l'installation

Exécutez la commande suivante pour vérifier que Hadoop est lancé avec succès:

 hdfs dfs -ls /

Ou accédez à l'interface de gestion de Hadoop.

8. Configuration et gestion du cluster

Cette étape implique la configuration du réseau inter-nœud, la configuration de l'espace de stockage, l'optimisation des paramètres JVM, le paramètre de stratégie de planification de travail et la surveillance et la gestion des cluster à l'aide d'outils tels qu'Ambari ou Cloudera Manager.

Grâce aux étapes ci-dessus, vous pouvez construire et gérer avec succès les clusters Hadoop sur le système Debian. Veuillez ajuster les paramètres de configuration en fonction de votre environnement réel.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!