Wie man ein Hadoop -Entwicklungsumfeld auf Debian baut

In diesem Leitfaden wird beschrieben, wie Sie eine Hadoop -Entwicklungsumgebung für ein Debian -System erstellen.

1. Installieren Sie Java Development Kit (JDK)

Installieren Sie zunächst OpenJDK:

 sudo APT -Update
sudo apt installieren openjdk-11-jdk -y

Konfigurieren Sie die Umgebungsvariable java_home:

 sudo nano /etc /Umgebung

Fügen Sie am Ende der Datei hinzu (passen Sie den Pfad gemäß der tatsächlichen JDK -Version an):

 <code>JAVA_HOME="/usr/lib/jvm/java-11-openjdk-amd64"</code>

Speichern und beenden Sie und führen Sie dann aus:

 Quelle /etc /Umgebung

Überprüfen Sie die Installation:

 Java -Version

2. Installieren Sie Hadoop

Download Hadoop 3.3.6 (oder eine andere Version):

 wget https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.6/hadoop-3.3.6-src.tar.gz

Überprüfen Sie die Integrität des Downloads:

 wGet https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6-src.tar.gz.sha512
SHA256SUM -C Hadoop-3.3.6-src.tar.gz.sha512

Erstellen Sie ein Verzeichnis und ein Unzipp:

 sudo mkdir /opt /hadoops
sudo tar -xzvf hadoop-3.3.6-src.tar.gz -c /opt /hadoops-Strip-Komponenten 1

3. Konfigurieren Sie Hadoop -Umgebungsvariablen

Datei bearbeiten /etc/profile und hinzufügen:

 Export hadoop_home = "/opt/hadoops/hadoop-3.3.6"
Exportpfad = $ Path: $ Hadoop_Home/bin: $ hadoop_home/sbin

Umgebungsvariablen aktualisieren:

 Quelle /etc /Profil

4. Konfigurieren Sie die Hadoop -Core -Konfigurationsdatei

Bearbeiten Sie core-site.xml :

 sudo nano $ hadoop_home/etc/hadoop/core-site.xml

Hinzufügen zu:

<configuration>
  <property>
    <name>Fs.DefaultFs</name>
    <value>HDFS: // localhost: 9000</value>
  </property>
</configuration>

hdfs-site.xml bearbeiten:

 sudo nano $ hadoop_home/etc/hadoop/hdfs-site.xml

Hinzufügen zu:

<configuration>
  <property>
    <name>DFS.Replikation</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/hadoops/hdfs/namenode</value>
  </property>
</configuration>

mapred-site.xml bearbeiten:

 sudo nano $ hadoop_home/etc/hadoop/mapred-site.xml

Hinzufügen zu:

<configuration>
  <property>
    <name>MAPREDUCE.FRAMEWORK.NAME</name>
    <value>Garn</value>
  </property>
</configuration>

yarn-site.xml :

 sudo nano $ hadoop_home/etc/hadoop/marn-site.xml

Hinzufügen zu:

<configuration>
  <property>
    <name>marn.nodemanager.aux-services</name>
    <value>MAPREDUCE_SHUFFE</value>
  </property>
</configuration>

5. Setzen Sie SSH ohne Passwort -Login

Generieren Sie SSH -Schlüssel:

 sudo su - Hadoop
ssh -keygen -t RSA -p "" "

Kopieren Sie den öffentlichen Schlüssel:

 cat ~/.sssh/id_rsa.pub >> ~/.sssh/autorized_keys

Testverbindung:

 ssh localhost

6. Formatnamenode

 HDFS NAMENODE -Format

7. Starten Sie den Hadoop -Service

 Start-dfs.sh
Start marn.sh

8. Überprüfen Sie die Hadoop -Installation

Überprüfen Sie den Clusterstatus:

 HDFS DFSADMIN -Berichterstattung

Besuchen Sie die Namenode -Webschnittstelle: http://localhost:9870

Nach Abschluss der oben genannten Schritte ist die Hadoop -Entwicklungsumgebung in Ihrem Debian -System abgeschlossen. Bitte passen Sie den Pfad und die Hadoop -Version entsprechend der tatsächlichen Situation an.

Das obige ist der detaillierte Inhalt vonWie man ein Hadoop -Entwicklungsumfeld auf Debian baut. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!