Debian Hadoopをテストする方法

この記事では、DebianシステムにApache Hadoopをインストールしてテストすることをガイドします。次の手順では、構成プロセスと検証方法の詳細な説明を提供します。

ステップ1：Javaをインストールします

システムにJava 8以下がインストールされていることを確認してください。次のコマンドを使用してOpenJDK 8をインストールします。

 sudo aptアップデート
sudo apt install openjdk-8-jdk

インストールの確認：

 Java -version

ステップ2：Hadoopをダウンロードして減圧します

Apache Hadoopの公式WebサイトからHadoopの最新バージョンをダウンロードし、指定されたディレクトリ（ /usr/local/hadoopなど）に解凍します。

 wget https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
tar -xzvf hadoop -3.3.1.tar.gz -c/usr/local/hadoop
`` ``（hadoop-3.3.1`を実際のバージョン番号に置き換えてください）


**ステップ3：環境変数を構成**

`〜/.bashrc`ファイルを編集し、次の環境変数を追加します。

「バッシュ
hadoop_home =/usr/local/hadoopをエクスポートします
エクスポートパス= $ path：$ hadoop_home/bin：$ hadoop_home/sbin

変更を有効にします：

ソース〜/.bashrc

ステップ4：Hadoop構成ファイルを構成します

Hadoopディレクトリの構成ファイルを変更します。

• core-site.xml ：

<configuration>
  <property>
    <name>fs.defaultfs</name>
    <value>hdfs：// namenode：9000</value>
  </property>
</configuration>

• hdfs-site.xml ：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
  <property>
    <name>DFS.NAMENODE.NAME.DIR</name>
    <value>/usr/local/hadoop/dfs/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/usr/local/hadoop/dfs/data</value>
  </property>
</configuration>

• mapred-site.xml ：

<configuration>
  <property>
    <name>MapReduce.framework.name</name>
    <value>糸</value>
  </property>
</configuration>

• Yarn-site.xml ：

<configuration>
  <property>
    <name>Yarn.nodemanager.aux-services</name>
    <value>mapReduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.shufflehandler</value>
  </property>
</configuration>

ステップ5：HDFのフォーマット

NameNodeノードで、次のコマンドを実行してHDFをフォーマットします。

 HDFS NAMENODE -FORMAT

ステップ6：Hadoopサービスを開始します

NameNodeノードでNamenodeとDataNodeを開始します。

 start-dfs.sh

ResourceManagerノードで糸を開始します。

 Start-yarn.sh

ステップ7：ローカルモードテスト

Hadoopユーザーに切り替えます：

 su -hadoop

入力ディレクトリとファイルを作成します。

 mkdir〜/input
vi〜/input/data.txt

テストデータ（「Hello World」、「Hello Hadoop」など）を入力し、保存して終了します。

WordCountの実行例：

 Hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount〜/input/data.txt〜/output
「（実際のJARパッケージファイル名に従って調整してください）

結果を見る：

「バッシュ
ls〜/output
cat〜/output/part-r-00000

正しい出力は、Hadoopローカルモードが正常に実行されていることを示しています。上記の手順では、スタンドアロン環境でテストしていると仮定していることに注意してください。クラスター環境の場合、対応する構成変更が必要です。より詳細かつ最新の構成情報については、必ず公式のHadoopドキュメントを参照してください。

以上がDebian Hadoopをテストする方法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。