Debian Hadoopリソース管理を実装する方法

この記事では、Debian SystemでHadoop Explorerを構成する方法について説明します。次の手順では、Hadoopクラスターの構造と検証をカバーしています。

1。Hadoopのインストールと環境構成

まず、DebianシステムにHadoopをインストールします。 Hadoop 2.7.2インストールパッケージをダウンロードしたと仮定すると、次のコマンドを使用して解凍してインストールできます。

 sudo mkdir/usr/local/hadoop
sudo tar xvf hadoop -2.7.2.tar.gz -c/usr/local/hadoop

次に、環境変数を構成して、後続の操作を容易にします。 ~/.bashrcまたは/etc/profileファイルを編集し、以下を追加します。

 hadoop_home =/usr/local/hadoopをエクスポートします
エクスポートパス= $ path：$ hadoop_home/bin

source ~/.bashrcまたはsource /etc/profileを実行して、構成を有効にします。

2。Hadoopクラスター構成

クラスターのすべてのノードでは、Core Hadoop構成ファイル： core-site.xml 、 hdfs-site.xml 、 mapred-site.xml 、 yarn-site.xmlを構成する必要があります。これらのファイルは、HDFS名ノードアドレス、データレプリカの数、MapReduceフレームワーク、Yarnリソースマネージャーアドレスなど、Hadoopクラスターの重要なプロパティを定義します。

たとえば、 core-site.xml構成フラグメントは次のとおりです。

<configuration>
  <property>
    <name>fs.defaultfs</name>
    <value>hdfs：// debian171：9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop/tmp</value>
  </property>
</configuration>

クラスターの実際の状況に応じて、これらの構成を変更してください。

3。Hadoopクラスター起動

すべてのノードで、次のコマンドでHDFSおよびYARNサービスを開始します。

 CD/USR/LOCAL/HADOOP/SBIN
./start-dfs.sh
./Start-yarn.sh

4。リソース管理の検証

Hadoopリソース管理が機能していることを確認するために、単純なWordCountジョブを実行してください。

 Hadoop Jar hadoop-examples.jar wordcount /tmp /input /output

結果が正常に実行され、出力された場合、Hadoopリソース管理の構成が成功したことを意味します。

5。注意すべきこと

上記の手順は、基本的なHadoopリソース管理構成プロセスを提供します。実際の構成は、クラスターサイズ、Hadoopバージョン、および特定の要件によって異なる場合があります。より詳細な構成情報については、公式Hadoopドキュメントを参照してください。

以上がDebian Hadoopリソース管理を実装する方法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。