hadoop_PHP チュートリアルでよく使用されるコマンドの紹介-PHPチュートリアル-php.cn

hadoop_PHP チュートリアルでよく使用されるコマンドの紹介

WBOY

リリース： 2016-07-21 15:05:38

オリジナル

898 人が閲覧しました

Hadoop インストールディレクトリ HADOOP_HOME が /home/admin/hadoop であると仮定します。
起動とシャットダウン
Hadoopを起動する
1. HADOOP_HOME ディレクトリに入ります。
2. sh bin/start-all.shを実行します

Hadoopを閉じる
1. HADOOP_HOME ディレクトリに入ります。
2. sh bin/stop-all.sh を実行
ファイル操作
Hadoop は HDFS を使用しており、実現できる機能は私たちが使用しているディスクシステムと似ています。また、* などのワイルドカード文字もサポートします。

ファイルリストを表示する
hdfs の /user/admin/aaron ディレクトリ内のファイルを表示します。
1. HADOOP_HOME ディレクトリに入ります。
2. sh bin/hadoop fs -ls /user/admin/aaron を実行します。この方法で、hdfs の /user/admin/aaron ディレクトリにファイルが見つかります。
hdfs の /user/admin/aaron ディレクトリ内のすべてのファイル (サブディレクトリ内のファイルを含む) を一覧表示することもできます。
1. HADOOP_HOME ディレクトリに入ります。
2. sh bin/hadoop fs -lsr /user/admin/aaron を実行します

ファイルディレクトリを作成します
hdfs の /user/admin/aaron ディレクトリを表示し、newDir という新しいディレクトリを作成します。 1. HADOOP_HOME ディレクトリに入ります。
2. sh bin/hadoop fs -mkdir /user/admin/aaron/newDir を実行します

ファイルを削除する
hdfs の /user/admin/aaron ディレクトリにある needDelete という名前のファイルを削除します1 HADOOP_HOME ディレクトリに入ります。
2. sh bin/hadoop fs -rm /user/admin/aaron/needDelete を実行します
hdfs 内の /user/admin/aaron ディレクトリとこのディレクトリ内のすべてのファイルを削除します
1. HADOOP_HOME ディレクトリに入ります。
2. sh bin/hadoop fs -rmr /user/admin/aaron を実行します。

ファイルをアップロードする
ローカルの /home/admin/newFile ファイルを hdfs の /user/admin/aaron ディレクトリにアップロードします1 HADOOP_HOME ディレクトリに入ります。 2. sh bin/hadoop fs –put /home/admin/newFile /user/admin/aaron/
を実行します。

ファイルをダウンロードする
hdfs の /user/admin/aaron ディレクトリにある newFile ファイルをローカルの /home/admin/newFile にダウンロードします1 HADOOP_HOME ディレクトリに入ります。 2. sh bin/hadoop fs –get /user/admin/aaron/newFile /home/admin/newFile を実行します

ファイルを表示する
hdfs 内のファイルを直接表示できます。機能は cat に似ています。hdfs の /user/admin/aaron ディレクトリにある newFile ファイルを表示します1 HADOOP_HOME ディレクトリに入ります。
2. sh bin/hadoop fs –cat /home/admin/newFileを実行します

MapReduce Job操作
MapReduce Jobの送信原則として、すべてのHadoop MapReduce Jobはjarパッケージです。 /home/admin/hadoop/job.jar で MapReduce ジョブを実行します
1. HADOOP_HOME ディレクトリに入ります。
2. sh bin/hadoop jar /home/admin/hadoop/job.jar [jobMainClass] [jobArgs] を実行します。

実行中のジョブを強制終了します

Job_Id が job_201005310937_0053 であるとします。
1 HADOOP_HOME ディレクトリに入ります。 2. sh bin/hadoop ジョブ -kill job_201005310937_0053 を実行します。

その他の Hadoop コマンド

上記で紹介した Hadoop 操作コマンドは、最もよく使用されるコマンドです。さらに詳しく知りたい場合は、次のようにコマンドの説明を参照してください。 1. HADOOP_HOME ディレクトリに入ります。
2. sh bin/hadoop を実行しますさらに多くのコマンド情報が表示されます:

コードをコピーします

コードは次のとおりです:

使用法: hadoop [--config confdir] COMMAND
 ここで COMMAND は次のいずれかです:
 namenode -format DFS ファイルシステムをフォーマットする
 Secondarynamenode DFS セカンダリ namenode を実行する
 namenode DFS namenode を実行する
 datanode DFS データノードを実行します
 dfsadmin を実行しますDFS 管理クライアント
 fsck DFS ファイルシステム チェック ユーティリティを実行する
 fs 汎用ファイルシステム ユーザー クライアントを実行する
 バランサー クラスター分散ユーティリティを実行する
 ジョブトラッカー MapReduce ジョブ トラッカー ノードを実行する
 Pipes Pipes ジョブを実行する
 tasktracker MapReduce タスク トラッカー ノードを実行する
 ジョブMapReduce ジョブを操作する
 キュー JobQueues に関する情報を取得する
 バージョン バージョンを出力する
 jar             jar ファイルを実行します
 distcp  <デスタール>ファイルまたはディレクトリを再帰的にコピーします
 archive -archiveName NAME *  Hadoop アーカイブを作成します
 デーモンログ 各デーモンのログ レベルを取得/設定します
 または
 CLASSNAME CLASSNAME という名前のクラスを実行します
ほとんどのコマンドは、パラメーターなしで呼び出すとヘルプを表示します