一般的な Hadoop エラーとその対処方法の詳細な説明_PHP チュートリアル-PHPチュートリアル-php.cn

一般的な Hadoop エラーとその対処方法の詳細な説明_PHP チュートリアル

WBOY

リリース： 2016-07-21 15:05:36

オリジナル

985 人が閲覧しました

1. hadoop-root-datanode-master.log に次のエラーがあります:
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatibility namespaceIDs in
の原因開始するデータノード No.
理由: namenode 形式が namenodeId を再作成するたびに、dfs.data.dir パラメーターによって構成されたディレクトリには、最後の形式によって作成された ID が含まれており、これは dfs.name によって構成されたディレクトリ内の ID と一致しません。 .dir パラメータ。 namenode 形式は、namenode の下のデータをクリアしますが、datanode の下のデータはクリアしないため、起動時にエラーが発生します。必要なのは、各 fotmat の前に dfs.data.dir パラメーターで構成されたディレクトリをクリアすることだけです。 hdfs をフォーマットするコマンド

コードをコピーしますコードは次のとおりです:

hadoop namenode -format

2. データノードがネームノードに接続できない場合、データノードは起動できません。
エラー org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: ... への呼び出しがローカル例外で失敗しました: java.net.NoRouteToHostException: ホストへのルートがありませんファイアウォールをオフにしてください

コードをコピーしますコードは次のとおりです:

service iptables stop

マシンが再起動した後も、ファイアウォールは有効のままです。

3. ローカルから hdfs ファイルシステムにファイルをアップロードすると、次のエラーが発生します:
INFO hdfs.DFSClient: Exception in createBlockOutputStream java.io.IOException: Bad connect ack with firstBadLinkINFO hdfs.DFSClient: Abandoning block blk_- 1300529705803292651_37023
警告 hdfs.DFSClient: DataStreamer Exception: java.io.IOException: 新しいブロックを作成できません。
解決策:
ファイアウォールをオフにします:

コードをコピーしますコードは次のとおりです。

service iptables stop

selinux を無効にする:
/etc/selinux/config ファイルを編集し、「SELINUX=disabled」を設定します

4. セーフモードによるエラー
org.apache.hadoop.dfs.SafeModeException: 削除できません...、名前ノードはセーフモードです分散ファイルシステムが起動すると、最初はセーフモードになります。分散ファイルシステムがセーフモードの場合、セーフモードが終了するまでファイルシステムの内容を変更または削除することはできません。セーフモードは主に、システムの起動時に各データノード上のデータブロックの有効性をチェックし、ポリシーに従って必要に応じて一部のデータブロックをコピーまたは削除するために使用されます。実行時にコマンドを使用してセーフモードに移行することもできます。実際には、システムの起動時、ファイルの変更または削除時に、セーフモードでは変更が許可されていないというエラーメッセージが表示され、しばらく待つだけで済みます。

コードをコピーしますコードは次のとおりです:

hadoop dfsadmin -safemode Leave

セーフモードをオフにする