hdfs コマンドは、Hadoop hdfs システムのコマンドを指します。その共通コマンドには、1. ls コマンド、2. cat コマンド、3. mkdir コマンド、4. rm コマンド、5. put コマンド、6. cp が含まれます。コマンド ;7.copyFromLocal コマンド;8.get コマンド;9.copyToLocal コマンド;10.mv コマンドなど
#このチュートリアルの動作環境: linux5.9.8 システム、Dell G3 コンピューター。
hdfs コマンドとは何ですか?
は、Hadoop hdfs システムのコマンドを指します。
hdfs システムを操作するには、hadoop fs または hdfs dfs を使用できます。どちらも同じ効果があります。 (hadoop dfs コマンドは推奨されなくなりました)
Hadoop hdfs システムでよく使用されるコマンド
1. hadoop fs (hdfs dfs) ファイル操作
ls は、ディレクトリ
内のすべてのファイルまたはフォルダーを表示します。使用法: hadoop fs -ls [uri form directory]
例: hadoop fs –ls / ルート ディレクトリ内のすべてのファイルとディレクトリを表示します。
-R オプションを追加すると、ディレクトリ内のすべてのファイルを表示できます。
例: hadoop fs -ls -R /
cat ファイルの内容の表示
使用法: hadoop fs -cat URI [URI …]
例: hadoop fs - cat /in/ test2.txt
mkdir ディレクトリの作成
使用法: hadoop fs -mkdir [uri フォーム ディレクトリ]
例: hadoop fs –mkdir /test
複数レベルのディレクトリと –p を作成する
例: hadoop fs –mkdir -p /a/b/c
rm ディレクトリまたはファイルを削除します。
使用法: hadoop fs -rm [ファイル パス] フォルダーを削除し、-r
を追加します。例: hadoop fs - rm /test1 .txt
フォルダーを削除し、-r を追加します。
例: hadoop fs -rm -r /test
put ファイルをコピーします
ファイルを hdfs システムにコピーするか、標準入力からファイルを読み取ります。 time, dst ファイルです
使用法: hadoop fs -put
例:
Hadoop fs -put /usr /wisedu/ temp/test1.txt /
標準入力からファイルを読み取ります: hadoop fs -put -/in/myword
cp システム内のファイルをコピーします
使用法: hadoopfs -cp URI [URI …]
ファイルをソース パスから宛先パスにコピーします。このコマンドでは複数のソース パスが許可されます。その場合、ターゲット パスはディレクトリである必要があります。
例:
hadoop fs -cp /in/myword/word
copyFromLocal ローカル ファイルを hdfs にコピーします
使用法: hadoop fs - copyFromLocal
ソース パスがローカル ファイルに限定される点を除いて put コマンドと同様です
get ファイルをローカル システムにコピーします
使用法: hadoop fs -get[-ignorecrc] [-crc]
ファイルをローカル ファイル システムにコピーします。 CRC チェックに失敗したファイルは、-ignorecrc オプションを使用してコピーできます。 CRC 情報とともにファイルをコピーするには、-crc オプションを使用します。
例: hadoop fs -get/word /usr/wisedu/temp/word.txt
copyToLocal ファイルをローカル システムにコピーします
使用法: hadoop fs-copyToLocal [-ignorecrc] [-crc] URI
get コマンドと似ていますが、ターゲット パスがローカル ファイルに限定される点が異なります。
例: hadoop fs - copyToLocal/word /usr/wisedu/temp/word.txt
mv
willファイルはソース パスから宛先パスに移動されます。このコマンドでは複数のソース パスが許可されます。その場合、ターゲット パスはディレクトリである必要があります。異なるファイル システム間でファイルを移動することは許可されていません。
使用法: hadoop fs -mv URI [URI …]
例: hadoop fs -mv /in/test2.txt /test2.txt
du ファイル サイズの表示
例: 最初に通常のユーザー テストを作成します: sudo useradd -m test
次に、wisedu ユーザーを使用して hdfs システム ディレクトリ /a に hello.txt ファイルを作成します。この時点で、テストには読み取り機能があります。 /a/hello .txt ファイルの権限は次のとおりです。
wisedu ユーザーに戻った後、ファイルの権限を変更して /a にファイルを作成します。コマンド: hadoop fs - chmod -R o-r /a 以下の図に示すように、テスト ユーザーに切り替えて /a/hello.txt ファイルを表示すると、権限がないことを示すメッセージが表示されます。
chown ファイル所有者の変更
使用法: hadoop fs -chown [-R] [OWNER][: [GROUP]] URI [URI]
ファイルの所有者を変更します。 -R を使用すると、ディレクトリ構造全体に再帰的に変更が加えられます。コマンドのユーザーはスーパーユーザーである必要があります。
例: hadoop fs -chown -R test /a 以下に示すように:
chgrp はファイルが配置されているグループを変更します
使用法: hadoop fs -chgrp [-R] GROUP URI [URI ...]
ファイルが属するグループを変更します。 -R を使用すると、ディレクトリ構造全体に再帰的に変更が加えられます。コマンドのユーザーは、ファイルの所有者またはスーパーユーザーである必要があります。
例: hadoop fs -chgrp -R test /a 以下に示すように:
2. hdfs dfsadmin 管理コマンド
1) -report
ファイルシステムの基本情報や統計情報を表示します。
例: hdfs dfsadmin -report
2) -safemode
enter | Leave | get | wait: セーフ モード コマンド。セーフ モードは、NameNode がネームスペースへの変更を受け付けず (読み取り専用)、ブロックがコピーまたは削除されない NameNode の状態です。 NameNode は、起動時に自動的にセーフ モードに入ります。構成ブロックの最小割合がレプリカの最小数を満たすと、自動的にセーフ モードから抜けます。 Enterは入るという意味で、leaveは出るという意味です。
例: hdfs dfsadmin -safemode get
hdfsdfsadmin -safemode enter
3) -refreshNodes
ホストを再読み取り、ファイルを除外して新しいノードを作成しますクラスターから出る必要があるものは、NameNode によって再識別できます。このコマンドは、ノードの追加またはノードの登録を解除する場合に使用します。
例: hdfs dfsadmin -refreshNodes
4) -finalizeUpgrade
HDFS アップグレード操作を終了します。 DataNode は前のバージョンの作業ディレクトリを削除し、その後 NameNode も同じことを行います。
5) -upgradeProgress
status | 詳細 | Force: 現在のシステムのアップグレード ステータスを要求 | アップグレード ステータスの詳細 | 強制アップグレード操作
6) -metasave filename
NameNode のメイン データ構造を、hadoop.log.dir 属性で指定されたディレクトリ内の
7) -setQuota
各ディレクトリ
8) -clrQuota
各ディレクトリ
9) -help
ヘルプ情報を表示します
関連知識の詳細については、FAQ 列を参照してください。
以上がhdfsコマンドとは何ですかの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。
![[Web フロントエンド] Node.js クイック スタート](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
