ホームページ よくある問題 hdfsコマンドとは何ですか

hdfsコマンドとは何ですか

Mar 14, 2023 pm 03:51 PM
hdfs

hdfs コマンドは、Hadoop hdfs システムのコマンドを指します。その共通コマンドには、1. ls コマンド、2. cat コマンド、3. mkdir コマンド、4. rm コマンド、5. put コマンド、6. cp が含まれます。コマンド ;7.copyFromLocal コマンド;8.get コマンド;9.copyToLocal コマンド;10.mv コマンドなど

hdfsコマンドとは何ですか

#このチュートリアルの動作環境: linux5.9.8 システム、Dell G3 コンピューター。

hdfs コマンドとは何ですか?

は、Hadoop hdfs システムのコマンドを指します。

hdfs システムを操作するには、hadoop fs または hdfs dfs を使用できます。どちらも同じ効果があります。 (hadoop dfs コマンドは推奨されなくなりました)

Hadoop hdfs システムでよく使用されるコマンド

1. hadoop fs (hdfs dfs) ファイル操作

  • ls は、ディレクトリ

内のすべてのファイルまたはフォルダーを表示します。使用法: hadoop fs -ls [uri form directory]

例: hadoop fs –ls / ルート ディレクトリ内のすべてのファイルとディレクトリを表示します。

-R オプションを追加すると、ディレクトリ内のすべてのファイルを表示できます。

例: hadoop fs -ls -R /

  • cat ファイルの内容の表示

使用法: hadoop fs -cat URI [URI …]

例: hadoop fs - cat /in/ test2.txt

  • mkdir ディレクトリの作成

使用法: hadoop fs -mkdir [uri フォーム ディレクトリ]

例: hadoop fs –mkdir /test

複数レベルのディレクトリと –p を作成する

例: hadoop fs –mkdir -p /a/b/c

  • rm ディレクトリまたはファイルを削除します。

使用法: hadoop fs -rm [ファイル パス] フォルダーを削除し、-r

を追加します。例: hadoop fs - rm /test1 .txt

フォルダーを削除し、-r を追加します。

例: hadoop fs -rm -r /test

  • put ファイルをコピーします

ファイルを hdfs システムにコピーするか、標準入力からファイルを読み取ります。 time, dst ファイルです

使用法: hadoop fs -put <localsrc> ... <dst>

例:

Hadoop fs -put /usr /wisedu/ temp/test1.txt /

標準入力からファイルを読み取ります: hadoop fs -put -/in/myword

  • cp システム内のファイルをコピーします

使用法: hadoopfs -cp URI [URI …] <dest>

ファイルをソース パスから宛先パスにコピーします。このコマンドでは複数のソース パスが許可されます。その場合、ターゲット パスはディレクトリである必要があります。

例:

hadoop fs -cp /in/myword/word
ログイン後にコピー

  • copyFromLocal ローカル ファイルを hdfs にコピーします

使用法: hadoop fs - copyFromLocal <localsrc> URI

ソース パスがローカル ファイルに限定される点を除いて put コマンドと同様です

  • get ファイルをローカル システムにコピーします

使用法: hadoop fs -get[-ignorecrc] [-crc] <src> <localdst>

ファイルをローカル ファイル システムにコピーします。 CRC チェックに失敗したファイルは、-ignorecrc オプションを使用してコピーできます。 CRC 情報とともにファイルをコピーするには、-crc オプションを使用します。

例: hadoop fs -get/word /usr/wisedu/temp/word.txt

  • copyToLocal ファイルをローカル システムにコピーします

使用法: hadoop fs-copyToLocal [-ignorecrc] [-crc] URI <localdst>

get コマンドと似ていますが、ターゲット パスがローカル ファイルに限定される点が異なります。

例: hadoop fs - copyToLocal/word /usr/wisedu/temp/word.txt

  • mv

willファイルはソース パスから宛先パスに移動されます。このコマンドでは複数のソース パスが許可されます。その場合、ターゲット パスはディレクトリである必要があります。異なるファイル システム間でファイルを移動することは許可されていません。

使用法: hadoop fs -mv URI [URI …] <dest>

例: hadoop fs -mv /in/test2.txt /test2.txt

  • du ファイル サイズの表示

##ディレクトリ内のすべてのファイルのサイズを表示します。

使用法: hadoop fs -du URI [URI ...]

例: hadoop fs -du /

現在のディレクトリまたはフォルダーのサイズを表示するには、次のようにします。オプション -s

を追加できます。 例: hadoop fs -du -s /

  • touchz 空のファイルを作成します。

使用法: hadoop fs -touchz URI [URI …]

0 バイトの空のファイルを作成する

例: hadoop fs -touchz /empty .txt

  • chmod はファイルのアクセス許可を変更します

使用法: hadoop fs -chmod[-R] <MODE[,MODE]... | OCTALMODE> URI [URI ...]

は、Linux プラットフォームの chmod コマンドに似ており、ファイルのアクセス許可を変更します。 -R を使用すると、ディレクトリ構造全体に再帰的に変更が加えられます。コマンドのユーザーは、ファイルの所有者またはスーパーユーザーである必要があります。

例: 最初に通常のユーザー テストを作成します: sudo useradd -m test

次に、wisedu ユーザーを使用して hdfs システム ディレクトリ /a に hello.txt ファイルを作成します。この時点で、テストには読み取り機能があります。 /a/hello .txt ファイルの権限は次のとおりです。

wisedu ユーザーに戻った後、ファイルの権限を変更して /a にファイルを作成します。コマンド: hadoop fs - chmod -R o-r /a 以下の図に示すように、テスト ユーザーに切り替えて /a/hello.txt ファイルを表示すると、権限がないことを示すメッセージが表示されます。

  • chown ファイル所有者の変更

使用法: hadoop fs -chown [-R] [OWNER][: [GROUP]] URI [URI]

ファイルの所有者を変更します。 -R を使用すると、ディレクトリ構造全体に再帰的に変更が加えられます。コマンドのユーザーはスーパーユーザーである必要があります。

例: hadoop fs -chown -R test /a 以下に示すように:

  • chgrp はファイルが配置されているグループを変更します

使用法: hadoop fs -chgrp [-R] GROUP URI [URI ...]

ファイルが属するグループを変更します。 -R を使用すると、ディレクトリ構造全体に再帰的に変更が加えられます。コマンドのユーザーは、ファイルの所有者またはスーパーユーザーである必要があります。

例: hadoop fs -chgrp -R test /a 以下に示すように:

2. hdfs dfsadmin 管理コマンド

1) -report

ファイルシステムの基本情報や統計情報を表示します。

例: hdfs dfsadmin -report

2) -safemode

enter | Leave | get | wait: セーフ モード コマンド。セーフ モードは、NameNode がネームスペースへの変更を受け付けず (読み取り専用)、ブロックがコピーまたは削除されない NameNode の状態です。 NameNode は、起動時に自動的にセーフ モードに入ります。構成ブロックの最小割合がレプリカの最小数を満たすと、自動的にセーフ モードから抜けます。 Enterは入るという意味で、leaveは出るという意味です。

例: hdfs dfsadmin -safemode get

hdfsdfsadmin -safemode enter

3) -refreshNodes

ホストを再読み取り、ファイルを除外して新しいノードを作成しますクラスターから出る必要があるものは、NameNode によって再識別できます。このコマンドは、ノードの追加またはノードの登録を解除する場合に使用します。

例: hdfs dfsadmin -refreshNodes

4) -finalizeUpgrade

HDFS アップグレード操作を終了します。 DataNode は前のバージョンの作業ディレクトリを削除し、その後 NameNode も同じことを行います。

5) -upgradeProgress

status | 詳細 | Force: 現在のシステムのアップグレード ステータスを要求 | アップグレード ステータスの詳細 | 強制アップグレード操作

6) -metasave filename

NameNode のメイン データ構造を、hadoop.log.dir 属性で指定されたディレクトリ内の ファイルに保存します。

7) -setQuota<quota><dirname>....<dirname>

各ディレクトリ <dirname> にクォータ<quota>を設定します。ディレクトリ クォータは、ディレクトリ ツリーの下にある名前の数を強制的に設定する長整数です。

8) -clrQuota<dirname>…<dirname>

各ディレクトリ<dirname>のクォータ設定をクリアします。

9) -help

ヘルプ情報を表示します

関連知識の詳細については、FAQ 列を参照してください。

以上がhdfsコマンドとは何ですかの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットな記事タグ

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

Deepseek Webバージョンの公式入り口 Deepseek Webバージョンの公式入り口 Mar 12, 2025 pm 01:42 PM

Deepseek Webバージョンの公式入り口

deepseekの忙しいサーバーの問題を解決する方法 deepseekの忙しいサーバーの問題を解決する方法 Mar 12, 2025 pm 01:39 PM

deepseekの忙しいサーバーの問題を解決する方法

詳細な検索Deepseek公式ウェブサイトの入り口 詳細な検索Deepseek公式ウェブサイトの入り口 Mar 12, 2025 pm 01:33 PM

詳細な検索Deepseek公式ウェブサイトの入り口