Was ist der HDFS-Befehl?

hdfs-Befehl bezieht sich auf den Befehl des Hadoop-HDFS; 2. Befehl „mkdir“; 6. Befehl „cp“; copyFromLocal-Befehl; 8. get-Befehl; 9. copyToLocal-Befehl usw.

Die Betriebsumgebung dieses Tutorials: Linux5.9.8-System, Dell G3-Computer.

Was ist der hdfs-Befehl?

bezieht sich auf den Befehl des Hadoop HDFS-Systems.

Um das HDFS-System zu betreiben, können Sie Hadoop Fs oder HDFS DFS verwenden, beide haben den gleichen Effekt. (Der Befehl „hadoop dfs“ wird nicht mehr empfohlen)

Einige gängige Befehle des Hadoop-HDFS-Systems

1. Dateioperation „hadoop fs“ (hdfs dfs) ​​​​

• ls zeigt alle Dateien oder Ordner im Verzeichnis an

Verwendung: hadoop fs -ls [URI-Formularverzeichnis]

Beispiel: hadoop fs –ls / Alle Dateien und Verzeichnisse im Stammverzeichnis anzeigen

Sie können die Option -R hinzufügen, um alle Dateien im Verzeichnis anzuzeigen

Beispiel: hadoop fs -ls -R /

• cat Dateiinhalt anzeigen

Verwendung: hadoop fs -cat URI [URI …]

Beispiel: hadoop fs -cat /in/test2.txt

• mkdir Erstellen Verzeichnis

Verwendung: hadoop fs -mkdir [URI-Formularverzeichnis] ​​

Beispiel: hadoop fs –mkdir /test

Erstellen Sie ein mehrstufiges Verzeichnis plus –p

Beispiel: hadoop fs –mkdir -p /a/ b /c

• rm Verzeichnis oder Datei löschen

Verwendung: hadoop fs -rm [Dateipfad] Ordner löschen plus -r

Beispiel: hadoop fs -rm /test1.txt

Löschen Hinzufügen - r in den Ordner

Beispiel: hadoop fs -rm -r /test

• put Kopieren Sie die Datei

Kopieren Sie die Datei in das HDFS-System oder lesen Sie sie von der Standardeingabe. Holen Sie sich die Datei, der dst ist zu diesem Zeitpunkt eine Datei

Verwendung: hadoop fs -put

Beispiel:

Hadoop fs -put /usr/wisedu/temp/test1.txt /

Dateien aus der Standardeingabe lesen: hadoop fs -put -/in/myword

• cp Dateien im System kopieren

Verwendung: hadoopfs -cp URI [URI …]

Dateien kopieren von Quellpfad zum Zielpfad. Dieser Befehl ermöglicht mehrere Quellpfade. In diesem Fall muss der Zielpfad ein Verzeichnis sein.

Beispiel:

hadoop fs -cp /in/myword/word

• copyFromLocal Lokale Dateien nach hdfs kopieren

Verwendung: hadoop fs-copyFromLocal URI

Ähnlich dem Befehl put, außer dass der Quellpfad auf eine lokale Datei beschränkt ist

• get Dateien in das lokale System kopieren

Verwendung: hadoop fs -get[-ignorecrc] [-crc]

Dateien in das lokale Dateisystem kopieren. Dateien, die die CRC-Prüfung nicht bestanden haben, können mit der Option -ignorecrc kopiert werden. Verwenden Sie die Option -crc, um die Datei zusammen mit den CRC-Informationen zu kopieren.

Beispiel: hadoop fs -get/word /usr/wisedu/temp/word.txt

• copyToLocal Dateien auf das lokale System kopieren

Verwendung: hadoop fs-copyToLocal [-ignorecrc] [-crc] URI

Ähnlich dem get-Befehl, außer dass der Zielpfad auf eine lokale Datei beschränkt ist.

Beispiel: hadoop fs - copyToLocal/word /usr/wisedu/temp/word.txt

• mv

Dateien vom Quellpfad in den Zielpfad verschieben. Dieser Befehl ermöglicht mehrere Quellpfade. In diesem Fall muss der Zielpfad ein Verzeichnis sein. Das Verschieben von Dateien zwischen verschiedenen Dateisystemen ist nicht zulässig.

Verwendung: hadoop fs -mv URI [URI …]

Beispiel: hadoop fs -mv /in/test2.txt /test2.txt

• du Dateigröße anzeigen

Anzeige die Größe aller Dateien im Verzeichnis. O Verwendung: Hadoop FS -DU URI [URI ...]

Beispiel: Hadoop FS -DU /

Zeigt die Größe des aktuellen Verzeichnisses oder Ordners an

touchz Erstellen Sie eine leere Datei

• Verwendung: hadoop fs -touchz URI [URI …]
  Erstellen Sie eine leere Datei mit 0 Bytes

Beispiel: hadoop fs -touchz /empty.txt

chmod ändert Dateiberechtigungen

• Verwendung: hadoop fs -chmod[-R] Ähnlich dem Befehl chmod auf der Linux-Plattform: Dateiberechtigungen ändern. Die Verwendung von -R führt dazu, dass Änderungen rekursiv über die Verzeichnisstruktur vorgenommen werden. Der Benutzer des Befehls muss der Eigentümer der Datei oder der Superuser sein.

  Beispiel: Erstellen Sie zuerst einen normalen Benutzertest: sudo useradd -m test

  und verwenden Sie dann den Benutzer wisedu, um die Datei hello.txt im HDFS-Systemverzeichnis /a zu erstellen. Zu diesem Zeitpunkt hat test die Berechtigung, / zu lesen. a/hello.txt-Datei. Wie unten gezeigt:

  切 wechselt zurück zum WISEDU-Benutzer, um die Dateiberechtigungen zu ändern, sodass die Dateien im /A-Verzeichnis für andere Benutzer nicht lesbar sind, Befehl: Hadoop FS -CHMOD - R O -R /A wie in der Abbildung unten gezeigt, dann zurück wechseln, um zurückzukommen, und dann zurück wechseln, um zurückzukommen. Wenn der Testbenutzer die Datei /a/hello.txt anzeigt, wird er darauf hingewiesen, dass keine Berechtigung vorliegt:

  chown Ändern Sie den Dateieigentümer
  Verwendung: hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI]

  Ändern Sie den Eigentümer der Datei. Die Verwendung von -R führt dazu, dass Änderungen rekursiv über die Verzeichnisstruktur vorgenommen werden. Der Benutzer des Befehls muss ein Superuser sein.

  Beispiel: hadoop fs -chown -R test /a Wie unten gezeigt:

  chgrp Ändern Sie die Gruppe, in der sich die Datei befindet
  Verwendung: hadoop fs -chgrp [-R] GRUPPEN-URI [URI …]

  Ändern Sie die Gruppe, zu der die Datei gehört. Die Verwendung von -R führt dazu, dass Änderungen rekursiv über die Verzeichnisstruktur vorgenommen werden. Der Benutzer des Befehls muss der Eigentümer der Datei oder der Superuser sein.

  Beispiel: hadoop fs -chgrp -R test /a Wie unten gezeigt:

  2. hdfs dfsadmin-Verwaltungsbefehl

  1) -report

  Zeigen Sie die grundlegenden Informationen und statistischen Informationen des Dateisystems an.

  Beispiel: hdfs dfsadmin -report

  2) -safemode

  enter |. Der abgesicherte Modus ist ein Zustand des NameNode, in dem der NameNode keine Änderungen am Namespace akzeptiert (schreibgeschützt); Blöcke werden nicht kopiert oder gelöscht. NameNode wechselt beim Start automatisch in den abgesicherten Modus. Wenn der Mindestprozentsatz an Konfigurationsblöcken die Mindestanzahl an Replikaten erreicht, wird der abgesicherte Modus automatisch verlassen. „Eintreten“ bedeutet „eintreten“ und „verlassen“ bedeutet „gehen“.

  Beispiel: hdfs dfsadmin -safemode get

  hdfsdfsadmin -safemode enter

  3) -refreshNodes

  Hosts erneut lesen und Dateien ausschließen, damit neue Knoten oder Knoten, die den Cluster verlassen müssen, von NameNode erneut identifiziert werden können. Dieser Befehl wird beim Hinzufügen eines Knotens oder beim Abmelden eines Knotens verwendet.

  Beispiel: hdfs dfsadmin -refreshNodes

  4) -finalizeUpgrade

  Endgültiger HDFS-Upgrade-Vorgang. Der DataNode löscht das Arbeitsverzeichnis der vorherigen Version und der NameNode macht danach dasselbe.

  5) -upgradeProgress

  Details |. erzwingen: Details zum Upgrade-Status | hadoop.log.dir In der Datei im durch das Attribut angegebenen Verzeichnis.

  7) -setQuota......

  Kontingent für jedes Verzeichnis festlegen. Das Verzeichniskontingent ist eine lange Ganzzahl, die die Festlegung der Anzahl der Namen im Verzeichnisbaum erzwingt.

  8) -clrQuota…

  Kontingenteinstellungen für jedes Verzeichnis löschen.

  9) -Hilfe

  Hilfeinformationen anzeigen

  Weitere Informationen zu diesem Thema finden Sie in der Spalte „FAQ“!

Das obige ist der detaillierte Inhalt vonWas ist der HDFS-Befehl?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!