qu'est-ce que la commande hdfs

La commande hdfs fait référence à la commande du système Hadoop hdfs. Ses commandes courantes incluent : 1. commande ls ; 2. commande mkdir ; 4. commande rm ; commande copyFromLocal ; 8. commande get ; 9. commande copyToLocal ;

L'environnement d'exploitation de ce tutoriel : système linux5.9.8, ordinateur Dell G3.

Qu'est-ce que la commande hdfs ?

fait référence à la commande du système Hadoop hdfs.

Pour faire fonctionner le système hdfs, vous pouvez utiliser hadoop fs ou hdfs dfs, qui ont tous deux le même effet. (la commande hadoop dfs n'est plus recommandée)

Quelques commandes courantes du système Hadoop hdfs

1. opération de fichier hadoop fs (hdfs dfs) ​​

• ls affiche tous les fichiers ou dossiers du répertoire

Utilisation : hadoop fs -ls [répertoire du formulaire uri]

Exemple : hadoop fs –ls / Afficher tous les fichiers et répertoires du répertoire racine

Vous pouvez ajouter l'option -R pour afficher tous les fichiers du répertoire

Exemple : hadoop fs -ls -R /

• cat Afficher le contenu du fichier

Utilisation : hadoop fs -cat URI [URI …]

Exemple : hadoop fs -cat /in/test2.txt

• mkdir Créer répertoire

Utilisation : hadoop fs -mkdir [répertoire du formulaire uri]

Exemple : hadoop fs –mkdir /test

Créer un répertoire multi-niveaux plus –p

Exemple : hadoop fs –mkdir -p /a/ b /c

• rm Supprimer un répertoire ou un fichier

Utilisation : hadoop fs -rm [chemin du fichier] Supprimer le dossier plus -r

Exemple : hadoop fs -rm /test1.txt

delete Ajouter - r dans le dossier,

Exemple : hadoop fs -rm -r /test

• put Copiez le fichier

Copiez le fichier sur le système hdfs ou lisez-le à partir de l'entrée standard Obtenez le fichier, le dst à ce moment est un fichier

Utilisation : hadoop fs -put ...

Exemple :

Hadoop fs -put /usr/wisedu/temp/test1.txt /

Lire les fichiers à partir de l'entrée standard : hadoop fs -put -/in/myword

• cp Copier les fichiers dans le système

Utilisation : hadoopfs -cp URI [URI …]

Copier les fichiers depuis chemin source vers chemin de destination. Cette commande autorise plusieurs chemins sources, auquel cas le chemin cible doit être un répertoire.

Exemple :

hadoop fs -cp /in/myword/word

• copyFromLocal Copier les fichiers locaux sur hdfs

Utilisation : hadoop fs-copyFromLocal

get Copier les fichiers sur le système local
Utilisation : hadoop fs -get[-ignorecrc] [-crc]

Copier les fichiers sur le système de fichiers local. Les fichiers qui ont échoué à la vérification CRC peuvent être copiés à l'aide de l'option -ignorecrc. Utilisez l'option -crc pour copier le fichier avec les informations CRC.

Exemple : hadoop fs -get/word /usr/wisedu/temp/word.txt

copyToLocal Copier les fichiers sur le système local
Utilisation : hadoop fs-copyToLocal [-ignorecrc] [-crc] URI

Similaire à la commande get sauf que le chemin cible est limité à un fichier local.

Exemple : hadoop fs - copyToLocal/word /usr/wisedu/temp/word.txt

mv
Déplacez les fichiers du chemin source vers le chemin de destination. Cette commande autorise plusieurs chemins sources, auquel cas le chemin cible doit être un répertoire. Le déplacement de fichiers entre différents systèmes de fichiers n'est pas autorisé.

Utilisation : hadoop fs -mv URI [URI …]

Exemple : hadoop fs -mv /in/test2.txt /test2.txt

du Afficher la taille du fichier
Afficher la taille de tous les fichiers du répertoire. O Comment utiliser : Hadoop FS -DU URI [URI ...]

Exemple : Hadoop FS -DU /

Afficher la taille du répertoire ou du dossier actuel

touchz Créer un fichier vide

.

Utilisation : hadoop fs -touchz URI [URI …]

• Créer un fichier vide de 0 octets
  Exemple : hadoop fs -touchz /empty.txt

chmod modifie les autorisations du fichier

Utilisation : hadoop fs -chmod[-R] URI [URI …]

• Similaire à la commande chmod sur la plateforme Linux, modifiez les autorisations de fichier. L'utilisation de -R entraînera des modifications récursives dans la structure des répertoires. L'utilisateur de la commande doit être le propriétaire du fichier ou le superutilisateur.

  Exemple : créez d'abord un test utilisateur normal : sudo useradd -m test

  , puis utilisez l'utilisateur wisedu pour créer le fichier hello.txt dans le répertoire système hdfs /a. À ce stade, test a l'autorisation de lire le /a. a/hello.txt fichier. Comme indiqué ci-dessous :

  切 revient à l'utilisateur WISEDU pour modifier les autorisations de fichier, afin que les fichiers du répertoire /A ne soient pas lisibles par les autres utilisateurs, commande : Hadoop FS -CHMOD - R O -R /A comme indiqué dans la figure ci-dessous, puis revenez en arrière, puis revenez en arrière. Lorsque l'utilisateur test consulte le fichier /a/hello.txt, il indique qu'il n'y a aucune autorisation :

  chown Changer le propriétaire du fichier
  Utilisation : hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI]

  Changer le propriétaire du fichier. L'utilisation de -R entraînera des modifications récursives dans la structure des répertoires. L'utilisateur de la commande doit être un superutilisateur.

  Exemple : hadoop fs -chown -R test /a Comme indiqué ci-dessous :

  chgrp Changez le groupe où se trouve le fichier
  Utilisation : hadoop fs -chgrp [-R] GROUP URI [URI …]

  Modifiez le groupe auquel appartient le fichier. L'utilisation de -R entraînera des modifications récursives dans la structure des répertoires. L'utilisateur de la commande doit être le propriétaire du fichier ou le superutilisateur.

  Exemple : hadoop fs -chgrp -R test /a Comme indiqué ci-dessous :

  2. Commande de gestion hdfs dfsadmin

  1) -report

  Affichez les informations de base et les informations statistiques du système de fichiers.

  Exemple : hdfs dfsadmin -report

  2) -safemode

  enter | Leave get | Le mode sans échec est un état du NameNode dans lequel le NameNode n'accepte pas les modifications apportées à l'espace de noms (les blocs en lecture seule ne sont ni copiés ni supprimés) ; NameNode entre automatiquement en mode sans échec au démarrage. Lorsque le pourcentage minimum de blocs de configuration atteint le nombre minimum de répliques, il quitte automatiquement le mode sans échec. Entrer signifie entrer et sortir signifie sortir.

  Exemple : hdfs dfsadmin -safemode get

  hdfsdfsadmin -safemode enter

  3) -refreshNodes

  Relisez les hôtes et excluez les fichiers afin que les nouveaux nœuds ou nœuds qui doivent quitter le cluster puissent être ré-identifiés par NameNode. Cette commande est utilisée lors de l'ajout d'un nœud ou de la désinscription d'un nœud.

  Exemple : hdfs dfsadmin -refreshNodes

  4) -finalizeUpgrade

  Opération finale de mise à niveau de HDFS. Le DataNode supprime le répertoire de travail de la version précédente, et le NameNode fait de même par la suite.

  5) -upgradeProgress

  Détails de l'état | forcer : demander l'état de la mise à niveau du système actuel | Détails de l'état de la mise à niveau | Forcer l'opération de mise à niveau

  6) -nom de fichier métasave

  Enregistrer la structure de données principale du NameNode dans hadoop.log.dir Dans le fichier dans le répertoire spécifié par l'attribut.

  7) -setQuota......

  Définissez le quota pour chaque répertoire . Le quota de répertoire est un entier long qui force la définition du nombre de noms dans l'arborescence de répertoires.

  8) -clrQuota…

  Effacer les paramètres de quota pour chaque répertoire .

  9) -help

  Afficher les informations d'aide

  Pour plus de connaissances connexes, veuillez visiter la colonne

  FAQ

   !

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!