首页 常见问题 hdfs命令是什么

hdfs命令是什么

Mar 14, 2023 pm 03:51 PM
hdfs

hdfs命令是指Hadoop hdfs系统的命令,其常用命令包括:1、ls命令;2、cat命令;3、mkdir命令;4、rm命令;5、put命令;6、cp命令;7、copyFromLocal命令;8、get命令;9、copyToLocal命令;10、mv命令等。

hdfs命令是什么

本教程操作环境:linux5.9.8系统、Dell G3电脑。

hdfs命令是什么?

指Hadoop hdfs系统的命令。

操作hdfs系统可以使用hadoop fs 也可以使用 hdfs dfs ,两者效果一样。(hadoop dfs命令已不再建议使用)

Hadoop hdfs系统的一些常用命令

一、hadoop fs (hdfs dfs)  文件操作

  • ls 显示目录下的所有文件或者文件夹

使用方法: hadoop fs -ls [uri形式目录]

示例: hadoop fs –ls /    显示根目录下的所有文件和目录

显示目录下的所有文件可以加 -R 选项

示例: hadoop fs -ls -R /

  • cat 查看文件内容

使用方法:hadoop fs -cat URI [URI …]

示例: hadoop fs -cat /in/test2.txt

  • mkdir 创建目录

使用方法:hadoop fs -mkdir [uri形式目录] 

示例: hadoop fs –mkdir /test

创建多级目录 加上 –p 

示例: hadoop fs –mkdir -p /a/b/c

  • rm 删除目录或者文件

使用方法:hadoop fs -rm [文件路径]   删除文件夹加上 -r

示例: hadoop fs -rm /test1.txt

 

删除文件夹加上 -r,

示例:hadoop fs -rm -r /test

 

 

  • put 复制文件

将文件复制到hdfs系统中,也可以是从标准输入中读取文件,此时的dst是一个文件

    使用方法: hadoop fs -put ...

示例:

Hadoop fs -put /usr/wisedu/temp/test1.txt /

从标准输入中读取文件:hadoop fs -put -/in/myword

  • cp 复制系统内文件

    使用方法:hadoopfs -cp URI [URI …]

将文件从源路径复制到目标路径。这个命令允许有多个源路径,此时目标路径必须是一个目录。 

    示例:

hadoop fs -cp /in/myword/word
登录后复制

 

  • copyFromLocal 复制本地文件到hdfs

使用方法:hadoop fs-copyFromLocal URI

除了限定源路径是一个本地文件外,和put命令相似

  • get 复制文件到本地系统

使用方法:hadoop fs -get[-ignorecrc] [-crc]  

复制文件到本地文件系统。可用-ignorecrc选项复制CRC校验失败的文件。使用-crc选项复制文件以及CRC信息。

示例:hadoop fs -get/word /usr/wisedu/temp/word.txt

  • copyToLocal 复制 文件到本地系统

使用方法:hadoop fs-copyToLocal [-ignorecrc] [-crc] URI

除了限定目标路径是一个本地文件外,和get命令类似。

示例:hadoop fs - copyToLocal/word /usr/wisedu/temp/word.txt

  • mv

将文件从源路径移动到目标路径。这个命令允许有多个源路径,此时目标路径必须是一个目录。不允许在不同的文件系统间移动文件。

使用方法:hadoop fs -mv URI [URI …]

示例:hadoop fs -mv /in/test2.txt /test2.txt

 

  • du 显示文件大小

显示目录中所有文件的大小。

使用方法:hadoop fs -du URI [URI …]

示例: hadoop fs -du /

       显示当前目录或者文件夹的大小可加选项 -s

        示例: hadoop fs -du -s /

 

 

  • touchz  创建空文件

  使用方法:hadoop fs -touchz URI [URI …] 

创建一个0字节的空文件

示例:hadoop fs -touchz /empty.txt

  • chmod 改变文件权限

使用方法:hadoop fs -chmod[-R] URI [URI …]

与Linux平台下chmod命令相似,改变文件的权限。使用-R将使改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者超级用户。

示例:先创建一个普通用户test:sudo useradd -m test

      再用wisedu用户在hdfs系统目录/a下创建hello.txt文件,此时test具有读取/a/hello.txt文件的权限,如下图:

     

      在切换回wisedu用户修改文件的权限,让/a目录下的文件对于其他用户都不可读,命令: hadoop fs -chmod -R o-r /a  如下图所示,再切换回test用户查看/a/hello.txt文件时提示没有权限:

 

  • chown 改变文件所有者

使用方法:hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI]

改变文件的拥有者。使用-R将使改变在目录结构下递归进行。命令的使用者必须是超级用户。

示例:hadoop fs -chown -R test /a  如下图:

 

  • chgrp 改变文件所在组

使用方法:hadoop fs -chgrp [-R] GROUP URI [URI …]

改变文件所属的组。使用-R将使改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者超级用户。

示例:hadoop fs -chgrp -R test /a  如下图:

二、hdfs dfsadmin 管理命令

1) -report

查看文件系统的基本信息和统计信息。

示例:hdfs dfsadmin -report

2) -safemode

enter | leave | get | wait:安全模式命令。安全模式是NameNode的一种状态,在这种状态下,NameNode不接受对名字空间的更改(只读);不复制或删除块。NameNode在启动时自动进入安全模式,当配置块的最小百分数满足最小副本数的条件时,会自动离开安全模式。enter是进入,leave是离开。

示例:hdfs dfsadmin -safemode get

     hdfsdfsadmin -safemode enter

3)  -refreshNodes

重新读取hosts和exclude文件,使新的节点或需要退出集群的节点能够被NameNode重新识别。这个命令在新增节点或注销节点时用到。

示例:hdfs dfsadmin -refreshNodes

4) -finalizeUpgrade

终结HDFS的升级操作。DataNode删除前一个版本的工作目录,之后NameNode也这样做。

5) -upgradeProgress

    status| details | force:请求当前系统的升级状态 | 升级状态的细节| 强制升级操作

6) -metasave filename

 保存NameNode的主要数据结构到hadoop.log.dir属性指定的目录下的文件中。

7) -setQuota……

 为每个目录设定配额。目录配额是一个长整形整数,强制设定目录树下的名字个数。

8) -clrQuota……

为每个目录清除配额设定。

9) -help

    显示帮助信息

更多相关知识,请访问常见问题栏目!

以上是hdfs命令是什么的详细内容。更多信息请关注PHP中文网其他相关文章!

本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

AI Hentai Generator

AI Hentai Generator

免费生成ai无尽的。

热工具

记事本++7.3.1

记事本++7.3.1

好用且免费的代码编辑器

SublimeText3汉化版

SublimeText3汉化版

中文版,非常好用

禅工作室 13.0.1

禅工作室 13.0.1

功能强大的PHP集成开发环境

Dreamweaver CS6

Dreamweaver CS6

视觉化网页开发工具

SublimeText3 Mac版

SublimeText3 Mac版

神级代码编辑软件(SublimeText3)