hdfs 명령이 무엇입니까?-일반적인 문제-php.cn

hdfs 명령이 무엇입니까?

藏色散人

풀어 주다： 2023-03-14 15:51:49

원래의

14168명이 탐색했습니다.

hdfs 명령은 Hadoop hdfs 시스템의 명령을 나타냅니다. 1. ls 명령, 3. rm 명령, 6. cp 명령; copyFromLocal 명령, 8. get 명령, 9. copyToLocal 명령, 등.

hdfs 명령이 무엇입니까?

이 튜토리얼의 운영 환경: linux5.9.8 시스템, Dell G3 컴퓨터.

hdfs 명령이 무엇인가요?

은 Hadoop hdfs 시스템의 명령을 나타냅니다.

hdfs 시스템을 작동하려면 hadoop fs 또는 hdfs dfs를 사용할 수 있으며 둘 다 동일한 효과를 갖습니다. (hadoop dfs 명령은 더 이상 권장되지 않습니다)

Hadoop hdfs 시스템의 일부 일반적인 명령

1. hadoop fs (hdfs dfs) 파일 작업

ls는 디렉터리의 모든 파일 또는 폴더를 표시합니다

사용법: hadoop fs -ls [uri 형식 디렉터리]

예: hadoop fs –ls / 루트 디렉터리의 모든 파일과 디렉터리를 표시합니다.

-R 옵션을 추가하여 디렉터리의 모든 파일을 표시할 수 있습니다

예: hadoop fs -ls -R /

cat 파일 콘텐츠 보기

사용법: hadoop fs -cat URI [URI …]

예: hadoop fs -cat /in/test2.txt

mkdir 만들기 디렉토리

사용법: hadoop fs -mkdir [uri 양식 디렉토리]

예: hadoop fs –mkdir /test

다단계 디렉토리 생성 + –p

예: hadoop fs –mkdir -p /a/ b /c

rm 디렉터리 또는 파일 삭제

사용법: hadoop fs -rm [파일 경로] 폴더 삭제 plus -r

예: hadoop fs -rm /test1.txt

Delete 추가 - r을 폴더에

예: hadoop fs -rm -r /test

put 파일을 복사합니다

파일을 hdfs 시스템에 복사하거나 표준 입력에서 읽습니다. 파일, 이때 dst는 파일입니다

사용법: hadoop fs -put ...

예:

Hadoop fs -put /usr/wisedu/temp/test1.txt /

표준 입력에서 파일 읽기: hadoop fs -put -/in/myword

cp 시스템에서 파일 복사

사용법: hadoopfs -cp URI [URI …]

다음에서 파일 복사 소스 경로에서 대상 경로로. 이 명령은 여러 소스 경로를 허용하며, 이 경우 대상 경로는 디렉터리여야 합니다.

예:

hadoop fs -cp /in/myword/word

로그인 후 복사

copyFromLocal 로컬 파일을 hdfs

사용법: hadoop fs-copyFromLocal URI

소스 경로가 로컬 파일로 제한된다는 점을 제외하면 put 명령과 유사합니다.

get 로컬 시스템에 파일 복사

사용법: hadoop fs -get[-ignorecrc] [-crc] CRC 검사에 실패한 파일은 -ignorecrc 옵션을 사용하여 복사할 수 있습니다. -crc 옵션을 사용하여 CRC 정보와 함께 파일을 복사합니다.

예: hadoop fs -get/word /usr/wisedu/temp/word.txt

대상 경로가 로컬 파일로 제한된다는 점을 제외하면 get 명령과 유사합니다.

예: hadoop fs - copyToLocal/word /usr/wisedu/temp/word.txt

사용법: hadoop fs -mv URI [URI …]

예: hadoop fs -mv /in/test2.txt /test2.txt

예: Hadoop FS -DU /

현재 디렉터리 또는 폴더의 크기를 표시합니다.

touchz 빈 파일을 만듭니다

사용법: hadoop fs -touchz URI [URI …]

0바이트의 빈 파일 만들기
예: hadoop fs -touchz /empty.txt

chmod 변경 파일 권한

사용법: hadoop fs -chmod[-R] URI [URI …]

Linux 플랫폼의 chmod 명령과 유사합니다. 파일 권한을 변경합니다. -R을 사용하면 디렉터리 구조를 통해 반복적으로 변경이 이루어집니다. 명령의 사용자는 파일의 소유자이거나 수퍼유저여야 합니다.

예: 먼저 일반 사용자 test:sudo useradd -m test

를 만든 다음wisedu 사용자를 사용하여 hdfs 시스템 디렉터리 /a에 hello.txt 파일을 만듭니다. 이때 test에는 /를 읽을 수 있는 권한이 있습니다. a/hello.txt 파일입니다. 아래와 같이

切은 파일 권한을 수정하기 위해 WISEDU 사용자로 다시 전환하여 /A 디렉터리의 파일을 다른 사용자가 읽을 수 없도록 합니다. 명령: Hadoop FS -CHMOD - R O -R /A 아래 그림과 같이 다시 전환하여 다시 돌아오고, 다시 전환하여 다시 돌아갑니다. 테스트 사용자가 /a/hello.txt 파일을 보면 권한이 없다는 메시지가 표시됩니다.
파일 소유자를 변경합니다. -R을 사용하면 디렉터리 구조를 통해 반복적으로 변경이 이루어집니다. 명령 사용자는 수퍼유저여야 합니다.

예: hadoop fs -chown -R test /a 아래와 같이:
파일이 속한 그룹을 변경합니다. -R을 사용하면 디렉터리 구조를 통해 반복적으로 변경이 이루어집니다. 명령의 사용자는 파일의 소유자이거나 수퍼유저여야 합니다.

예: hadoop fs -chgrp -R test /a 아래와 같습니다.

2.hdfs dfsadmin 관리 명령
1) -report

파일 시스템의 기본 정보 및 통계 정보를 확인합니다.

예: hdfs dfsadmin -report

2) -safemode

enter | 휴가 | 대기: 안전 모드 명령. 안전 모드는 NameNode가 네임스페이스 블록에 대한 변경 사항을 허용하지 않는(읽기 전용) NameNode의 상태입니다. NameNode는 시작 시 자동으로 안전 모드에 진입합니다. 구성 블록의 최소 비율이 최소 복제본 수를 충족하면 자동으로 안전 모드를 종료합니다. Enter는 들어간다는 뜻이고, Leave는 나가라는 뜻이다.

예: hdfs dfsadmin -safemode get

hdfsdfsadmin -safemode enter

3) -refreshNodes

호스트를 다시 읽고 파일을 제외하여 새 노드 또는 클러스터를 종료해야 하는 노드를 NameNode에서 다시 식별할 수 있습니다. 노드를 추가하거나 등록을 취소할 때 사용되는 명령입니다.

예: hdfs dfsadmin -refreshNodes

4) -finalizeUpgrade

최종 HDFS 업그레이드 작업입니다. DataNode는 이전 버전의 작업 디렉터리를 삭제하고 NameNode는 이후에도 동일한 작업을 수행합니다.

5) -upgradeProgress

상태 | 강제: 현재 시스템의 업그레이드 상태 요청 | 업그레이드 작업 강제 실행

6) -metasave 파일 이름

hadoop.log.dir 속성에 의해 지정된 디렉토리의

7) -setQuota......

각 디렉토리 에 대해 할당량을 설정합니다. 디렉터리 할당량은 디렉터리 트리 아래의 이름 수가 설정되도록 하는 긴 정수입니다.

8) -clrQuota…

각 디렉토리 에 대한 할당량 설정을 지웁니다.

9) -help

도움말 정보 표시

관련 지식은
FAQ
칼럼을 통해 확인해주세요!

위 내용은 hdfs 명령이 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!