BigData 빅데이터 운영 및 유지관리

빅데이터 운영 및 유지보수

1.HDFS분산 파일 시스템 운영 및 유지보수

1.in HDFS 루트 디렉터리에 재귀 생성 파일 시스템 디렉토리 "1daoyun/file" , 첨부 파일의 BigDataSkills.txt 파일을 1daoyun/file 디렉토리에 업로드하고 관련 명령을 사용하여 파일을 확인하세요 시스템에서 1daoyun/file 디렉토리의 파일 목록 정보입니다. 2.

HDFS

파일 시스템의 루트 디렉터리에 재귀 디렉터리

"1daoyun/file"

을 만들고 첨부된 BigDataSkills.txt 를 업로드하세요. 파일을 1daoyun/ file 디렉터리를 탐색하고 HDFS File Systemcheck 도구를 사용하여 파일이 손상되었는지 확인하세요. hadoop fs -mkdir -p /1daoyun/filehadoop fs -put BigDataSkills.txt/1daoyun/filehadoop fsck /1daoyun/file/BigDataSkills.txt 3.

HDFS

파일 시스템의 루트 디렉터리에 재귀 디렉터리

"1daoyun/file"

을 만들고 첨부된 BigDataSkills.txt 파일을 다음 위치에 업로드하세요. 1daoyun / 파일 디렉터리, 업로드 프로세스는 HDFS 파일 시스템의 bigdataskills.txt 파일을 2으로 지정하고 FSCK 을 사용합니다. 저장공간 확인 및 보관 블록의 복사본 수.

hadoop fs -mkdir -p /1daoyun/file

hadoop fs -D dfs.replication=2 -put BigDataSkills.txt /1daoyun/file

hadoop fsck /1daoyun/file/BigDataSkills.txt

4.HDFS 파일 시스템의 루트 디렉토리에 /apps 파일 디렉토리가 있습니다. 이 디렉토리의 스냅샷 생성 기능을 활성화하고 스냅샷을 생성해야 합니다. Snapshot 이름은 apps_1daoyun이며, 를 사용하면 관련 명령을 사용하여 스냅샷 파일의 목록 정보를 볼 수 있습니다.

hadoop dfsadmin -allowSnapshot /apps

hadoop fs -createSnapshot /apps apps_1daoyun

hadoop fs -ls /apps/.snapshot

5. 당 하둡 클러스터가 시작되면 먼저 안전 모드로 들어갑니다. 이 모드는 기본적으로 30 초 후에 종료됩니다. 시스템이 안전 모드에 있으면 HDFS 파일 시스템은 읽기만 가능하며 쓰기, 수정, 삭제 등의 작업을 수행할 수 없습니다. 이제 Hadoop 클러스터를 유지 관리해야 한다고 가정합니다. 클러스터를 안전 모드로 전환하고 상태를 확인해야 합니다.

hdfs dfsadmin -safemode enter

hdfs dfsadmin -safemode get

6.운영자가 실수로 파일을 삭제하는 것을 방지하기 위해 HDFS 파일 시스템은 다음 기능을 제공합니다. 하지만 정크 파일이 너무 많으면 저장 공간을 많이 차지하게 됩니다. Xiandian 빅 데이터 플랫폼의 WEB interface이 HDFS 파일 시스템 휴지통에 있는 파일을 완전히 삭제하는 데 필요한 기간은 7 일입니다. Advancedcore-sitefs.trash.interval: 10080

7.운영자가 실수로 파일을 삭제하는 것을 방지하기 위해 HDFS 파일 시스템에서는 휴지통 기능을 제공하지만 정크 파일이 너무 많으면 저장 공간을 많이 차지하게 됩니다. 해당 구성 파일과 매개변수 정보를 수정하고 휴지통 기능을 끄려면 Linux Shell 에서 "vi" 명령을 사용해야 합니다. 완료 후 해당 서비스를 다시 시작하세요. Advancedcore-sitefs.trash.interval: 0vi /etc/hadoop/2.4.3.0-227/0/core-site.xml

                                                                                    

erty>

sbin/stop-dfs.sh

sbin/start-dfs.sh

8.Hadoop 클러스터의 호스트에 가동 중지 시간이 발생하거나

이러한 문제가 발생하면

HDFS

파일 시스템의 데이터 파일이 필연적으로 손상되거나 손실됩니다.

파일의 신뢰성을 보장합니다. 시스템에서는 이제 고급 빅데이터 플랫폼을 사용해야 합니다

WEB

interface

는 클러스터의 중복 복제 계수를 5로 수정합니다. 일반복제 차단5

9.Hadoop 경우에 따라 클러스터의 호스트에 가동 중지 시간이 발생하거나 시스템이 손상될 수 있습니다. 이러한 문제가 발생하면 HDFS 파일 시스템의 데이터 파일이 필연적으로 손상되거나 손상됩니다. 손실이 발생하면 HDFS 파일 시스템의 안정성을 보장하려면 클러스터의 중복 복제 요소를 Linux Shell 에서 사용되는 5, 으로 수정해야 합니다. "vi"명령어를 사용하여 해당 구성 파일 및 매개변수 정보를 수정합니다. 완료 후 해당 서비스를 다시 시작합니다.

또는

vi/etc/hadoop/2.4.3.0-227/0/hdfs-site.xml

>dfs.복제< ;/이름>

                                                                                     | sh --config /usr/hdp/current/hadoop-client/conf 중지 {namenode/datenode}

/usr/ hdp/current/hadoop-client/sbin/hadoop-daemon.sh -- config /usr/hdp/current/hadoop-client/conf start {namenode/datenode}

10.

명령을 사용하여 확인하세요.

hdfs

파일 시스템의

/tmp

디렉토리 수, 파일 수 및 파일의 총 크기

. hadoop fs -count /tmp2.MapREDUCE 사례 질문

1.클러스터 노드 /usr/hdp/2.4.3.0-227/hadoop-mapreduce/ 디렉터리에 JAR 패키지 hadoop이 있습니다. -맵리듀스 -examples.jar. PI 프로그램을 JAR 패키지에서 실행하여 piπ의 대략적인 값을 계산하려면 5번 Map 작업을 실행해야 합니다. The 작업의 던지기 횟수는 5입니다. cd

/usr/hdp/2.4.3.0-227/hadoop-mapreduce/

hadoop jar hadoop-mapreduce-examples-2.7.1.2.4.3.0-227.jar 파이 5 5

2.

클러스터 노드 /usr/hdp/2.4.3.0-227/hadoop-mapreduce/ 디렉토리에 JAR이 있습니다 가방 hadoop-mapreduce-examples.jar. JAR 패키지의 wordcount 프로그램을 실행하여 /1daoyun/file/BigDataSkills.txt 파일에서 단어 계산을 수행하고 연산 결과를 /1daoyun/output 에 출력합니다. Directory 에서는 관련 명령을 사용하여 단어 수 결과를 쿼리합니다. hadoop jar/usr/hdp/2.4.3.0-227/hadoop-mapreduce/hadoop-mapreduce-examples-2.7.1.2.4.3.0-227.jar 단어 수 /1daoyun/file/BigDataSkills.txt /1daoyun/ 출력

3.클러스터 노드 /usr/hdp/2.4.3.0-227/hadoop-mapreduce/ 디렉터리에 JAR 패키지 hadoop이 있습니다. -맵리듀스 -examples.jar. JAR 패키지의 sudoku 프로그램을 실행하여 아래 표의 스도쿠 문제 결과를 계산해 보세요. .

cat puzzle1.dta

hadoop jarhadoop-mapreduce-examples-2.7.1.2.4.3.0-227.jar sudoku /root/puzzle1.dta

4 . 클러스터 노드 /usr/hdp/2.4.3.0-227/hadoop-mapreduce/ 디렉터리에 JAR 패키지 hadoop-mapreduce-examples.jar이 있습니다. . JAR 패키지에서 grep 프로그램을 실행하여 "Hadoop" 이 파일 시스템 /1daoyun/file/BigDataSkills.txt 에 나타나는 횟수를 계산합니다. 는 완료 후 통계결과 정보를 조회해 보세요.

hadoop jarhadoop-mapreduce-examples-2.7.1.2.4.3.0-227.jar grep /1daoyun/file/BigDataSkills.txt /output hadoop

위 내용은 BigData 빅데이터 운영 및 유지관리의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!