Centos에서 HDFS 파일 시스템을 사용하기위한 팁

CentOS 시스템 하에서 HDFS 파일 시스템의 설치, 구성 및 최적화 안내서

이 기사에서는 CentOS 시스템에 HDFS (Hadoop Distributed File System)를 설치, 구성 및 최적화하는 방법을 안내합니다.

HDFS 설치 및 구성

1. 자바 환경 설치 :

   먼저 적절한 Java 환경이 설치되어 있는지 확인하십시오. /etc/profile 파일을 편집하고 다음을 추가하고 /usr/lib/java-1.8.0/jdk1.8.0_144 실제 Java 설치 경로로 바꾸십시오.

    java_home =/usr/lib/java-1.8.0/jdk1.8.0_144 내보내기
   내보내기 경로 = $ java_home/bin : $ 경로
   Export ClassPath = $ java_home/jre/lib/ext : $ java_home/lib/tools.jar
   소스 /etc /프로필

2. Hadoop 환경 변수 구성 :

   /etc/profile 파일을 편집하고 Hadoop 환경 변수를 추가하십시오. /opt/hadoop/hadoop-2.8.1 Hadoop 설치 경로로 바꾸십시오.

    Hadoop_home =/opt/hadoop/hadoop-2.8.1 내보내기
   내보내기 경로 = $ hadoop_home/bin : $ 경로
   Export ClassPath = $ hadoop_home/lib/*
   소스 /etc /프로필

3. SSH 비밀번호가없는 로그인 구성 :

   Hadoop 노드 간의 통신을 용이하게하려면 SSH 비밀번호가없는 로그인을 구성하는 것이 중요합니다. 다음 명령을 실행하십시오.

    ssh -keygen -t rsa
   ssh-copy-id localhost

4. Namenode 형식 :

   HDFS를 처음으로 구성 할 때는 Namenode가 형식화되어야합니다.

    HDFS NAMENODE -FORMAT

5. HDFS 스타트 업 :

   HDFS 서비스 시작 :

    $ hadoop_home/sbin/start-dfs.sh

6. HDFS 웹 인터페이스 액세스 :

   브라우저를 통해 Namenode의 웹 인터페이스에 액세스하십시오 (교체<namenode-ip></namenode-ip> Namenode의 IP 주소로 교체) :

    <code>http://<namenode-ip> :50070</namenode-ip></code>

고급 구성 및 최적화

1. HDFS 고 가용성 (HA) :

   고 가용성을 구성하려면 2 개의 나 메노 드 (1 개의 활성 및 1 개의 수동적)와 3 개의 저널 노드가 필요합니다. hdfs-site.xml 파일을 편집하고 다음 구성을 추가하십시오 (실제 노드 정보로 바꾸십시오).

   <property>
     <name>dfs.nameservices</name>
     <value>MyCluster</value>
   </property>
   <property>
     <name>dfs.ha.namenodes.mycluster</name>
     <value>NN1, NN2</value>
   </property>
   <property>
     <name>dfs.namenode.rpc-address.mycluster.nn1</name>
     <value>Namenode1 : 8020</value>
   </property>
   <property>
     <name>dfs.namenode.rpc-address.mycluster.nn2</name>
     <value>Namenode2 : 8020</value>
   </property>
   <property>
     <name>dfs.namenode.http-address.mycluster.nn1</name>
     <value>Namenode1 : 50070</value>
   </property>
   <property>
     <name>dfs.namenode.http-address.mycluster.nn2</name>
     <value>Namenode2 : 50070</value>
   </property>
   <property>
     <name>dfs.namenode.shared.edits.dir</name>
     <value>Qjournal : // Journalnode1 : 8485; Journalnode2 : 8485; Journalnode3 : 8485/MyCluster</value>
   </property>

2. 성능 튜닝 :

   • NAMENODE 메모리 최적화 : Hadoop 버전에 따르면 hadoop-env.sh (Hadoop 2.x)를 조정하거나 메모리 자동 할당 기능 (Hadoop 3.x)을 사용하여 나 메노 노드 메모리를 최적화하십시오. jmap -heap 명령을 사용하여 메모리 사용을 모니터링하십시오.
   • 하트 비트 동시성 최적화 : hdfs-site.xml 편집하고 dfs.namenode.handler.count 의 값을 늘리십시오. 동시 처리 기능을 향상시킵니다.
   • HDFS 재활용 빈 : core-site.xml 에서 fs.trash.interval 및 fs.trash.checkpoint.interval 수정하여 재활용 빈을 활성화하십시오.
   • 멀티 디렉토리 구성 : hdfs-site.xml 의 dfs.namenode.name.dir 및 dfs.datanode.data.dir 를 수정하여 데이터 안정성 및 성능을 향상시키기 위해 여러 디렉토리를 구성합니다.

위의 단계를 통해 CentOS 시스템에 HDFS 파일 시스템을 효과적으로 설치, 구성 및 최적화 할 수 있습니다. 실제 환경에 따라 경로와 IP 주소를 조정해야합니다.

위 내용은 Centos에서 HDFS 파일 시스템을 사용하기위한 팁의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!