CentOS에 Apache Hadoop을 설치하세요!

소개	Apache Hadoop 소프트웨어 라이브러리는 간단한 프로그래밍 모델을 사용하여 컴퓨터 클러스터에서 대규모 데이터 세트를 분산 처리할 수 있는 프레임워크입니다. Apache™ Hadoop®은 안정적이고 확장 가능한 분산 컴퓨팅을 위한 오픈 소스 소프트웨어입니다.

이 프로젝트에는 다음 모듈이 포함됩니다:

• Hadoop 공통: 다른 Hadoop 모듈을 지원하는 공통 도구입니다.
• Hadoop 분산 파일 시스템(HDFS™): 애플리케이션 데이터에 대한 높은 처리량 액세스 지원을 제공하는 분산 파일 시스템입니다.
• Hadoop YARN: 작업 예약 및 클러스터 리소스 관리 프레임워크.
• Hadoop MapReduce: 대규모 데이터 세트를 위한 YARN 기반 병렬 처리 시스템입니다.

이 문서는 CentOS에 hadoop을 단계별로 설치하고 단일 노드 hadoop 클러스터를 구성하는 데 도움이 됩니다.

자바 설치

hadoop을 설치하기 전에 시스템에 Java가 설치되어 있는지 확인하세요. 설치된 Java 버전을 확인하려면 이 명령을 사용하십시오.

으아아아

Java를 설치하거나 업데이트하려면 아래의 단계별 지침을 따르세요.

첫 번째 단계는 Oracle 공식 웹사이트에서 최신 버전의 Java를 다운로드하는 것입니다.

으아아아

대안으로 최신 버전의 Java를 사용하려면 설정이 필요합니다. 이를 수행하려면 다음 명령을 사용하십시오.

으아아아

이제 javac 및 jar 명령 경로를 설정하려면 Alternatives 명령을 사용해야 할 수도 있습니다.

으아아아

다음 단계는 환경 변수를 구성하는 것입니다. 이러한 변수를 올바르게 설정하려면 다음 명령을 사용하십시오.

JAVA_HOME 변수 설정:

으아아아

JRE_HOME 변수 설정:

으아아아

PATH 변수 설정:

으아아아 아파치 하둡 설치

Java 환경 설정 후. Apache Hadoop 설치를 시작합니다.

첫 번째 단계는 hadoop 설치를 위한 시스템 사용자 계정을 만드는 것입니다.

으아아아

이제 사용자 hadoop에 대한 SSH 키를 구성해야 합니다. 비밀번호 없는 SSH 로그인을 활성화하려면 다음 명령을 사용하십시오.

으아아아

지금 공식 웹사이트 hadoop.apache.org에서 사용 가능한 최신 버전의 hadoop을 다운로드하세요.

으아아아

다음 단계는 hadoop에서 사용하는 환경 변수를 설정하는 것입니다.

~/.bashrc를 편집하고 파일 끝에 다음 값을 추가하세요.

으아아아

현재 실행 환경에 변경 사항을 적용합니다.

으아아아

$HADOOP_HOME/etc/hadoop/hadoop-env.sh를 편집하고 JAVA_HOME 환경 변수를 설정합니다.

으아아아

이제 기본 hadoop 단일 노드 클러스터 구성부터 시작해 보겠습니다.

먼저 hadoop 구성 파일을 편집하고 다음과 같이 변경합니다.

으아아아

core-site.xml을 편집해 보겠습니다.

으아아아

그런 다음 hdfs-site.xml을 편집하세요:

으아아아

mapred-site.xml을 편집하세요:

으아아아

최종 편집 Yarn-site.xml:

으아아아

이제 다음 명령을 사용하여 네임노드의 형식을 지정하세요.

으아아아

모든 hadoop 서비스를 시작하려면 다음 명령을 사용하십시오.

으아아아

모든 서비스가 정상적으로 시작되는지 확인하려면 jps 명령을 사용하세요.

으아아아

다음과 같은 출력이 표시됩니다.

으아아아

이제 브라우저에서 Hadoop 서비스에 액세스할 수 있습니다: http://your-ip-address:8088/.

하둡

---

위 내용은 CentOS에 Apache Hadoop을 설치하세요!의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!