리눅스에 하둡을 설치하는 방법

1: JDK 설치

1. 다음 명령을 실행하여 JDK1.8 설치 패키지를 다운로드합니다.

wget --no-check-certificate https://repo.huaweicloud.com/java/jdk/8u151-b12/jdk-8u151-linux-x64.tar.gz

2. 다운로드한 JDK1.8 설치 패키지의 압축을 풀려면 다음 명령을 실행하세요.

tar -zxvf jdk-8u151-linux-x64.tar.gz

3. JDK 패키지를 이동하고 이름을 바꿉니다.

mv jdk1.8.0_151/ /usr/java8

4. Java 환경 변수를 구성합니다.

echo 'export JAVA_HOME=/usr/java8' >> /etc/profile
echo 'export PATH=$PATH:$JAVA_HOME/bin' >> /etc/profile
source /etc/profile

5. Java가 성공적으로 설치되었는지 확인하세요.

java -version

두 가지: Hadoop 설치

참고: Hadoop 설치 패키지를 다운로드하려면 Huawei 소스(속도는 중간, 허용 가능, 초점은 정식 버전에 있음), Tsinghua 소스(버전 3.0의 다운로드 속도)를 선택할 수 있습니다. .0이상은 너무 느리고 버전도 적음) , 북경외국어대학교 소스(다운로드 속도는 빠르지만 상대적으로 버전이 적음) - 직접 테스트해봤습니다

1. 다음 명령어를 실행하여 Hadoop 설치 패키지를 다운로드합니다. .

wget --no-check-certificate https://repo.huaweicloud.com/apache/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz

2. 다음 명령을 실행하여 Hadoop 설치 패키지의 압축을 /opt/hadoop에 푼다.

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/
mv /opt/hadoop-3.1.3 /opt/hadoop

3. 다음 명령을 실행하여 Hadoop 환경 변수를 구성합니다.

echo 'export HADOOP_HOME=/opt/hadoop/' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/bin' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/sbin' >> /etc/profile
source /etc/profile

4. 다음 명령을 실행하여 구성 파일 Yarn-env.sh 및 hadoop-env.sh를 수정합니다.

echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/yarn-env.sh
echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/hadoop-env.sh

5. 다음 명령을 실행하여 Hadoop이 성공적으로 설치되었는지 테스트합니다.

hadoop version

버전 정보가 반환되면 설치가 성공한 것입니다.

3: Hadoop 구성

1. Hadoop 구성 파일 core-site.xml을 수정합니다.

a. 다음 명령을 실행하여 편집 페이지로 들어갑니다. a. 执行以下命令开始进入编辑页面。

vim /opt/hadoop/etc/hadoop/core-site.xml

b. 输入i进入编辑模式。c. 在<configuration></configuration>节点内插入如下内容。

 <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/opt/hadoop/tmp</value>
        <description>location to store temporary files</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>

d. 按Esc键退出编辑模式，输入:wq保存退出。

2. 修改Hadoop配置文件 hdfs-site.xml。

a. 执行以下命令开始进入编辑页面。

vim /opt/hadoop/etc/hadoop/hdfs-site.xml

b. 输入i进入编辑模式。c. 在<configuration></configuration>节点内插入如下内容。

 <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/opt/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/opt/hadoop/tmp/dfs/data</value>
    </property>

d. 按Esc键退出编辑模式，输入:wq保存退出。

四：配置SSH免密登录

1. 执行以下命令，创建公钥和私钥。

ssh-keygen -t rsa

2. 执行以下命令，将公钥添加到authorized_keys文件中。

cd ~
cd .ssh
cat id_rsa.pub >> authorized_keys

若报错，执行下面操作后重新执行上面两句命令；若没有报错直接进入第五步：

输入如下命令，在环境变量中添加下面的配置

vi /etc/profile

然后向里面加入如下的内容

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

输入如下命令使改动生效

source /etc/profile

b. 편집 모드로 들어가려면 i를 입력하세요. c. <configuration></configuration> 노드에 다음 내용을 삽입합니다.

hadoop namenode -format

d. 편집 모드를 종료하려면 Esc 키를 누르고, 저장하고 종료하려면 wq를 입력하세요.

2. Hadoop 구성 파일 hdfs-site.xml을 수정합니다.

a. 다음 명령을 실행하여 편집 페이지로 들어갑니다.

start-dfs.sh

b. 편집 모드로 들어가려면 i를 입력하세요. c. <configuration></configuration> 노드에 다음 내용을 삽입합니다.

start-yarn.sh

d. 편집 모드를 종료하려면 Esc 키를 누르고, 저장하고 종료하려면 wq를 입력하세요.

4: SSH 비밀번호 없는 로그인 구성

1. 다음 명령을 실행하여 공개 키와 개인 키를 생성합니다.

jps

2. 다음 명령을 실행하여 Authorized_keys 파일에 공개 키를 추가합니다.

rrreee오류가 보고되면 다음 작업을 수행한 후 위의 두 명령을 다시 실행하고, 오류가 보고되지 않으면 바로 5단계로 이동합니다.

다음 명령을 입력하고 다음을 추가합니다. 환경 변수에 대한 구성
rrreee

그런 다음 여기에 다음 콘텐츠를 추가하세요

rrreee변경 사항을 적용하려면 다음 명령을 입력하세요rrreeeFive : Hadoop 시작

1.

다음 명령을 실행하여 namenode를 초기화합니다.

rrreee

🎜2.🎜🎜다음 명령을 순서대로 실행하여 Hadoop을 시작합니다. 🎜🎜rrreee🎜Y/N을 선택한 경우 Y를 선택하고, 그렇지 않으면 Enter를 직접 누르세요🎜rrreee🎜🎜3.🎜🎜성공적으로 시작된 후 다음 명령을 실행하여 성공적으로 시작된 프로세스를 확인하세요. 🎜🎜rrreee🎜🎜🎜🎜일반적으로 6개의 프로세스가 있습니다. 🎜🎜🎜🎜4.🎜🎜브라우저를 열고 http://:8088 및 http://:50070. 다음 인터페이스가 표시되면 Hadoop 의사 분산 환경이 완료된 것입니다. 🎜🎜🎜🎜🎜🎜🎜🎜

위 내용은 리눅스에 하둡을 설치하는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!