리눅스에 하둡을 설치하는 방법

Linux에 Hadoop을 설치하는 방법: 1. SSH 서비스를 설치합니다. 2. 비밀번호 인증 없이 로그인하려면 3. Hadoop 설치 패키지를 다운로드합니다. 5. 다음에서 해당 파일을 구성합니다. 하둡.

이 기사의 운영 환경: ubuntu 16.04 시스템, Hadoop 버전 2.7.1, Dell G3 컴퓨터.

Linux에 hadoop을 설치하는 방법은 무엇입니까?

[빅데이터] Linux에서 Hadoop(2.7.1) 설치 및 WordCount 실행에 대한 자세한 설명

1. 소개

Storm의 환경 구성을 완료한 후 Hadoop 설치를 만져보고 싶은데, 인터넷에 튜토리얼이 많이 있지만 특별히 적합한 것이 없어서 설치 과정에서 여전히 많은 어려움을 겪었습니다. 계속해서 정보를 확인한 후 마침내 문제를 해결했습니다. , 요점을 살펴 보겠습니다.

　이 머신의 구성 환경은 다음과 같습니다.

　Hadoop(2.7.1)

　Ubuntu Linux (64-bit system)

　구성 프로세스는 아래 여러 단계에서 자세히 설명됩니다.

2. SSH 서비스 설치

쉘 명령을 입력하고 다음 명령을 입력하여 SSH 서비스가 설치되어 있는지 확인합니다.

　　sudo apt- get install ssh openssh- serversudo apt-get install ssh openssh-server

　　安装过程还是比较轻松加愉快的。

三、使用ssh进行无密码验证登录

　　1.创建ssh-key，这里我们采用rsa方式，使用如下命令：

　　　　ssh-keygen -t rsa -P ""

　　2.出现一个图形，出现的图形就是密码，不用管它

　　　　cat ~/.ssh/id_rsa.pub >> authorized_keys(好像是可以省略的)

　　3.然后即可无密码验证登录了，如下：

　　　　ssh localhost

　　成功截图如下：

　　　　

四、下载Hadoop安装包

　　下载Hadoop安装也有两种方式

　　　　1.直接上官网进行下载，http://mirrors.hust.edu.cn/apache/hadoop/core/stable/hadoop-2.7.1.tar.gz

　　　　2.使用shell进行下载，命令如下：

　　　　　　wget http://mirrors.hust.edu.cn/apache/hadoop/core/stable/hadoop-2.7.1.tar.gz

　　貌似第二种的方法要快点，经过漫长的等待，终于下载完成。

五、解压缩Hadoop安装包

　　使用如下命令解压缩Hadoop安装包

　　　　tar -zxvf hadoop-2.7.1.tar.gz

　　解压缩完成后出现hadoop2.7.1的文件夹

六、配置Hadoop中相应的文件

　　需要配置的文件如下，hadoop-env.sh，core-site.xml，mapred-site.xml.template，hdfs-site.xml，所有的文件均位于hadoop2.7.1/etc/hadoop下面，具体需要的配置如下：

　　1.core-site.xml 配置如下：　　　　

<configuration>
　　　　　　<property>
　　　　　　　　<name>hadoop.tmp.dir</name>
　　　　　　　　<value>file:/home/leesf/program/hadoop/tmp</value>
　　　　　　　　<description>Abase for other temporary directories.</description>
　　　　　　</property>
　　　　　　<property>
　　　　　　　　<name>fs.defaultFS</name>
　　　　　　　　<value>hdfs://localhost:9000</value>
　　　　　　</property>
　　　　</configuration>

　　其中的hadoop.tmp.dir的路径可以根据自己的习惯进行设置。

　　2.mapred-site.xml.template配置如下：　　　　

　　　　<configuration>
　　　　　　<property>
　　　　　　　　<name>mapred.job.tracker</name>
　　　　　　　　<value>localhost:9001</value>
　　　　　　</property>
　　　　</configuration>

　　3.hdfs-site.xml配置如下：

　　　　<configuration>
　　　　　　<property>
　　　　　　　　<name>dfs.replication</name>
　　　　　　　　<value>1</value>
　　　　　　</property>
　　　　　　<property>
　　　　　　　　<name>dfs.namenode.name.dir</name>
　　　　　　　　<value>file:/home/leesf/program/hadoop/tmp/dfs/name</value>
　　　　　　</property>
　　　　　　<property>
　　　　　　　　<name>dfs.datanode.data.dir</name>
　　　　　　　　<value>file:/home/leesf/program/hadoop/tmp/dfs/data</value>
　　　　　　</property>
　　　　</configuration>

　　其中dfs.namenode.name.dir和dfs.datanode.data.dir的路径可以自由设置，最好在hadoop.tmp.dir的目录下面。

　　补充，如果运行Hadoop的时候发现找不到jdk，可以直接将jdk的路径放置在hadoop.env.sh里面，具体如下：

　　　　export JAVA_HOME="/home/leesf/program/java/jdk1.8.0_60"

七、运行Hadoop

　　在配置完成后，运行hadoop。

　　1.初始化HDFS系统

　　　　在hadop2.7.1目录下使用如下命令：

　　　bin/hdfs namenode -format

　　　　截图如下：

　　　　　

　　　　过程需要进行ssh验证，之前已经登录了，所以初始化过程之间键入y即可。

　　　　成功的截图如下：

　　　　

　　　　表示已经初始化完成。

　　2.开启NameNode和DataNode守护进程

　　　　使用如下命令开启：

　　　　sbin/start-dfs.sh，成功的截图如下：

　설치 과정은 비교적 쉽고 즐겁습니다.

3. 비밀번호 없는 인증 로그인을 위해 ssh 사용

　　1. 여기서는 ssh-key를 생성하고 다음 명령을 사용합니다:

　　ssh-keygen -t rsa -P ""

　2. 나오는 그래픽은 비밀번호이니 걱정하지 마세요

　　cat ~/.ssh/id_rsa.pub >>

3. 그러면 다음과 같이 비밀번호 확인 없이 로그인할 수 있습니다: 🎜🎜　　ssh localhost🎜🎜　 성공적인 스크린샷은 다음과 같습니다: 🎜🎜　　🎜🎜🎜네. Hadoop 설치 패키지 다운로드🎜🎜🎜Hadoop 설치를 다운로드하는 방법은 두 가지가 있습니다. 🎜🎜　　1. 다운로드하려면 공식 웹사이트(http://mirrors.hust.edu.cn/apache/hadoop/core/stable/hadoop-2.7.1.tar.gz🎜🎜　　2)로 직접 이동하세요. 셸을 사용하여 다운로드하세요. , 명령은 다음과 같습니다: 🎜🎜　　wget http://mirrors .hust.edu.cn/apache/hadoop/core/stable/hadoop-2.7.1.tar.gz🎜🎜　 것 같습니다 두 번째 방법이 더 빠르다는 것을 알고 오랜 기다림 끝에 마침내 다운로드가 완료되었습니다. 🎜🎜🎜 5. Hadoop 설치 패키지 압축 해제 🎜🎜🎜 다음 명령을 사용하여 Hadoop 설치 패키지 압축 해제 🎜🎜 tar -zxvf hadoop-2.7.1.tar.gz 🎜🎜 압축 해제가 완료되면 hadoop2.7.1 폴더 🎜🎜 🎜6. Hadoop에서 해당 파일을 구성합니다🎜🎜🎜　구성해야 하는 파일은 hadoop-env.sh, core-site.xml, mapred-site.xml.template, hdfs-site 입니다. .xml, 모든 파일은 hadoop2 .7.1/etc/hadoop에 있으며, 구체적인 필수 구성은 다음과 같습니다. 🎜🎜 1.core-site.xml 구성은 다음과 같습니다. 🎜rrreee🎜 hadoop.tmp.dir의 경로는 다음과 같습니다. 자신의 습관에 따라 설정하십시오. 🎜🎜　 2.mapred-site.xml.template는 다음과 같이 구성됩니다. 🎜rrreee🎜 3.hdfs-site.xml은 다음과 같이 구성됩니다. 🎜rrreee🎜　 dfs.namenode.name.dir 및 dfs.datanode.data의 경로 .dir은 무료 설정일 수 있으며 가급적이면 hadoop.tmp.dir 디렉토리 아래에 있어야 합니다. 🎜🎜　또한 Hadoop 실행 시 jdk를 찾을 수 없는 경우 다음과 같이 hadoop.env.sh에 jdk 경로를 직접 배치할 수 있습니다. 🎜🎜　Export JAVA_HOME="/home/leesf/program/java/ jdk1.8.0_60"🎜🎜🎜7. Hadoop 실행🎜🎜🎜 구성이 완료되면 hadoop을 실행합니다. 🎜🎜　1. HDFS 시스템 초기화🎜🎜　　hadop2.7.1 디렉터리에서 다음 명령을 사용하세요: 🎜rrreee🎜　　스크린샷은 다음과 같습니다:🎜🎜　　 🎜🎜　　 해당 과정은 ssh 인증이 필요합니다. 이전에 이미 로그인한 상태이므로 초기화 과정 사이에 y만 입력하시면 됩니다. 🎜🎜　　성공한 스크린샷은 다음과 같습니다.🎜🎜　　🎜🎜 초기화가 완료되었음을 나타냅니다. 🎜🎜　 2. NameNode 및 DataNode 데몬을 시작합니다. 🎜🎜　다음 명령을 사용하여 시작합니다. 🎜🎜　　sbin/start-dfs.sh, 성공적인 스크린샷은 다음과 같습니다. 🎜🎜　　　🎜🎜🎜　　 3. 프로세스 정보 보기🎜🎜　　 프로세스 정보를 보려면 다음 명령을 사용하세요🎜🎜　　 jps, 스크린샷은 다음과 같습니다. 🎜🎜　　 🎜🎜🎜　　 이는 DataNode와 NameNode가 시작되었습니다🎜<p>　4. 웹 UI 보기</p> <p>　　 관련 정보를 보려면 브라우저에 http://localhost:50070 을 입력하세요. 스크린샷은 다음과 같습니다. </p> <p><img src="/static/imghw/default1.png" data-src="https://img.php.cn/upload/article/000/000/020/bfb5bc22f461fcb2beb87197aa100a4e-5.png" class="lazy" alt=""></p> <p> 이제 hadoop 환경이 설정되었습니다. Hadoop을 사용하여 WordCount 예제를 실행해 보겠습니다. </p> <p><strong> 8. WordCount 데모 실행 </strong></p> <p> 1. 로컬에서 새 파일을 만듭니다. 작성자가 home/leesf 디렉터리에 새 단어 문서를 만들었습니다. 원하는 대로 내용을 채울 수 있습니다. </p> <p>　2. 로컬 단어 문서를 업로드하기 위해 HDFS에 새 폴더를 만듭니다. hadoop2.7.1 디렉터리에 다음 명령을 입력합니다: </p> <p>　　bin/hdfs dfs -mkdir /test, 이는 hdfs A의 루트 디렉터리에 생성됨을 의미합니다. 테스트 디렉터리</p> <p>　다음 명령을 사용하여 HDFS 루트 디렉터리 아래 디렉터리 구조를 확인하세요</p> <p>　　bin/hdfs dfs -ls /</p> <p>　　구체적인 스크린샷은 다음과 같습니다.</p> <p>　　<img src="/static/imghw/default1.png" data-src="https://img.php.cn/upload/article/000/000/020/2d6b7ed9c222079a563098cea81e4d89-6.png" class="lazy" alt=""></p> <p>　　테스트 디렉터리가 생성되었음을 의미합니다. HDFS의 루트 디렉토리 </p> <p>　　3. 로컬 단어 문서를 테스트 디렉토리에 업로드</p> <p>　　업로드하려면 다음 명령을 사용하십시오: </p> <p>　　bin/hdfs dfs -put /home/leesf/words /test/</p> <p>　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 나 안으로 in in for the next words /test/</p> <p> hdfs dfs -ls /test/</p> <p>　　 결과 스크린샷은 다음과 같습니다. </p> <p>　　<img src="/static/imghw/default1.png" data-src="https://img.php.cn/upload/article/000/000/020/2d6b7ed9c222079a563098cea81e4d89-7.png" class="lazy" alt=""></p> <p>　　로컬 단어 문서가 테스트 디렉토리에 업로드되었습니다. </p> <p>　　4. wordcount 실행</p> <p>　　wordcount를 실행하려면 다음 명령을 사용하세요.</p> <p>　　bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /test/words /test/out</p> <p> 스크린샷은 다음과 같습니다. </p> <p>　　　<img src="/static/imghw/default1.png" data-src="https://img.php.cn/upload/article/000/000/020/2d6b7ed9c222079a563098cea81e4d89-8.png" class="lazy" alt=""></p> <p>　　　작업이 완료되면 out이라는 파일이 /test 디렉터리에 생성됩니다. 다음 명령을 사용하여 /test 디렉터리의 파일을 확인하세요</p> <p>　　bin/hdfs dfs - ls /test</p> <p>　　스크린샷은 다음과 같습니다.</p> <p>　　<img src="/static/imghw/default1.png" data-src="https://img.php.cn/upload/article/000/000/020/9e4e133c94861b62bd546dbeb0c3b6b4-9.png" class="lazy" alt=""> </p> <p>　　　테스트 디렉터리에 Out이라는 파일 디렉터리가 이미 있음을 나타냅니다</p> <p>　　out 디렉터리의 파일을 보려면 다음 명령을 입력하세요. </p> <p>　　bin/hdf 초 dfs -ls /test/out, 결과 스크린샷은 다음과 같습니다. </p> <p>　　<img src="/static/imghw/default1.png" data-src="https://img.php.cn/upload/article/000/000/020/9e4e133c94861b62bd546dbeb0c3b6b4-10.png" class="lazy" alt=""></p> <p>　　성공적으로 실행되었으며 결과가 part-r-00000에 저장되었음을 나타냅니다. </p> <p>　　5. 실행 결과 확인</p> <p>　　실행 결과를 확인하려면 다음 명령어를 사용하세요.</p> <p>　　bin/hadoop fs -cat /test/out/part-r-00000</p> <p>　　결과 스크린샷은 다음과 같습니다</p> <p>　　<img src="/static/imghw/default1.png" data-src="https://img.php.cn/upload/article/000/000/020/9e4e133c94861b62bd546dbeb0c3b6b4-11.png" class="lazy" alt=""> </p> <p>　이 시점에서 실행 프로세스가 완료되었습니다. </p> <p><strong>9. 요약</strong></p> <p> 이번 hadoop 구성 과정에서 많은 문제가 발생했습니다. hadoop1.x와 2.x의 명령은 여전히 ​​구성 과정에서 문제가 하나씩 해결되었습니다. , 많은 것을 얻었습니다. hadoop 환경을 구성하려는 정원사들의 편의를 위해 이 구성에 대한 경험을 공유하고 싶습니다. 구성 과정에서 궁금한 점이 있으면 언제든지 토론해 주세요. 시청하세요~</p> <p> 추천 학습 : "<a href="https://www.php.cn/course/list/33.html" target="_blank">linux 비디오 튜토리얼</a>"</p>

위 내용은 리눅스에 하둡을 설치하는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!