首頁 運維 linux運維 linux怎麼安裝hadoop

linux怎麼安裝hadoop

Dec 17, 2021 pm 05:03 PM
hadoop linux

linux安裝hadoop的方法:1、安裝ssh服務;2、使用ssh進行無密碼驗證登入;3、下載Hadoop安裝包;4、解壓縮Hadoop安裝包;5、設定Hadoop中對應的文件即可。

linux怎麼安裝hadoop

本文操作環境:ubuntu 16.04系統、Hadoop2.7.1版、Dell G3電腦。

linux怎麼安裝hadoop?

【大數據】Linux下安裝Hadoop(2.7.1)詳解及WordCount運行

一、引言

##  在完成了Storm的環境配置之後,想著鼓搗一下Hadoop的安裝,網上面的教程好多,但是沒有一個特別切合的,所以在安裝的過程中還是遇到了很多的麻煩,並且最後不斷的查閱資料,終於解決了問題,感覺還是很好的,下面廢話不多說,開始進入正題。

  本機器的設定環境如下:

    Hadoop(2.7.1)

    Ubuntu Linux(64位元系統)

    Ubuntu Linux(64位元系統)

##  以下分為幾個步驟來詳解配置過程。

二、安裝ssh服務

  進入shell命令,輸入如下命令,查看是否已經安裝好ssh服務,若沒有,則使用以下命令進行安裝:

    

sudo apt-get install ssh openssh-server

  安裝過程還是比較輕鬆加愉快的。

三、使用ssh進行無密碼驗證登入

  1.建立ssh-key,這裡我們採用rsa方式,使用以下指令:

#ssh-keygen -t rsa -P ""

  2.出現一個圖形,出現的圖形就是密碼,不用管它

    

#cat ~/. ssh/id_rsa.pub >> authorized_keys(好像是可以省略的)

  3.然後即可無密碼驗證登入了,如下:

    

ssh localhost

  成功截圖如下:

    

四、下載Hadoop安裝套件

  下載兩種方式

    1.直接上官網進行下載,http://mirrors.hust.edu.cn/apache/hadoop/core/stable/hadoop-2.7.1.tar.gz

    2.使用shell進行下載,指令如下:

      

wget http://mirrors.hust.edu.cn/apache/hadoop/core/stable/hadoop-2.7.1. gz

  看起來像第二種的方法要快點,經過漫長的等待,終於下載完成。

五、解壓縮Hadoop安裝包

  使用以下指令解壓縮Hadoop安裝包

    tar -zxvf hadoop-2.7.1.tar. gz

  解壓縮完成後出現hadoop2.7.1的資料夾

六、設定Hadoop中對應的檔案

  需要設定的檔案如下, hadoop-env.sh,core-site.xml,mapred-site.xml.template,hdfs-site.xml,所有的檔案都位於hadoop2.7.1/etc/hadoop下面,具體需要的設定如下:

  1.core-site.xml 配置如下:    

<configuration>
      <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/home/leesf/program/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
      </property>
      <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
      </property>
    </configuration>
登入後複製

  其中的hadoop.tmp.dir的路徑可以根據自己的習慣進行設定。

  2.mapred-site.xml.template配置如下:    

    <configuration>
      <property>
        <name>mapred.job.tracker</name>
        <value>localhost:9001</value>
      </property>
    </configuration>
登入後複製

  3.template-site.xml配置如下:

    <configuration>
      <property>
        <name>dfs.replication</name>
        <value>1</value>
      </property>
      <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/home/leesf/program/hadoop/tmp/dfs/name</value>
      </property>
      <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/home/leesf/program/hadoop/tmp/dfs/data</value>
      </property>
    </configuration>
登入後複製

  其中dfhds.namenode.name.和dfs.datanode.data.dir的路徑可以自由設置,最好在hadoop.tmp.dir的目錄下面。

  補充,如果運行Hadoop的時候發現找不到jdk,可以直接將jdk的路徑放置在hadoop.env.sh裡面,具體如下:

    export JAVA_HOME="/home/home/ leesf/program/java/jdk1.8.0_60"

七、執行Hadoop

  在設定完成後,執行hadoop。

  1.初始化HDFS系統

    在hadop2.7.1目錄下使用如下指令:

   bin/hdfs namenode -format
登入後複製

    截圖如下:

##     ##    過程需要進行ssh驗證,之前已經登入了,所以初始化過程之間鍵入y即可。

    成功的截圖如下:

    

    表示已經初始化完成。

  2.開啟NameNode

DataNode

守護程式

    使用以下指令開啟:    sbin/start-start- dfs.sh,成功的截圖如下:

    

  3.查看進程信息

    使用如下命令查看進程信息

jps,截圖如下:

    

#    表示資料DataNode和NameNode都已經開啟

  4.查看Web UI

    在瀏覽器中輸入http://localhost:50070,即可查看相關信息,截圖如下:

  至此,hadoop的環境就已經搭建好了。下面開始使用hadoop來運行一個WordCount範例。

八、運行WordCount Demo

  1.在本地新建一個文件,筆者在home/leesf目錄下新建了一個words文檔,裡面的內容可以隨便填寫。

  2.在HDFS中新建一個資料夾,用於上傳本地的words文檔,在hadoop2.7.1目錄下輸入如下指令:

    bin/hdfs dfs -mkdir /test,表示在hdfs的根目錄下建立了一個test目錄

    使用以下指令可以查看HDFS根目錄下的目錄結構

    bin/hdfs dfs -ls /

    bin/hdfs dfs -ls /

 如下:

    

    表示在HDFS的根目錄下已經建立了一個test目錄

  3.將本地wordsss.

    使用下列指令進行上傳操作:

    bin/hdfs dfs -put /home/leesf/words /test/

    /words /test/

    hdfs dfs -ls /test/

    結果截圖如下:

    

#    表示已經將本地的words

##    表示已經將本地的wordss

##    表示已經將本地的wordss

##    表示文件上上傳到了test目錄下到了文件。

  4.執行wordcount

    使用以下指令執行wordcount:

    bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-exampjar-2.7 jar share/hadoop/mapreduce/hadoop-mapreduce-exampjar-2.7. /test/words /test/out

    截圖如下:

    

#out    運行完成後,在/test目錄下產生名為的檔案,使用如下指令檢視/test目錄下的檔案

    bin/hdfs dfs -ls /test

    截圖如下:

    

test截圖如下:

 下方已經有了一個名為Out的檔案目錄

    輸入如下指令查看out目錄下的檔案:

    bin/hdfs dfs -ls /test/out,結果截圖如下:

    

    表示已經成功運作了,結果保存在part-r-00000中。

  5.查看運行結果

    使用以下指令查看運行結果:

    bin/hadoop fs -cat /test/out/part-r-000000

    結果截圖如下:    

  至此,運行過程就已經完成了。

#九、總結

######  在這次的hadoop設定過程遇到了許多問題,hadoop1.x和2.x的指令還是差別很大的,設定過程中還是一一的解決了問題,配置成功了,收穫也很多,特此把這次配置的經驗分享出來,也方便想要配置hadoop環境的各位園友,在配置的過程中有任何問題都歡迎討論,謝謝各位園友的觀看~###### 推薦學習:《###linux影片教學###》###

以上是linux怎麼安裝hadoop的詳細內容。更多資訊請關注PHP中文網其他相關文章!

本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
2 週前 By 尊渡假赌尊渡假赌尊渡假赌
倉庫:如何復興隊友
4 週前 By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island冒險:如何獲得巨型種子
3 週前 By 尊渡假赌尊渡假赌尊渡假赌

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
2 週前 By 尊渡假赌尊渡假赌尊渡假赌
倉庫:如何復興隊友
4 週前 By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island冒險:如何獲得巨型種子
3 週前 By 尊渡假赌尊渡假赌尊渡假赌

熱門文章標籤

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

Android TV Box 獲得非官方 Ubuntu 24.04 升級 Android TV Box 獲得非官方 Ubuntu 24.04 升級 Sep 05, 2024 am 06:33 AM

Android TV Box 獲得非官方 Ubuntu 24.04 升級

deepseek網頁版入口 deepseek官網入口 deepseek網頁版入口 deepseek官網入口 Feb 19, 2025 pm 04:54 PM

deepseek網頁版入口 deepseek官網入口

deepseek怎麼安裝 deepseek怎麼安裝 Feb 19, 2025 pm 05:48 PM

deepseek怎麼安裝

BitPie比特派錢包app下載位址 BitPie比特派錢包app下載位址 Sep 10, 2024 pm 12:10 PM

BitPie比特派錢包app下載位址

BITGet官方網站安裝(2025新手指南) BITGet官方網站安裝(2025新手指南) Feb 21, 2025 pm 08:42 PM

BITGet官方網站安裝(2025新手指南)

詳解:Shell腳本變數判斷參數指令 詳解:Shell腳本變數判斷參數指令 Sep 02, 2024 pm 03:25 PM

詳解:Shell腳本變數判斷參數指令

Zabbix 3.4 原始碼編譯安裝 Zabbix 3.4 原始碼編譯安裝 Sep 04, 2024 am 07:32 AM

Zabbix 3.4 原始碼編譯安裝

歐易okx安裝包直接進 歐易okx安裝包直接進 Feb 21, 2025 pm 08:00 PM

歐易okx安裝包直接進

See all articles