| 導讀 | Apache Hadoop 軟體庫是一個框架，它允許使用簡單的程式設計模型在電腦叢集上對大型資料集進行分散式處理。 Apache™ Hadoop® 是可靠、可擴展、分散式運算的開源軟體。 |
該專案包含以下模組：
本文將幫助你逐步在 CentOS 上安裝 hadoop 並設定單節點 hadoop 叢集。
安裝 Java在安裝 hadoop 之前，請確保你的系統上安裝了 Java。使用此命令檢查已安裝 Java 的版本。
java -version java version "1.7.0_75" Java(TM) SE Runtime Environment (build 1.7.0_75-b13) Java HotSpot(TM) 64-Bit Server VM (build 24.75-b04, mixed mode)
要安裝或更新 Java，請參考下面逐步的說明。
第一步是從 Oracle 官方網站下載最新版本的 java。
cd /opt/ wget --no-cookies --no-check-certificate --header "Cookie: gpw_e24=http%3A%2F%2Fwww.oracle.com%2F; oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.tar.gz" tar xzf jdk-7u79-linux-x64.tar.gz
需要設定使用更新版本的 Java 作為替代品。使用以下命令來執行此操作。
cd /opt/jdk1.7.0_79/ alternatives --install /usr/bin/java java /opt/jdk1.7.0_79/bin/java 2 alternatives --config java There are 3 programs which provide 'java'. Selection Command ----------------------------------------------- * 1 /opt/jdk1.7.0_60/bin/java + 2 /opt/jdk1.7.0_72/bin/java 3 /opt/jdk1.7.0_79/bin/java Enter to keep the current selection[+], or type selection number: 3 [Press Enter]
現在你可能還需要使用 alternatives 指令來設定 javac 和 jar 指令路徑。
alternatives --install /usr/bin/jar jar /opt/jdk1.7.0_79/bin/jar 2 alternatives --install /usr/bin/javac javac /opt/jdk1.7.0_79/bin/javac 2 alternatives --set jar /opt/jdk1.7.0_79/bin/jar alternatives --set javac /opt/jdk1.7.0_79/bin/javac
下一步是配置環境變數。使用以下命令正確設定這些變數。
設定 JAVA_HOME 變數：
export JAVA_HOME=/opt/jdk1.7.0_79
設定 JRE_HOME 變數：
export JRE_HOME=/opt/jdk1.7.0_79/jre
設定 PATH 變數：
export PATH=$PATH:/opt/jdk1.7.0_79/bin:/opt/jdk1.7.0_79/jre/bin
設定好 java 環境後。開始安裝 Apache Hadoop。
第一步是建立用於 hadoop 安裝的系統使用者帳戶。
useradd hadoop passwd hadoop
現在你需要設定使用者 hadoop 的 ssh 金鑰。使用以下命令啟用無需密碼的 ssh 登入。
su - hadoop ssh-keygen -t rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 0600 ~/.ssh/authorized_keys exit
現在從官方網站 hadoop.apache.org 下載 hadoop 最新的可用版本。
cd ~ wget http://apache.claz.org/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz tar xzf hadoop-2.6.0.tar.gz mv hadoop-2.6.0 hadoop
下一步是設定 hadoop 使用的環境變數。
編輯 ~/.bashrc，並在檔案末尾新增以下這些值。
export HADOOP_HOME=/home/hadoop/hadoop export HADOOP_INSTALL=$HADOOP_HOME export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
在目前運行環境中套用變更。
source ~/.bashrc
編輯 $HADOOP_HOME/etc/hadoop/hadoop-env.sh 並設定 JAVA_HOME 環境變數。
export JAVA_HOME=/opt/jdk1.7.0_79/
現在，先從配置基本的 hadoop 單節點叢集開始。
首先編輯 hadoop 設定檔並進行以下更改。
cd /home/hadoop/hadoop/etc/hadoop
讓我們編輯 core-site.xml。
fs.default.name hdfs://localhost:9000
接著編輯 hdfs-site.xml：
dfs.replication 1 dfs.name.dir file:///home/hadoop/hadoopdata/hdfs/namenode dfs.data.dir file:///home/hadoop/hadoopdata/hdfs/datanode
並編輯 mapred-site.xml：
mapreduce.framework.name yarn
最後編輯 yarn-site.xml：
yarn.nodemanager.aux-services mapreduce_shuffle
現在使用以下指令格式化 namenode：
hdfs namenode -format
要啟動所有 hadoop 服務，請使用下列命令：
cd /home/hadoop/hadoop/sbin/ start-dfs.sh start-yarn.sh
要檢查所有服務是否正常啟動，請使用 jps 指令：
jps
你應該要看到這樣的輸出。
26049 SecondaryNameNode 25929 DataNode 26399 Jps 26129 JobTracker 26249 TaskTracker 25807 NameNode
現在，你可以在瀏覽器中存取 Hadoop 服務：http://your-ip-address:8088/ 。
hadoop
以上是CentOS 上安裝 Apache Hadoop!的詳細內容。更多資訊請關注PHP中文網其他相關文章！
