Bagaimana untuk memasang Hadoop dalam linux

1: Pasang JDK

1 Jalankan arahan berikut untuk memuat turun pakej pemasangan JDK1.8.

wget --no-check-certificate https://repo.huaweicloud.com/java/jdk/8u151-b12/jdk-8u151-linux-x64.tar.gz

2. Jalankan arahan berikut untuk menyahmampat pakej pemasangan JDK1.8 yang dimuat turun.

tar -zxvf jdk-8u151-linux-x64.tar.gz

3. Alihkan dan namakan semula pakej JDK.

mv jdk1.8.0_151/ /usr/java8

4.

echo 'export JAVA_HOME=/usr/java8' >> /etc/profile
echo 'export PATH=$PATH:$JAVA_HOME/bin' >> /etc/profile
source /etc/profile

5. Semak sama ada Java berjaya dipasang.

java -version

Dua: Pasang Hadoop

Nota: Untuk memuat turun pakej pemasangan Hadoop, anda boleh memilih sumber Huawei (kelajuan sederhana, boleh diterima, tumpuan adalah pada versi penuh) , sumber Tsinghua (3.0.0 atau ke atas Kelajuan muat turun versi terlalu perlahan dan terdapat beberapa versi), sumber Universiti Pengajian Asing Beijing (kelajuan muat turun sangat pantas, tetapi terdapat beberapa versi) - Saya sendiri telah mengujinya

1. Jalankan arahan berikut untuk memuat turun Beg pemasangan Hadoop.

wget --no-check-certificate https://repo.huaweicloud.com/apache/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz

2. Jalankan arahan berikut untuk menyahmampat pakej pemasangan Hadoop kepada /opt/hadoop.

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/
mv /opt/hadoop-3.1.3 /opt/hadoop

3. Jalankan arahan berikut untuk mengkonfigurasi pembolehubah persekitaran Hadoop.

echo 'export HADOOP_HOME=/opt/hadoop/' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/bin' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/sbin' >> /etc/profile
source /etc/profile

4. Jalankan arahan berikut untuk mengubah suai fail konfigurasi yarn-env.sh dan hadoop-env.sh.

echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/yarn-env.sh
echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/hadoop-env.sh

5 Jalankan arahan berikut untuk menguji sama ada Hadoop berjaya dipasang.

hadoop version

Jika maklumat versi dikembalikan, pemasangan berjaya.

Tiga: Mengkonfigurasi Hadoop

1. Ubah suai fail konfigurasi Hadoop core-site.xml.

a. 执行以下命令开始进入编辑页面。

vim /opt/hadoop/etc/hadoop/core-site.xml

b. 输入i进入编辑模式。c. 在<configuration></configuration>节点内插入如下内容。

 <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/opt/hadoop/tmp</value>
        <description>location to store temporary files</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>

d. 按Esc键退出编辑模式，输入:wq保存退出。

Ubah suai fail konfigurasi Hadoop hdfs- tapak .xml.

a. 执行以下命令开始进入编辑页面。

vim /opt/hadoop/etc/hadoop/hdfs-site.xml

b. 输入i进入编辑模式。c. 在<configuration></configuration>节点内插入如下内容。

 <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/opt/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/opt/hadoop/tmp/dfs/data</value>
    </property>

d. 按Esc键退出编辑模式，输入:wq保存退出。

Empat: Konfigurasikan log masuk tanpa kata laluan SSH

1 Jalankan arahan berikut untuk mencipta kunci awam dan kunci peribadi.

ssh-keygen -t rsa

2. Jalankan arahan berikut untuk menambah kunci awam pada fail authorized_keys.

cd ~
cd .ssh
cat id_rsa.pub >> authorized_keys

Jika ralat dilaporkan, lakukan operasi berikut dan kemudian laksanakan semula dua arahan di atas jika tiada ralat dilaporkan, pergi terus ke langkah lima:

输入如下命令，在环境变量中添加下面的配置

vi /etc/profile

然后向里面加入如下的内容

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

输入如下命令使改动生效

source /etc/profile

Lima: Mulakan Hadoop

1.Laksanakan arahan berikut untuk memulakan namenode.

hadoop namenode -format

2.Laksanakan arahan berikut mengikut urutan untuk memulakan Hadoop.

start-dfs.sh

Jika Y/N dipilih, pilih Y; jika tidak tekan Enter

start-yarn.sh

3.Selepas berjaya memulakan, laksanakan arahan berikut , untuk melihat proses yang telah berjaya dimulakan.

jps

Biasanya akan ada 6 proses; ://:8088 dan http://:50070 Jika antara muka berikut dipaparkan, ini bermakna persekitaran taburan pseudo Hadoop telah selesai.

Atas ialah kandungan terperinci Bagaimana untuk memasang Hadoop dalam linux. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!