Cara Menguji Debian Hadoop

Artikel ini membimbing anda untuk memasang dan menguji Apache Hadoop pada sistem Debian anda. Langkah -langkah berikut akan memberikan penerangan terperinci mengenai proses konfigurasi dan kaedah pengesahan.

Langkah 1: Pasang Java

Pastikan sistem mempunyai Java 8 atau lebih tinggi dipasang. Pasang OpenJDK 8 menggunakan arahan berikut:

 Kemas kini sudo apt
sudo apt memasang openjdk-8-jdk

Sahkan pemasangan:

 java -versi

Langkah 2: Muat turun dan Decompress Hadoop

Muat turun versi terkini Hadoop dari laman web rasmi Apache Hadoop dan unzip ke direktori yang ditentukan (contohnya /usr/local/hadoop ):

 wget https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
tar -xzvf Hadoop -3.3.1.tar.gz -c/usr/local/Hadoop
`` `(Sila ganti` Hadoop-3.3.1` dengan nombor versi sebenar)


** Langkah 3: Konfigurasikan pembolehubah persekitaran **

Edit fail `~/.bashrc` dan tambahkan pembolehubah persekitaran berikut:

`` `Bash
Eksport HADOOP_HOME =/usr/Local/Hadoop
Path Export = $ Path: $ Hadoop_Home/Bin: $ Hadoop_Home/Sbin

Membuat perubahan berkuat kuasa:

 Sumber ~/.bashrc

Langkah 4: Konfigurasikan fail konfigurasi Hadoop

Ubah suai fail konfigurasi dalam direktori Hadoop:

• CORE-SITE.XML :

<configuration>
  <property>
    <name>fs.defaultfs</name>
    <value>HDFS: // Namenode: 9000</value>
  </property>
</configuration>

• hdfs-site.xml :

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/usr/local/hadoop/dfs/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/usr/local/hadoop/dfs/data</value>
  </property>
</configuration>

• Mapred-site.xml :

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>Benang</value>
  </property>
</configuration>

• benang-tapak.xml :

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.shufflehandler</value>
  </property>
</configuration>

Langkah 5: Format HDFS

Pada nod namenode, laksanakan arahan berikut untuk memformat HDFS:

 HDFS namenode -Format

Langkah 6: Mulakan Perkhidmatan Hadoop

Mula Namenode dan Datanode pada nod namenode:

 start-dfs.sh

Mulakan benang di Node ResourceManager:

 Start-yarn.sh

Langkah 7: Ujian Mod Tempatan

Beralih ke pengguna Hadoop:

 Su - Hadoop

Buat direktori dan fail input:

 mkdir ~/input
vi ~/input/data.txt

Masukkan data ujian (contohnya "Hello World", "Hello Hadoop"), simpan dan keluar.

Jalankan WordCount Contoh:

 Hadoop Jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount ~/input/data.txt ~/output
`` `(Sila sesuaikannya mengikut nama fail pakej balang sebenar)

Lihat hasilnya:

`` `Bash
ls ~/output
CAT ~/OUTPUT/PART-R-00000

Output yang betul menunjukkan bahawa mod tempatan Hadoop berjalan dengan jayanya. Sila ambil perhatian bahawa langkah-langkah di atas mengandaikan bahawa anda sedang menguji dalam persekitaran yang berdiri sendiri. Untuk persekitaran kluster, pengubahsuaian konfigurasi yang sepadan diperlukan. Pastikan anda merujuk kepada dokumentasi Hadoop rasmi untuk maklumat konfigurasi yang lebih terperinci dan terkini.

Atas ialah kandungan terperinci Cara Menguji Debian Hadoop. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!