Cara menggunakan Apache Hadoop untuk pengkomputeran teragih dan penyimpanan data dalam pembangunan PHP

Dengan pengembangan berterusan skala Internet dan jumlah data, pengkomputeran dan storan mesin tunggal tidak lagi dapat memenuhi keperluan pemprosesan data berskala besar. Pada masa ini, pengkomputeran teragih dan penyimpanan data menjadi penyelesaian yang diperlukan. Sebagai rangka kerja pengkomputeran teragih sumber terbuka, Apache Hadoop telah menjadi pilihan pertama untuk banyak projek pemprosesan data besar.

Bagaimana untuk menggunakan Apache Hadoop untuk pengkomputeran teragih dan penyimpanan data dalam pembangunan PHP? Artikel ini akan memperkenalkannya secara terperinci dari tiga aspek: pemasangan, konfigurasi dan amalan.

1. Pemasangan

Memasang Apache Hadoop memerlukan langkah berikut:

1. Muat turun pakej fail binari Apache Hadoop

Anda boleh memuat turunnya dari laman web rasmi Apache Hadoop (http://hadoop.apache.org /releases.html ) untuk memuat turun versi terkini.

2. Pasang Java

Apache Hadoop ditulis berdasarkan Java, jadi anda perlu memasang Java terlebih dahulu.

3. Konfigurasikan pembolehubah persekitaran

Selepas memasang Java dan Hadoop, anda perlu mengkonfigurasi pembolehubah persekitaran. Dalam sistem Windows, tambahkan laluan direktori bin Java dan Hadoop kepada pembolehubah persekitaran sistem. Dalam sistem Linux, anda perlu menambah laluan PATH Java dan Hadoop dalam .bashrc atau .bash_profile.

2. Konfigurasi

Selepas memasang Hadoop, beberapa konfigurasi diperlukan untuk menggunakannya seperti biasa. Berikut ialah beberapa konfigurasi penting:

1. core-site.xml

Laluan fail konfigurasi: $HADOOP_HOME/etc/hadoop/core-site.xml

Dalam fail ini, anda perlu menentukan URI sistem fail lalai dan HDFS Laluan storan fail sementara yang dijana semasa Hadoop sedang berjalan.

Contoh konfigurasi (untuk rujukan sahaja):

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop/tmp</value>
  </property>
</configuration>

2. hdfs-site.xml

Laluan fail konfigurasi: $HADOOP_HOME/etc/hadoop/hdfs-site.xml

Dalam fail ini, salinan HDD perlu ditakrifkan maklumat seperti nombor dan saiz blok.

Konfigurasi sampel (untuk rujukan sahaja):

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
  <property>
    <name>dfs.blocksize</name>
    <value>128M</value>
  </property>
</configuration>

3. yarn-site.xml

Laluan fail konfigurasi: $HADOOP_HOME/etc/hadoop/yarn-site.xml

Dalam fail ini, anda perlu mentakrifkan YARN yang berkaitan Maklumat konfigurasi, seperti alamat pengurus sumber, bilangan pengurus nod, dsb.

Konfigurasi sampel (untuk rujukan sahaja):

<configuration>
  <property>
    <name>yarn.resourcemanager.address</name>
    <value>localhost:8032</value>
  </property>
  <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>8192</value>
  </property>
  <property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>4</value>
  </property>
</configuration>

4. mapred-site.xml

Laluan fail konfigurasi: $HADOOP_HOME/etc/hadoop/mapred-site.xml

Konfigurasikan maklumat yang berkaitan bagi Mapred ini fail.

Contoh konfigurasi (untuk rujukan sahaja):

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
    <name>yarn.app.mapreduce.am.env</name>
    <value>HADOOP_MAPRED_HOME=/usr/local/hadoop</value>
  </property>
</configuration>

3. Amalkan

Selepas menyelesaikan kerja pemasangan dan konfigurasi di atas, anda boleh mula menggunakan Apache Hadoop untuk pengkomputeran teragih dan penyimpanan data dalam pembangunan PHP.

1. Menyimpan Data

Dalam Hadoop, data disimpan dalam HDFS. Anda boleh menggunakan kelas Hdfs (https://github.com/vladko/Hdfs) yang disediakan oleh PHP untuk mengendalikan HDFS.

Kod Contoh:

require_once '/path/to/hdfs/vendor/autoload.php';

use AliyunHdfsHdfsClient;

$client = new HdfsClient(['host' => 'localhost', 'port' => 9000]);

// 上传本地文件到HDFS
$client->copyFromLocal('/path/to/local/file', '/path/to/hdfs/file');

// 下载HDFS文件到本地
$client->copyToLocal('/path/to/hdfs/file', '/path/to/local/file');

2. Pengkomputeran Teragih

Hadoop biasanya menggunakan model MapReduce untuk pengkomputeran teragih. Pengiraan MapReduce boleh dilaksanakan menggunakan kelas HadoopStreaming yang disediakan oleh PHP (https://github.com/andreas-glaser/php-hadoop-streaming).

Kod sampel:

(Nota: Kod berikut mensimulasikan operasi pengiraan perkataan dalam Hadoop.)

Kod PHP Mapper:

#!/usr/bin/php
<?php

while (($line = fgets(STDIN)) !== false) {
    // 对每一行数据进行处理操作
    $words = explode(' ', strtolower($line));
    foreach ($words as $word) {
        echo $word."    1
";  // 将每个单词按照‘单词    1’的格式输出
    }
}

Kod PHP Reducer:

#!/usr/bin/php
<?php

$counts = [];
while (($line = fgets(STDIN)) !== false) {
    list($word, $count) = explode("    ", trim($line));
    if (isset($counts[$word])) {
        $counts[$word] += $count;
    } else {
        $counts[$word] = $count;
    }
}

// 将结果输出
foreach ($counts as $word => $count) {
    echo "$word: $count
";
}

Perintah pelaksanaan di atas

Arahan pelaksanaan di atas:

Data input.txt disalurkan ke dalam mapper.php untuk diproses, kemudian diisih, dan akhirnya hasil output disalurkan ke reducer.php untuk diproses, dan akhirnya bilangan kemunculan setiap perkataan adalah output.

Kelas HadoopStreaming melaksanakan logik asas model MapReduce, menukar data kepada pasangan nilai kunci, memanggil fungsi peta untuk pemetaan, menjana pasangan nilai kunci baharu dan memanggil fungsi pengurangan untuk pemprosesan gabungan.

Kod contoh:

$ cat input.txt | ./mapper.php | sort | ./reducer.php

Memandangkan Apache Hadoop ialah rangka kerja pengkomputeran teragih sumber terbuka, ia juga menyediakan banyak API dan alatan lain, seperti HBase, Hive, Pig, dll., yang boleh dipilih mengikut keperluan dalam aplikasi tertentu.

Ringkasan:

Artikel ini memperkenalkan cara menggunakan Apache Hadoop untuk pengkomputeran teragih dan storan data dalam pembangunan PHP. Ia mula-mula menerangkan langkah terperinci pemasangan dan konfigurasi Apache Hadoop, kemudian memperkenalkan cara menggunakan PHP untuk mengendalikan HDFS untuk melaksanakan operasi penyimpanan data, dan akhirnya menggunakan contoh kelas HadoopStreaming untuk menerangkan cara melaksanakan pengkomputeran teragih MapReduce dalam pembangunan PHP.

Atas ialah kandungan terperinci Cara menggunakan Apache Hadoop untuk pengkomputeran teragih dan penyimpanan data dalam pembangunan PHP. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!