Bagaimana untuk melaksanakan pemprosesan strim masa nyata menggunakan PHP dan Apache Kafka

Apache Kafka ialah sistem pemesejan terbitan/langganan yang diedarkan tinggi dan kependaman rendah. Ia digunakan secara meluas dalam seni bina sistem pemprosesan strim masa nyata untuk memproses strim data frekuensi tinggi dan berkapasiti besar. Artikel ini akan memperkenalkan cara menggunakan PHP dan Apache Kafka untuk melaksanakan pemprosesan strim masa nyata.

1. Pasang Apache Kafka

Sebelum kita mula menggunakan Apache Kafka, kita perlu memasangnya terlebih dahulu. Anda boleh memuat turun dan memasang Apache Kafka dari tapak web rasmi, atau menggunakan beberapa skrip pemasangan sumber terbuka. Di sini, kami akan menggunakan versi binari yang disediakan oleh Apache Kafka.

2. Buat pengeluar Kafka

Seterusnya, kami akan mencipta pengeluar Kafka untuk menolak data ke gugusan Kafka. Dalam PHP, kita boleh menggunakan sambungan kafka-php untuk mencapai ini.

Pertama, kita perlu memuat turun dan menyusun sambungan kafka-php. Arahan pemasangan terperinci boleh didapati di halaman GitHub kafka-php. Selepas pemasangan selesai, kami boleh menggunakan sambungan kafka-php dalam kod PHP kami.

Berikut ialah contoh yang menunjukkan cara mencipta pengeluar Kafka dan menghantar mesej kepada topik:

<?php
require_once('KafkaProducer.php');

$producer = new KafkaProducer('localhost:9092');
$producer->send([
    [
        'topic' => 'example-topic',
        'value' => 'Hello, Kafka!',
        'key' => 'key1'
    ]
]);
?>

Dalam kod di atas, kami mula-mula mencipta objek KafkaProducer dan nyatakan alamat gugusan Kafka. Kemudian, kami menghantar mesej kepada topik (contoh-topik) melalui kaedah hantar.

Mesej yang dihantar ialah tatasusunan yang mengandungi subjek, kandungan dan kunci mesej. Kekunci boleh digunakan untuk mengumpulkan mesej supaya kluster Kafka boleh mengedarkan mesej dengan kunci yang sama ke dalam partition yang sama.

3. Cipta pengguna Kafka

Seterusnya, kami akan mencipta pengguna Kafka untuk menggunakan data daripada gugusan Kafka. Begitu juga, dalam PHP, kita boleh menggunakan sambungan kafka-php untuk mencapai ini.

<?php
require_once('KafkaConsumer.php');

$consumer = new KafkaConsumer('localhost:9092', 'example-group', ['example-topic']);
$consumer->consume(function($message) {
    echo $message->payload . "
";
});
?>

Dalam kod di atas, kami mula-mula mencipta objek KafkaConsumer, menyatakan alamat gugusan Kafka, nama kumpulan pengguna dan topik yang akan digunakan. Kemudian, kami mula menggunakan data melalui kaedah penggunaan.

Kaedah penggunaan menerima fungsi panggil balik sebagai parameter untuk memproses mesej yang diterima daripada gugusan Kafka. Dalam fungsi panggil balik, kita boleh mengakses kandungan mesej (muatan).

Perhatikan bahawa kami telah menyatakan nama kumpulan pengguna semasa mencipta pengguna Kafka. Kumpulan pengguna ialah konsep utama dalam Kafka dan digunakan untuk mengedarkan mesej ke dalam partition. Pengguna dengan nama kumpulan pengguna yang sama akan menggunakan topik yang sama bersama-sama, dan Kafka akan mengedarkan mesej secara automatik di kalangan mereka. Tujuan kumpulan pengguna adalah untuk memastikan setiap mesej digunakan sekali sahaja.

4. Pemprosesan strim masa nyata

Kini, kita boleh menggabungkan dua contoh di atas untuk mencapai pemprosesan strim masa nyata. Kami boleh mencipta pengeluar Kafka dan menghantar mesej kepada topik secara berkala. Kami kemudiannya boleh mencipta pengguna Kafka yang mengendalikan mesej yang diterima daripada topik dalam fungsi panggil balik.

Berikut ialah contoh yang menunjukkan pemprosesan strim masa nyata:

<?php
require_once('KafkaProducer.php');
require_once('KafkaConsumer.php');

$producer = new KafkaProducer('localhost:9092');
$consumer = new KafkaConsumer('localhost:9092', 'example-group', ['example-topic']);

while (true) {
    $producer->send([
        [
            'topic' => 'example-topic',
            'value' => rand(0, 10),
            'key' => 'key1'
        ]
    ]);

    $consumer->consume(function($message) {
        $value = $message->payload;
        echo "Received $value
";
    });

    sleep(1);
}
?>

Dalam kod di atas, kami mula-mula mencipta pengeluar Kafka dan pengguna Kafka. Kami kemudiannya memasukkan gelung yang secara berkala menghantar nombor rawak kepada topik dan menggunakan mesej daripada topik tersebut. Dalam fungsi panggil balik pengguna, kami mencetak nilai yang diterima ke konsol.

Apa yang ditunjukkan di sini ialah proses pemprosesan strim masa nyata yang mudah. Pada hakikatnya, sistem pemprosesan strim masa nyata mungkin lebih kompleks, mungkin terdapat berbilang pengeluar dan pengguna, dan mungkin terdapat berbilang topik dan sekatan. Tetapi dalam apa jua keadaan, menggunakan PHP dan Apache Kafka boleh membina sistem pemprosesan strim masa nyata dan memproses strim data volum besar frekuensi tinggi dengan mudah.

Atas ialah kandungan terperinci Bagaimana untuk melaksanakan pemprosesan strim masa nyata menggunakan PHP dan Apache Kafka. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!