Rumah pembangunan bahagian belakang tutorial php Penyepaduan PHP dan Apache Kafka untuk baris gilir dan pengedaran mesej yang cekap

Penyepaduan PHP dan Apache Kafka untuk baris gilir dan pengedaran mesej yang cekap

Jun 25, 2023 am 09:48 AM
php baris gilir mesej apache kafka

Dengan pembangunan berterusan aplikasi Internet moden, semakin banyak aplikasi perlu mengendalikan jumlah komunikasi data yang besar. Cara tradisional mengendalikan komunikasi data ini adalah dengan menggunakan undian atau menyekat I/O, tetapi kaedah ini tidak lagi dapat memenuhi keperluan aplikasi moden kerana ia sangat tidak cekap. Bagi menyelesaikan masalah ini, industri telah membangunkan teknologi yang dipanggil baris gilir mesej dan sistem pengedaran.

Dalam sistem baris gilir dan pengedaran mesej, pengeluar mesej menghantar mesej ke baris gilir, manakala pengguna mesej memperoleh mesej daripada baris gilir dan melakukan operasi yang sepadan. Pendekatan ini boleh meningkatkan kecekapan komunikasi data kerana ia boleh mengelakkan masalah seperti pengundian dan menyekat I/O.

Dalam artikel ini, kita akan membincangkan cara untuk mencapai baris gilir dan pengedaran mesej yang cekap menggunakan PHP dan penyepaduan Apache Kafka.

Pengenalan kepada Apache Kafka

Apache Kafka ialah sistem pemesejan teragih berkemampuan tinggi, kependaman rendah, berskala. Ia boleh mengendalikan jumlah mesej yang besar dan skala secara mendatar untuk menampung beban yang lebih tinggi. Komponen utama Apache Kafka termasuk:

  1. Broker: Setiap nod dalam kelompok Kafka ialah broker, dan mereka bertanggungjawab untuk penyimpanan dan pemajuan mesej.
  2. Topik: Setiap mesej mesti ditetapkan kepada topik, yang merupakan konsep logik pengeluaran dan penggunaan mesej.
  3. Partition: Setiap topik boleh dibahagikan kepada berbilang partition, dan setiap partition mengandungi berbilang mesej tertib.
  4. Pengeluar: Pengeluar mesej, menghantar mesej kepada broker.
  5. Pengguna: Mesej pengguna, membaca mesej daripada broker.
  6. Kumpulan Pengguna: Sekumpulan pengguna bersama-sama menggunakan mesej dalam satu atau lebih partition.
  7. Offset: Nombor mesej, digunakan untuk mengenal pasti mesej secara unik.

PHP disepadukan dengan Apache Kafka

Untuk menggunakan Apache Kafka, kita perlu menggunakan sambungan Kafka untuk PHP. Sambungan ini menyediakan semua API yang diperlukan PHP untuk mengendalikan Kafka.

Pertama, kita perlu memasang sambungan Kafka, yang boleh kita pasang dari PECL:

pecl install kafka
Salin selepas log masuk

Selepas memasang sambungan, anda boleh mula menggunakannya. Berikut ialah contoh ringkas pengeluaran dan penggunaan mesej menggunakan PHP dan Apache Kafka:

<?php
$brokers = 'kafka:9092';    // Kafka集群地址
$topic = 'test';            // Topic名称

// 创建一个Kafka生产者
$producer = new RdKafkaProducer();
$producer->setLogLevel(LOG_DEBUG);
$producer->addBrokers($brokers);

// 创建一个Kafka消费者
$conf = new RdKafkaConf();
$conf->set('group.id', 'myGroup');
$consumer = new RdKafkaConsumer($conf);
$consumer->addBrokers($brokers);

// 生产消息
$topicProducer = $producer->newTopic($topic);
for ($i = 0; $i < 10; $i++) {
    $topicProducer->produce(RD_KAFKA_PARTITION_UA, 0, 'Message ' . $i);
}

// 消费消息
$topicConsumer = $consumer->newTopic($topic);
$topicConsumer->consumeStart(0, RD_KAFKA_OFFSET_BEGINNING);
while (true) {
    $message = $topicConsumer->consume(0, 1000);
    if (null === $message) {
        continue;
    }
    if ($message->err) {
        throw new Exception('Error occurred while consuming message');
    }
    echo $message->payload . PHP_EOL;
}
Salin selepas log masuk

Dalam contoh ini, kami mula-mula mencipta pengeluar Kafka dan pengguna Kafka. Kemudian, dalam pengeluar, kami menghantar 10 mesej ke topik yang ditentukan; dalam pengguna, kami menggunakan mesej dari topik yang ditentukan dan mengeluarkan kandungannya.

Pada ketika ini, kami telah berjaya melaksanakan pengeluaran dan penggunaan mesej ringkas menggunakan PHP dan Apache Kafka. Seterusnya, kami akan membincangkan cara melaksanakan fungsi yang lebih maju menggunakan PHP dan Apache Kafka.

Contoh aplikasi lanjutan

Dalam aplikasi sebenar, kami biasanya perlu melaksanakan beberapa fungsi lanjutan, seperti:

  1. Pengedaran mesej: hantar mesej kepada pengguna yang ditetapkan.
  2. Kumpulan Pengguna: Membenarkan berbilang pengguna untuk bersama-sama menggunakan mesej dalam satu atau lebih topik.
  3. konfigurasi offset: membenarkan untuk mengawal tempat mesej dibaca.

Di sini kita akan membincangkan bagaimana untuk melaksanakan fungsi ini.

Pengedaran Mesej

Dalam aplikasi praktikal, kita biasanya perlu mengawal aliran mesej Sebagai contoh, kita mungkin mahu hanya pengguna tertentu menggunakan mesej tertentu. Untuk mencapai kefungsian ini, kita boleh membuat baris gilir untuk setiap pengguna dan kemudian menetapkan mesej khusus kepada baris gilir tertentu.

Berikut adalah contoh yang menggunakan dua pengguna untuk menggunakan dua tugas berbeza.

<?php

$brokers = 'kafka:9092';    // Kafka集群地址
$topic = 'test';            // Topic名称

// 创建一个Kafka消费者组
$conf = new RdKafkaConf();
$conf->set('group.id', 'myGroup');
$consumer = new RdKafkaKafkaConsumer($conf);
$consumer->subscribe([$topic]);

// 创建两个Kafka生产者,一个生产者用于向消费者1发送消息,另一个生产者用于向消费者2发送消息
$producer1 = new RdKafkaProducer();
$producer1->addBrokers($brokers);
$producer1Topic = $producer1->newTopic($topic . '_1');

$producer2 = new RdKafkaProducer();
$producer2->addBrokers($brokers);
$producer2Topic = $producer2->newTopic($topic . '_2');

// 消费消息
while (true) {
    $message = $consumer->consume(1000);
    if (null === $message) {
        continue;
    }
    if ($message->err) {
        throw new Exception('Error occurred while consuming message');
    }

    echo 'Received message: ' . $message->payload . PHP_EOL;

    // 根据消息内容分配给不同的生产者
    if ($message->payload === 'task1') {
        $producer1Topic->produce(RD_KAFKA_PARTITION_UA, 0, $message->payload);
    } elseif ($message->payload === 'task2') {
        $producer2Topic->produce(RD_KAFKA_PARTITION_UA, 0, $message->payload);
    }
}
Salin selepas log masuk

Dalam contoh ini, kami menggunakan dua pengeluar untuk mengedarkan mesej kepada dua pengguna berbeza. Apabila pengguna menerima mesej, kami boleh menetapkannya kepada pengeluar tertentu berdasarkan kandungan mesej. Kaedah ini boleh membantu kami mengawal aliran mesej dan mengelakkan pemprosesan mesej yang berlebihan.

Kumpulan Pengguna

Dalam pengguna Kafka biasa, pengguna yang berbeza dalam kumpulan yang sama menggunakan topik yang sama dan mereka akan menerima mesej yang sama. Ini kerana Kafka secara automatik mengimbangi partition dan memastikan setiap partition diproses oleh hanya seorang pengguna.

Dalam PHP, kita boleh menggunakan group.id untuk mengumpulkan pengguna untuk merealisasikan fungsi kumpulan pengguna.

Berikut ialah contoh kumpulan pengguna Kafka yang boleh memproses mesej dalam kumpulan yang sama secara selari:

<?php

$brokers = 'kafka:9092';    // Kafka集群地址
$topic = 'test';            // Topic名称

// 创建一个Kafka消费者组
$conf = new RdKafkaConf();
$conf->set('group.id', 'myGroup');
$conf->set('metadata.broker.list', $brokers);
$conf->set('enable.auto.commit', 'false');
$consumer = new RdKafkaKafkaConsumer($conf);

// 添加需要订阅的topic
$consumer->subscribe([$topic]);

// 处理消息
while (true) {
    $message = $consumer->consume(1000);
    if (null === $message) {
        continue;
    }
    if ($message->err) {
        throw new Exception('Error occurred while consuming message');
    }

    echo 'Received message: ' . $message->payload . PHP_EOL;

    // 处理完消息后手动提交offset
    $consumer->commit();
}
Salin selepas log masuk

Dalam contoh ini, kami mencipta kumpulan pengguna Kafka dan menambah topik yang perlu dilanggan kepadanya. Kami kemudiannya boleh memproses mesej dalam kumpulan yang sama secara selari.

Nota: Dalam kumpulan pengguna, berbilang pengguna menggunakan satu atau lebih partition bersama-sama Apabila menggunakan data, anda perlu memberi perhatian kepada isu pemprosesan berbilang benang bagi data yang sama.

Konfigurasi offset

Dalam Kafka, setiap partition mempunyai offset bebas. Pengguna boleh mengawal di mana dalam partition ia membaca dan dengan itu mesej yang dibacanya. Pengguna boleh mula membaca dari mesej terakhir atau mesej terkini.

Dalam PHP, kita boleh menggunakan offset untuk mengawal kedudukan bacaan mesej. Berikut ialah contoh konfigurasi Offset:

<?php

$brokers = 'kafka:9092';    // Kafka集群地址
$topic = 'test';            // Topic名称

// 创建一个Kafka消费者
$conf = new RdKafkaConf();
$conf->set('group.id', 'myGroup');
$consumer = new RdKafkaKafkaConsumer($conf);

// 订阅topic
$topicConf = new RdKafkaTopicConf();
$topicConf->set('auto.offset.reset', 'earliest');
$topic = $consumer->newTopic($topic, $topicConf);
$topic->consumeStart(0, RD_KAFKA_OFFSET_STORED);

// 消费消息
while (true) {
    $message = $topic->consume(0, 1000);
    if (null === $message) {
        continue;
    }
    if ($message->err) {
        throw new Exception('Error occurred while consuming message');
    }

    echo 'Received message: ' . $message->payload . PHP_EOL;
}
Salin selepas log masuk

Dalam contoh ini, kami menggunakan auto.offset.reset untuk menetapkan konfigurasi offset. Konfigurasi ini memberitahu pengguna untuk mula menggunakan mesej dari offset terawal.

Dalam aplikasi praktikal, ofset berbeza boleh dikonfigurasikan mengikut keperluan. Sebagai contoh, selepas pengeluar gagal memproses beberapa mesej, kami mungkin perlu memulakan semula membaca mesej dari titik di mana mesej gagal diproses sebelum ini.

Kesimpulan

Dalam artikel ini, kami membincangkan cara mencapai baris gilir dan pengedaran mesej yang cekap menggunakan PHP dan penyepaduan Apache Kafka. Kami mula-mula memperkenalkan asas Apache Kafka, dan kemudian membincangkan cara melaksanakan pengeluaran dan penggunaan mesej menggunakan sambungan Kafka untuk PHP. Akhir sekali, kami membincangkan cara melaksanakan beberapa ciri lanjutan seperti pengedaran mesej, kumpulan pengguna dan konfigurasi mengimbangi.

Menggunakan penyepaduan PHP dan Apache Kafka membolehkan kami melaksanakan baris gilir dan pengedaran mesej yang cekap, dengan itu meningkatkan kelajuan tindak balas aplikasi dan pemprosesan. Jika anda sedang membangunkan aplikasi yang perlu mengendalikan jumlah komunikasi data yang besar, Apache Kafka dan sambungan Kafka untuk PHP mungkin merupakan pilihan yang baik.

Atas ialah kandungan terperinci Penyepaduan PHP dan Apache Kafka untuk baris gilir dan pengedaran mesej yang cekap. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn

Alat AI Hot

Undresser.AI Undress

Undresser.AI Undress

Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover

AI Clothes Remover

Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool

Undress AI Tool

Gambar buka pakaian secara percuma

Clothoff.io

Clothoff.io

Penyingkiran pakaian AI

AI Hentai Generator

AI Hentai Generator

Menjana ai hentai secara percuma.

Artikel Panas

R.E.P.O. Kristal tenaga dijelaskan dan apa yang mereka lakukan (kristal kuning)
3 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Tetapan grafik terbaik
3 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Cara Memperbaiki Audio Jika anda tidak dapat mendengar sesiapa
3 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25: Cara Membuka Segala -galanya Di Myrise
4 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌

Alat panas

Notepad++7.3.1

Notepad++7.3.1

Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina

SublimeText3 versi Cina

Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1

Hantar Studio 13.0.1

Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6

Dreamweaver CS6

Alat pembangunan web visual

SublimeText3 versi Mac

SublimeText3 versi Mac

Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Panduan Pemasangan dan Naik Taraf PHP 8.4 untuk Ubuntu dan Debian Panduan Pemasangan dan Naik Taraf PHP 8.4 untuk Ubuntu dan Debian Dec 24, 2024 pm 04:42 PM

PHP 8.4 membawa beberapa ciri baharu, peningkatan keselamatan dan peningkatan prestasi dengan jumlah penamatan dan penyingkiran ciri yang sihat. Panduan ini menerangkan cara memasang PHP 8.4 atau naik taraf kepada PHP 8.4 pada Ubuntu, Debian, atau terbitan mereka

Tarikh dan Masa CakePHP Tarikh dan Masa CakePHP Sep 10, 2024 pm 05:27 PM

Untuk bekerja dengan tarikh dan masa dalam cakephp4, kami akan menggunakan kelas FrozenTime yang tersedia.

Bincangkan CakePHP Bincangkan CakePHP Sep 10, 2024 pm 05:28 PM

CakePHP ialah rangka kerja sumber terbuka untuk PHP. Ia bertujuan untuk menjadikan pembangunan, penggunaan dan penyelenggaraan aplikasi lebih mudah. CakePHP adalah berdasarkan seni bina seperti MVC yang berkuasa dan mudah difahami. Model, Pandangan dan Pengawal gu

Muat naik Fail CakePHP Muat naik Fail CakePHP Sep 10, 2024 pm 05:27 PM

Untuk mengusahakan muat naik fail, kami akan menggunakan pembantu borang. Di sini, adalah contoh untuk muat naik fail.

Pengesah Mencipta CakePHP Pengesah Mencipta CakePHP Sep 10, 2024 pm 05:26 PM

Pengesah boleh dibuat dengan menambah dua baris berikut dalam pengawal.

Cara Menyediakan Kod Visual Studio (Kod VS) untuk Pembangunan PHP Cara Menyediakan Kod Visual Studio (Kod VS) untuk Pembangunan PHP Dec 20, 2024 am 11:31 AM

Kod Visual Studio, juga dikenali sebagai Kod VS, ialah editor kod sumber percuma — atau persekitaran pembangunan bersepadu (IDE) — tersedia untuk semua sistem pengendalian utama. Dengan koleksi sambungan yang besar untuk banyak bahasa pengaturcaraan, Kod VS boleh menjadi c

Panduan Ringkas CakePHP Panduan Ringkas CakePHP Sep 10, 2024 pm 05:27 PM

CakePHP ialah rangka kerja MVC sumber terbuka. Ia menjadikan pembangunan, penggunaan dan penyelenggaraan aplikasi lebih mudah. CakePHP mempunyai beberapa perpustakaan untuk mengurangkan beban tugas yang paling biasa.

Bagaimana anda menghuraikan dan memproses HTML/XML dalam PHP? Bagaimana anda menghuraikan dan memproses HTML/XML dalam PHP? Feb 07, 2025 am 11:57 AM

Tutorial ini menunjukkan cara memproses dokumen XML dengan cekap menggunakan PHP. XML (bahasa markup extensible) adalah bahasa markup berasaskan teks yang serba boleh yang direka untuk pembacaan manusia dan parsing mesin. Ia biasanya digunakan untuk penyimpanan data

See all articles