Un guide essentiel pour apprendre les opérations de base des outils Kafka

Tutoriel d'utilisation de base de l'outil Kafka

Introduction

Apache Kafka est une plateforme de traitement de flux distribué qui peut traiter de grandes quantités de données en temps réel. Il présente les caractéristiques d'un débit élevé, d'une faible latence et d'une tolérance aux pannes, et est largement utilisé dans des domaines tels que la collecte de journaux, l'analyse des données et l'apprentissage automatique.

Installation

L'installation de Kafka est très simple, vous pouvez vous référer à la documentation officielle pour le fonctionnement. De manière générale, il vous suffit de télécharger le package d'installation de Kafka, puis de le décompresser et de le démarrer.

Concepts de base

Avant d'utiliser Kafka, vous devez comprendre quelques concepts de base :

• Sujet : Un sujet est un regroupement logique de données dans Kafka, similaire à une table dans une base de données.
• Partition :  La partition est la partition physique du sujet, et chaque partition est une unité de stockage indépendante.
• Producteur : Producer est le client qui envoie des données au sujet.
• Consumer :  Le consommateur est le client qui reçoit les données du sujet.
• Broker : Broker est le serveur du cluster Kafka, responsable du stockage et du traitement des données.

Opérations de base

Créer un sujet

bin/kafka-topics.sh --create --topic test --partitions 3 --replication-factor 2

La commande ci-dessus créera un sujet nommé "test", qui comporte 3 partitions et chaque partition comporte 2 copies.

Envoyer des données au sujet

bin/kafka-console-producer.sh --topic test

La commande ci-dessus ouvrira une console dans laquelle vous pourrez saisir les données que vous souhaitez envoyer et appuyer sur Entrée pour envoyer.

Recevoir des données du sujet

bin/kafka-console-consumer.sh --topic test --from-beginning

La commande ci-dessus ouvrira une console et vous pourrez voir les données reçues du sujet.

Opérations avancées

Définir les propriétés du producteur

bin/kafka-producer-perf-test.sh --topic test --num-records 100000 --record-size 100 --producer-props acks=all batch.size=16384 buffer.memory=33554432 key.serializer=org.apache.kafka.common.serialization.StringSerializer value.serializer=org.apache.kafka.common.serialization.StringSerializer

La commande ci-dessus créera un producteur et définira certaines propriétés, notamment le mécanisme de confirmation, la taille du lot et la taille du tampon, etc.

Définir les propriétés du consommateur

bin/kafka-consumer-perf-test.sh --topic test --num-consumers 1 --messages-per-consumer 100000 --consumer-props group.id=test auto.offset.reset=earliest enable.auto.commit=false key.deserializer=org.apache.kafka.common.serialization.StringDeserializer value.deserializer=org.apache.kafka.common.serialization.StringDeserializer

La commande ci-dessus créera un consommateur et définira certaines propriétés, notamment l'ID de groupe, la politique de réinitialisation automatique du décalage et le mécanisme de soumission automatique.

Fault Handling

Kafka est un système à haute disponibilité qui peut gérer automatiquement les pannes. Lorsqu'un courtier échoue, Kafka copie automatiquement les données vers d'autres courtiers. En cas d'échec du producteur ou du consommateur, Kafka renverra ou recevra automatiquement les données.

Résumé

Kafka est une plateforme de traitement de flux puissante et facile à utiliser. Il présente les caractéristiques d'un débit élevé, d'une faible latence et d'une tolérance aux pannes, et est largement utilisé dans des domaines tels que la collecte de journaux, l'analyse des données et l'apprentissage automatique. Cet article présente les concepts de base, les opérations de base et les opérations avancées de Kafka. J'espère qu'il vous sera utile.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!