Wie man mit Java eine Stream-Verarbeitungsanwendung basierend auf Apache Kafka Streams entwickelt

So verwenden Sie Java, um eine Stream-Verarbeitungsanwendung basierend auf Apache Kafka Streams zu entwickeln

Einführung:
Apache Kafka Streams ist ein leistungsstarkes Stream-Verarbeitungs-Framework, mit dem Sie leistungsstarke, skalierbare und fehlertolerante reale Anwendungen entwickeln können. Anwendungen zur Zeitstromverarbeitung. Es basiert auf Apache Kafka und bietet eine einfache und leistungsstarke API, die es uns ermöglicht, Rohdatenströme zu verarbeiten, indem wir Eingabe- und Ausgabe-Kafka-Themen verbinden. In diesem Artikel wird die Verwendung von Java zum Entwickeln einer Stream-Verarbeitungsanwendung basierend auf Apache Kafka Streams vorgestellt und einige Codebeispiele bereitgestellt.

1. Vorbereitungsarbeiten:
Bevor wir mit der Verwendung von Apache Kafka Streams beginnen, müssen wir einige Vorbereitungsarbeiten abschließen. Stellen Sie zunächst sicher, dass Apache Kafka installiert ist und ausgeführt wird. Im Kafka-Cluster müssen wir zwei Themen erstellen: eines für Eingabedaten und eines für Ausgabeergebnisse. Wir können den folgenden Befehl verwenden, um diese Themen zu erstellen:

bin/kafka-topics.sh --create --topic input-topic --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1
bin/kafka-topics.sh --create --topic output-topic --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1

Gleichzeitig stellen Sie sicher, dass Sie die folgenden Abhängigkeiten in Ihrem Java-Projekt hinzufügen:

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-streams</artifactId>
    <version>2.4.0</version>
</dependency>

2. Schreiben Sie eine Stream-Verarbeitungsanwendung:
Als nächstes schreiben wir eine einfache Stream-Verarbeitungs-App. In diesem Beispiel lesen wir Daten aus dem Eingabethema, transformieren die Daten und schreiben die Ergebnisse in das Ausgabethema. Das Folgende ist ein einfaches Implementierungsbeispiel:

import org.apache.kafka.streams.*;
import org.apache.kafka.streams.kstream.*;

import java.util.Properties;

public class StreamProcessingApp {

    public static void main(String[] args) {
        Properties props = new Properties();
        props.put(StreamsConfig.APPLICATION_ID_CONFIG, "stream-processing-app");
        props.put(StreamsConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");

        StreamsBuilder builder = new StreamsBuilder();
        KStream<String, String> inputStream = builder.stream("input-topic");

        KStream<String, String> outputStream = inputStream
                .mapValues(value -> value.toUpperCase());

        outputStream.to("output-topic", Produced.with(Serdes.String(), Serdes.String()));

        KafkaStreams streams = new KafkaStreams(builder.build(), props);
        streams.start();
    }
}

Im obigen Code definieren wir zunächst einige Konfigurationseigenschaften, wie z. B. Anwendungs-ID und Bootstrap-Server. Dann haben wir eine StreamsBuilder-Instanz erstellt und einen Stream aus dem Eingabethema erhalten. Als nächstes wandeln wir jeden Wert im Stream in Großbuchstaben um und schreiben das Ergebnis in das Ausgabethema. Schließlich haben wir eine KafkaStreams-Instanz erstellt und die Stream-Verarbeitungsanwendung gestartet.

3. Führen Sie die Anwendung aus:
Nachdem wir die Stream-Verarbeitungsanwendung geschrieben haben, können wir den folgenden Befehl verwenden, um die Anwendung auszuführen:

java -cp your-project.jar StreamProcessingApp

Bitte stellen Sie sicher, dass Sie your-project.jar durch den Namen Ihrer tatsächlichen Projekt-JAR-Datei ersetzen. Nachdem die Anwendung ausgeführt wurde, beginnt sie mit der Verarbeitung der Daten im Eingabethema und schreibt die transformierten Ergebnisse in das Ausgabethema.

Fazit:
Die Entwicklung von Stream-Processing-Anwendungen auf Basis von Apache Kafka Streams mit Java ist sehr einfach. Durch die Verbindung von Eingabe- und Ausgabe-Kafka-Themen und die Verwendung der leistungsstarken Kafka Streams API können wir problemlos leistungsstarke, skalierbare und fehlertolerante Echtzeit-Stream-Verarbeitungsanwendungen erstellen. Ich hoffe, dieser Artikel kann Ihnen den Einstieg in Kafka Streams und die Verwendung in tatsächlichen Projekten erleichtern.

Das obige ist der detaillierte Inhalt vonWie man mit Java eine Stream-Verarbeitungsanwendung basierend auf Apache Kafka Streams entwickelt. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!