Wie man mit Java eine Flink-basierte Stream-Verarbeitungs- und Stapelverarbeitungsanwendung entwickelt

So verwenden Sie Java, um eine Flink-basierte Stream-Verarbeitungs- und Stapelverarbeitungsanwendung zu entwickeln

Zusammenfassung: Flink ist eine verteilte Stream-Verarbeitungs-Engine, die auf Ereigniszeit basiert und auch Stapelverarbeitung unterstützt. In diesem Artikel wird erläutert, wie Sie mithilfe der Java-Sprache eine Flink-basierte Stream- und Stapelverarbeitungsanwendung entwickeln und entsprechende Codebeispiele bereitstellen.

1. Hintergrundeinführung: Flink ist eine leistungsstarke und zuverlässige Stream-Verarbeitungs-Engine. Sie zeichnet sich durch geringe Latenz und hohen Durchsatz aus und kann eine Vielzahl von Szenarien wie unbegrenzten Datenfluss, Stapelverarbeitung und iterative Verarbeitung verarbeiten Rechnen. Flink bietet außerdem umfangreiche APIs und Tools sowie Integrationsunterstützung für Drittsysteme.

2. Umgebungsvorbereitung

Zuerst müssen Sie Java Development Kit (JDK) und Apache Flink installieren. Stellen Sie sicher, dass die Umgebungsvariablen korrekt konfiguriert sind. Mit dem folgenden Befehl können Sie überprüfen, ob sie korrekt installiert ist:

java -version
flink --version

3. Stream-Verarbeitungsanwendung

3.1 Projekterstellung

Erstellen Sie zunächst ein neues Maven-Projekt und fügen Sie Flink-Abhängigkeiten hinzu. Fügen Sie der pom.xml-Datei den folgenden Inhalt hinzu:

<dependencies>
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-streaming-java_2.11</artifactId>
        <version>1.9.3</version>
    </dependency>
</dependencies>

3.2 Datenquelle

In Flink heißt die Streaming-Datenquelle Quelle. Das Folgende ist ein Beispielcode, der über die Quellfunktion einen Datenstrom mit den Zahlen 1 bis 100 erstellt:

DataStream<Integer> stream = env.fromCollection(Arrays.asList(1, 2, 3, ..., 100));

3.3 Datenkonvertierung und -verarbeitung

Flink bietet eine Fülle von Konvertierungs- und Verarbeitungsfunktionen, mit denen verschiedene Vorgänge am Datenstrom ausgeführt werden können. Das Folgende ist ein Beispielcode, der zu jedem Element im Datenstrom 1 hinzufügt und gerade Zahlen herausfiltert:

DataStream<Integer> result = stream
    .map(new MapFunction<Integer, Integer>() {
        @Override
        public Integer map(Integer value) throws Exception {
            return value + 1;
        }
    })
    .filter(new FilterFunction<Integer>() {
        @Override
        public boolean filter(Integer value) throws Exception {
            return value % 2 == 0;
        }
    });

3.4 Ergebnisausgabe

Flink unterstützt die Ausgabe von Ergebnissen an verschiedene Ziele, wie Konsolen, Dateien, Datenbanken usw. Das Folgende ist ein Beispielcode, der die Ergebnisse an die Konsole ausgibt:

result.print();

3.5 Führen Sie die Stream-Verarbeitungsanwendung aus

Führen Sie abschließend die Stream-Verarbeitungsanwendung über die Ausführungsfunktion aus:

env.execute("Stream Processing Job");

4.1 Projekterstellung

In ähnlicher Weise fügen Sie in Maven Flink-Abhängigkeiten zum Projekt hinzu.

4.2 Datenquelle
Die Datenquelle der Stapelverarbeitungsanwendung verwendet DataSet. Das Folgende ist ein Beispielcode, der über die fromElements-Funktion einen Datensatz mit Zeichenfolgen erstellt:

ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
DataSet<String> dataSet = env.fromElements("Hello", "World");

4.3 Datenkonvertierung und -verarbeitung
Flink bietet Konvertierungs- und Verarbeitungsfunktionen ähnlich der Stream-Verarbeitung, mit denen verschiedene Vorgänge am Datensatz ausgeführt werden können. Hier ist ein Beispielcode, der jede Zeichenfolge im Datensatz in Großbuchstaben umwandelt und Zeichenfolgen mit einer Länge von mehr als 3 herausfiltert:

DataSet<String> result = dataSet
    .map(new MapFunction<String, String>() {
        @Override
        public String map(String value) throws Exception {
            return value.toUpperCase();
        }
    })
    .filter(new FilterFunction<String>() {
        @Override
        public boolean filter(String value) throws Exception {
            return value.length() > 3;
        }
    });

4.4 Ergebnisausgabe
Ähnlich wie Stream-Verarbeitungsanwendungen unterstützen Stapelverarbeitungsanwendungen auch die Ausgabe von Ergebnissen an unterschiedliche Ziele.

4.5 Führen Sie Stapelverarbeitungsanwendungen aus. Führen Sie Stapelverarbeitungsanwendungen aus, indem Sie die Ausführungsfunktion aufrufen:

result.print();

. 5. Zusammenfassung und Ausblick. In diesem Artikel werden die grundlegenden Schritte zur Verwendung von Java zum Entwickeln einer Flink-basierten Stream- und Stapelverarbeitungsanwendung vorgestellt , und gibt Entsprechende Codebeispiele werden bereitgestellt. Mit Flink können wir schnell leistungsstarke und zuverlässige Stream- und Batch-Verarbeitungsanwendungen erstellen und diese auch in andere Systeme integrieren. Ich hoffe, dass dieser Artikel den Lesern helfen kann, die grundlegenden Methoden zur Verwendung von Flink zum Entwickeln von Anwendungen zu verstehen und zu beherrschen und sie weiter auf tatsächliche Projekte anzuwenden.

Das obige ist der detaillierte Inhalt vonWie man mit Java eine Flink-basierte Stream-Verarbeitungs- und Stapelverarbeitungsanwendung entwickelt. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!