Was ist Apache Flink?

Apache Flink ist ein Open-Source-Stream-Verarbeitungsframework, das von der Apache Software Foundation entwickelt wurde. Sein Kern ist eine verteilte Streaming-Datenfluss-Engine , die in Java und Scala geschrieben ist. Flink führt jedes Streaming-Datenprogramm datenparallel und per Pipeline aus. Das Pipeline-Laufzeitsystem von Flink kann Stapel- und Stream-Verarbeitungsprogramme ausführen. Darüber hinaus unterstützt die Laufzeitumgebung von Flink selbst auch die Ausführung iterativer Algorithmen.

Flink bietet eine Streaming-Daten-Engine mit hohem Durchsatz und geringer Latenz sowie Unterstützung für Ereigniszeitverarbeitung und Zustandsverwaltung. Flink-Anwendungen sind bei Maschinenausfällen fehlertolerant und unterstützen die Exact-Once-Semantik. Programme können in Sprachen wie Java, Scala [9], Python [9] und SQL geschrieben werden und werden automatisch zu Datenflussprogrammen kompiliert und optimiert, die in einer Cluster- oder Cloud-Umgebung ausgeführt werden.

Flink stellt kein eigenes Datenspeichersystem bereit, sondern stellt Datenquellen und -senken für Systeme wie Amazon Kinesis, Apache Kafka, HDFS, Apache Cassandra und ElasticSearch bereit.

Das Datenfluss-Programmiermodell von Apache Flink ermöglicht die ereignisweise Verarbeitung endlicher und unendlicher Datensätze. Grundsätzlich bestehen Flink-Programme aus Streams und Transformationen. „Konzeptionell ist ein Stream eine (möglicherweise endlose) Aufzeichnung eines Datenstroms, und eine Transformation ist eine Operation, die einen oder mehrere Streams als Eingabe verwendet und daher einen oder mehrere Ausgabestreams erzeugt.“

Apache Flink enthält zwei Kern-APIs : Dataflow API für begrenzte oder unbegrenzte Datenströme und Dataset API für begrenzte Datensätze. Flink bietet außerdem eine Tabellen-API, eine SQL-ähnliche Ausdruckssprache für relationales Streaming und Stapelverarbeitung, die einfach in die Datenfluss- und Datensatz-APIs von Flink eingebettet werden kann. Die von Flink unterstützte höchste Sprache ist SQL, die semantisch der Tabellen-API ähnelt und Programme als SQL-Abfrageausdrücke darstellt.

Weitere Informationen zu Apache finden Sie in der Spalte Apache-Verwendungsanleitung!

Das obige ist der detaillierte Inhalt vonWas ist Apache Flink?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!