Was ist Apache Spark?

Apache Spark ist ein Open-Source-Cluster-Computing-Framework, das ursprünglich von AMPLab an der University of California, Berkeley, entwickelt wurde. Im Vergleich zu MapReduce von Hadoop, das nach der Ausführung der Arbeit Zwischendaten auf der Festplatte speichert, verwendet Spark In-Memory-Computing-Technologie, um Vorgänge im Speicher zu analysieren und auszuführen, bevor die Daten auf die Festplatte geschrieben werden.

Spark kann Programme im Speicher 100-mal schneller ausführen als Hadoop MapReduce. Selbst wenn Programme auf der Festplatte ausgeführt werden, kann Spark 10-mal schneller ausgeführt werden. Spark ermöglicht es Benutzern, Daten in den Clusterspeicher zu laden und mehrmals abzufragen, was es ideal für Algorithmen des maschinellen Lernens macht.

Für die Verwendung von Spark sind ein Cluster-Administrator und ein verteiltes Speichersystem erforderlich. Spark unterstützt den Standalone-Modus (lokaler Spark-Cluster), Hadoop YARN oder Apache Mesos-Clusterverwaltung.

In Bezug auf verteilten Speicher kann Spark mit HDFS, Cassandra, OpenStack Swift und Amazon S3 kommunizieren. Spark unterstützt auch den pseudoverteilten lokalen Modus, wird jedoch normalerweise nur für die Entwicklung oder zum Testen verwendet, um das verteilte Speichersystem durch das lokale Dateisystem zu ersetzen. In solchen Fällen führt Spark das Programm nur auf einer Maschine aus, die jeden CPU-Kern nutzt.

Im Jahr 2014 investierten mehr als 465 Mitwirkende in die Spark-Entwicklung, was es zum aktivsten Projekt unter der Apache Software Foundation und vielen Big-Data-Open-Source-Projekten machte.

Weitere Informationen zu Apache finden Sie in der Spalte Apache-Verwendungsanleitung!

Das obige ist der detaillierte Inhalt vonWas ist Apache Spark?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!