Storm ist ein verteiltes Framework zur Verarbeitung von Echtzeit-Datenströmen. Seine Architektur basiert auf einem Publish-Subscribe-Modell, einschließlich Spouts, die Daten lesen und in der Topologie veröffentlichen, und Bolts, die die Daten verarbeiten. In der Praxis kann Storm zur Berechnung des Website-Verkehrs in Echtzeit verwendet werden: // Erstellen Sie Spouts und Bolts, um den Website-Verkehr zu verarbeiten und die durchschnittliche Anzahl von Anfragen zu berechnen. // Verwenden Sie StormSubmitter, um die Topologie zu übermitteln. Storm ist ein leistungsstarkes Framework, das sich sehr gut für die Verarbeitung eignet Datenflüsse in Echtzeit.
Rolle von Storm in der Java Big Data-Verarbeitung
Einführung
Apache Storm ist ein verteiltes Echtzeit-Stream-Verarbeitungsframework für die Verarbeitung großer Mengen von Echtzeit-Datenströmen, die von Anwendungen, Sensoren oder anderen Quellen generiert werden . Es ist für seinen hohen Durchsatz, seine geringe Latenz und seine Fehlertoleranz bekannt.
Architektur
Storm basiert auf einem Publish-Subscribe-Modell, bei dem der Datenherausgeber als Spout und der Abonnent als Bolt bezeichnet wird. Spouts lesen Daten aus der Datenquelle und veröffentlichen sie in der Storm-Topologie, während Bolts die empfangenen Daten verarbeiten und möglicherweise bei Bedarf eine Ausgabe generieren.
Praktischer Fall
Stellen Sie sich ein Beispiel vor, bei dem der Website-Verkehr in Echtzeit berechnet werden muss. Wir können Storm verwenden, um eine Topologie zu erstellen, um dieses Ziel zu erreichen:
// Spout类
class WebsiteTrafficSpout extends SpoutBase {
private final AtomicInteger count = new AtomicInteger();
@Override
public void nextTuple() {
emit(new Values("website", count.incrementAndGet()));
}
}
// Bolt类
class WebsiteTrafficBolt extends BaseBasicBolt {
private final Histogram histogram = new Histogram();
@Override
public void execute(Tuple input, BasicOutputCollector collector) {
String website = input.getStringByField("website");
int count = input.getIntegerByField("count");
histogram.update(count);
collector.emit(new Values("website", website, histogram.getMean()));
}
}Topologiekonfiguration
Erstellen und übermitteln Sie die Topologie mit der StormSubmitter-Klasse:
StormSubmitter.submitTopology("website-traffic-topology", new Config(),
new TopologyBuilder()
.setSpout("traffic-spout", new WebsiteTrafficSpout(), 1)
.setBolt("traffic-bolt", new WebsiteTrafficBolt(), 1)
.shuffleGrouping("traffic-spout", "traffic-bolt")
.createTopology());Nach dem Start der Topologie verarbeitet sie kontinuierlich die Website-Verkehrsdaten und generiert diese Daten in Echtzeit über Bolt Die durchschnittliche Anzahl der Anfragen pro Sekunde.
Fazit
Storm ist ein leistungsstarkes Framework, das sich ideal für die Verarbeitung von Echtzeit-Datenströmen eignet. Seine verteilte Architektur, geringe Latenz und Fehlertoleranz machen es ideal für die Verarbeitung und Analyse großer Datenmengen.
Das obige ist der detaillierte Inhalt vonDie Rolle von Storm bei der Java-Big-Data-Verarbeitung. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
