Was ist das Ergebnis der Entstehung von Big Data?

Die Entstehung von Big Data ist das Ergebnis der Anhäufung quantitativer Datenänderungen zu qualitativen Änderungen.

Big Data (Big Data), ein Begriff aus der IT-Branche, bezeichnet eine Sammlung von Daten, die mit herkömmlichen Softwaretools nicht innerhalb eines bestimmten Zeitraums erfasst, verwaltet und verarbeitet werden können Verarbeitungsmodelle für genauere Daten. Riesige, wachstumsstarke und diversifizierte Informationsbestände mit starken Entscheidungs-, Einblicks- und Prozessoptimierungsfähigkeiten.

Gründe für die Entstehung von Big Data:

Die meisten technologischen Durchbrüche gehen auf tatsächliche Produktanforderungen zurück. Big Data wurde ursprünglich in der Suchmaschine von Google geboren. Mit der Entwicklung des Web 2.0-Zeitalters hat die Datenmenge im Internet explosionsartig zugenommen. Um den Anforderungen der Informationssuche gerecht zu werden, besteht ein sehr großer Bedarf an Datenspeicherung in großem Maßstab.

Aus Kostengründen wird es immer unpraktischer, Hardware zu aktualisieren, um große Datenmengen zu durchsuchen. Daher hat Google ein zuverlässiges softwarebasiertes Dateispeichersystem GFS vorgeschlagen, das normale PCs zur Parallelisierung großer Datenmengen unterstützt.

Die gespeicherten Daten sind von geringem Wert und nur die Daten können verarbeitet werden, um die tatsächlichen Anwendungsanforderungen zu erfüllen. Daher hat Google das MapReduce-Rechenmodell entwickelt, das die Leistungsfähigkeit von Clustern nutzen kann, um komplexe Vorgänge zu kombinieren. Teilen Sie sie in jeden auf Auf einem normalen PC werden nach Abschluss der Berechnung die endgültigen Berechnungsergebnisse durch Zusammenfassen ermittelt, sodass durch direktes Erhöhen der Anzahl der Maschinen eine bessere Rechenleistung erzielt werden kann.

Mit GFS und MapReduce wurden die Speicherung und der Betrieb von Dateien gelöst, es sind jedoch neue Probleme aufgetreten. Die zufälligen Lese- und Schreibfunktionen von GFS sind sehr schlecht, und Google benötigt eine Datenbank zum Speichern formatierter Daten. Das Problem, das ursprünglich durch eine eigenständige Datenbank gelöst wurde, war für Google eine Tragödie, also hat Google, das magische Tool, ein anderes entwickelt Das BigTable-System verwendet das GFS-Dateispeichersystem und ein verteiltes Sperrverwaltungssystem Chubby, um ein spaltenorientiertes Datenbanksystem wie BigTable zu entwerfen.

Das obige ist der detaillierte Inhalt vonWas ist das Ergebnis der Entstehung von Big Data?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!