Wie verwendet der Python-Crawler MongoDB?

Der Grund, warum Python-Crawler Mongodb verwendet:

1. Die Speichermethode der Dokumentstruktur

Um es einfach auszudrücken: Sie können JSON direkt speichern, Liste

2 Definieren Sie die „Tabelle“ nicht im Voraus, Sie können sie jederzeit erstellen

3 in der „Tabelle“ kann unterschiedlich sein

Das heißt, der erste Datensatz hat 10 Werte und der zweite Datensatz erfordert keine 10 Werte

Es ist sehr gut für unordentliche Daten wie Crawler geeignet.

Inhaltserweiterung:

mongoDB-Einführung:

Es zeichnet sich durch hohe Leistung, einfache Bereitstellung, einfache Verwendung und Speicherung aus Daten sind sehr praktisch. Die wichtigsten Funktionsmerkmale sind:

* Satzorientierte Speicherung, einfach zu speichernde Objekttypdaten.

* Freier Modus.

*Unterstützt dynamische Abfragen.

* Unterstützt die vollständige Indizierung, einschließlich interner Objekte.

* Supportanfrage.

* Unterstützt Replikation und Fehlerwiederherstellung.

* Nutzen Sie eine effiziente Binärdatenspeicherung, auch für große Objekte (wie Videos usw.).

* Behandeln Sie die Fragmentierung automatisch, um die Skalierbarkeit auf Cloud-Ebene zu unterstützen.

*Unterstützt Golang, RUBY, PYTHON, JAVA, C++, PHP, C# und andere Sprachen.

*Das Dateispeicherformat ist BSON (eine Erweiterung von JSON).

* Zugänglich über das Internet.

Das obige ist der detaillierte Inhalt vonWie verwendet der Python-Crawler MongoDB?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!