Serialisierung und Deserialisierung von Python-Objekten: Teil 2

Dies ist der zweite Teil eines Tutorials zum Serialisieren und Deserialisieren von Python-Objekten. Im ersten Teil haben Sie die Grundlagen erlernt und sich dann in die Details von Pickle und JSON vertieft.

In diesem Teil erkunden Sie YAML (stellen Sie sicher, dass Sie das laufende Beispiel aus Teil eins haben), besprechen Leistungs- und Sicherheitsüberlegungen, lernen andere Serialisierungsformate kennen und erfahren schließlich, wie Sie das richtige auswählen. p>

YAML

YAML ist mein Lieblingsformat. Es handelt sich um ein benutzerfreundliches Datenserialisierungsformat. Im Gegensatz zu Pickle und JSON ist es nicht Teil der Python-Standardbibliothek, daher müssen Sie es installieren:

pip 安装 yaml

Das

yaml-Modul verfügt nur über load()和dump()函数。默认情况下，它们使用像 loads() 和 dumps() solcher Zeichenfolgen, kann aber ein zweites Argument annehmen, bei dem es sich um einen offenen Stream handelt, der dann in eine/aus einer Datei gedumpt/geladen werden kann.

import yaml



print yaml.dump(simple)



boolean: true

int_list: [1, 2, 3]

none: null

number: 3.44

text: string

Bitte beachten Sie, wie lesbar YAML im Vergleich zu Pickle oder sogar JSON ist. Jetzt kommt der coole Teil von YAML: Es versteht Python-Objekte! Es sind keine benutzerdefinierten Encoder und Decoder erforderlich. Hier ist eine komplexe Serialisierung/Deserialisierung mit YAML:

> serialized = yaml.dump(complex)

> print serialized



a: !!python/object:__main__.A

  simple:

    boolean: true

    int_list: [1, 2, 3]

    none: null

    number: 3.44

    text: string

when: 2016-03-07 00:00:00



> deserialized = yaml.load(serialized)

> deserialized == complex

True

Wie Sie sehen, verfügt YAML über eine eigene Notation zum Beschriften von Python-Objekten. Die Ausgabe ist immer noch sehr gut lesbar. Datetime-Objekte erfordern kein spezielles Markup, da YAML Datetime-Objekte von Natur aus unterstützt.

Leistung

Bevor Sie über Leistung nachdenken, müssen Sie überlegen, ob Leistung ein Problem darstellt. Wenn Sie relativ selten kleine Datenmengen serialisieren/deserialisieren (z. B. beim Lesen einer Konfigurationsdatei zu Beginn Ihres Programms), ist die Leistung kein wirkliches Problem und Sie können weitermachen.

Angenommen, Sie profilieren Ihr System und stellen fest, dass die Serialisierung und/oder Deserialisierung Leistungsprobleme verursacht, dann müssen die folgenden Probleme behoben werden.

Leistung hat zwei Aspekte: Wie schnell ist die Serialisierung/Deserialisierung und wie groß ist die serialisierte Darstellung?

Um die Leistung verschiedener Serialisierungsformate zu testen, werde ich eine größere Datenstruktur erstellen und diese mit Pickle, YAML und JSON serialisieren/deserialisieren. big_data Liste enthält 5.000 komplexe Objekte.

big_data = [dict(a=simple, when=datetime.now().replace(microsecond=0)) for i in range(5000)]

Kimchi

Ich werde hier IPython verwenden, da es über praktische %timeit magische Funktionen zum Messen der Ausführungszeit verfügt.

import cPickle as pickle



In [190]: %timeit serialized = pickle.dumps(big_data)

10 loops, best of 3: 51 ms per loop



In [191]: %timeit deserialized = pickle.loads(serialized)

10 loops, best of 3: 24.2 ms per loop



In [192]: deserialized == big_data

Out[192]: True



In [193]: len(serialized)

Out[193]: 747328

Standard-Pickle benötigt 83,1 Millisekunden für die Serialisierung und 29,2 Millisekunden für die Deserialisierung, mit einer serialisierten Größe von 747.328 Bytes.

Versuchen wir es mit dem höchsten Protokoll.

In [195]: %timeit serialized = pickle.dumps(big_data, protocol=pickle.HIGHEST_PROTOCOL)

10 loops, best of 3: 21.2 ms per loop



In [196]: %timeit deserialized = pickle.loads(serialized)

10 loops, best of 3: 25.2 ms per loop



In [197]: len(serialized)

Out[197]: 394350

Interessante Ergebnisse. Die Serialisierungszeit sank auf nur 21,2 ms, die Deserialisierungszeit stieg jedoch leicht auf 25,2 ms. Die serialisierte Größe wird deutlich auf 394.350 Byte (52 %) reduziert.

JSON

In [253] %timeit serialized = json.dumps(big_data, cls=CustomEncoder)

10 loops, best of 3: 34.7 ms per loop



In [253] %timeit deserialized = json.loads(serialized, object_hook=decode_object)

10 loops, best of 3: 148 ms per loop



In [255]: len(serialized)

Out[255]: 730000

Okay. Die Leistung beim Kodieren scheint etwas schlechter zu sein als bei Pickle, aber die Leistung beim Dekodieren ist viel, viel schlechter: 6x langsamer. Was ist los? Dies ist ein Artefakt der object_hook-Funktion, die für jedes Wörterbuch ausgeführt werden muss, um zu prüfen, ob es in ein Objekt konvertiert werden muss. Es läuft viel schneller, ohne Objekt-Hooks zu verwenden.

%timeit deserialized = json.loads(serialized)

10 loops, best of 3: 36.2 ms per loop

Die Lektion hier besteht darin, jede benutzerdefinierte Codierung bei der Serialisierung und Deserialisierung in JSON sorgfältig zu berücksichtigen, da sie einen erheblichen Einfluss auf die Gesamtleistung haben kann.

YAML

In [293]: %timeit serialized = yaml.dump(big_data)

1 loops, best of 3: 1.22 s per loop



In[294]: %timeit deserialized = yaml.load(serialized)

1 loops, best of 3: 2.03 s per loop



In [295]: len(serialized)

Out[295]: 200091

Okay. YAML ist wirklich sehr, sehr langsam. Beachten Sie jedoch etwas Interessantes: Die serialisierte Größe beträgt nur 200.091 Byte. Viel besser als Pickle und JSON. Werfen wir einen kurzen Blick hinein:

In [300]: print serialized[:211]

- a: &id001

    boolean: true

    int_list: [1, 2, 3]

    none: null

    number: 3.44

    text: string

  when: 2016-03-13 00:11:44

- a: *id001

  when: 2016-03-13 00:11:44

- a: *id001

  when: 2016-03-13 00:11:44

YAML ist hier sehr clever. Es stellt fest, dass alle 5.000 Wörterbücher denselben „a“-Schlüsselwert haben, speichert ihn also nur einmal und referenziert ihn mit *id001 für alle Objekte.

Sicherheit

Sicherheit ist oft ein kritisches Thema. Pickle und YAML sind aufgrund ihrer Konstruktion aus Python-Objekten anfällig für Codeausführungsangriffe. Clever formatierte Dateien können beliebigen Code enthalten, der von Pickle oder YAML ausgeführt wird. Kein Grund zur Panik. Dies ist beabsichtigt und in der Dokumentation von Pickle dokumentiert:

Warnung: Das Pickle-Modul schützt nicht vor falschen oder böswillig erstellten Daten. Löschen Sie niemals Daten, die Sie von nicht vertrauenswürdigen oder nicht authentifizierten Quellen erhalten haben.

Und was steht im YAML-Dokument:

Warnung: Es ist nicht sicher, yaml.load mit Daten aufzurufen, die von nicht vertrauenswürdigen Quellen stammen! yaml.load ist genauso leistungsstark wie pickle.load und kann daher jede Python-Funktion aufrufen.

Wissen Sie nur, dass Sie Pickle oder YAML nicht zum Laden serialisierter Daten verwenden sollten, die von nicht vertrauenswürdigen Quellen stammen. JSON ist in Ordnung, aber wenn Sie einen benutzerdefinierten Encoder/Decoder haben, sind Sie möglicherweise ebenfalls ungeschützt.

Das

yaml-Modul bietet die yaml.safe_load()-Funktion, die nur einfache Objekte lädt, aber dann verlieren Sie einen Großteil der Funktionalität von YAML und entscheiden sich möglicherweise dafür, nur JSON zu verwenden.

Andere Formate

Es sind viele andere Serialisierungsformate verfügbar. Hier sind einige davon.

Protokollpuffer

Protobuf (d. h. Protocol Buffer) ist das Datenaustauschformat von Google. Es ist in C++ implementiert, verfügt jedoch über Python-Anbindungen. Es verfügt über eine ausgefeilte Architektur und verpackt Daten effizient. Sehr leistungsstark, aber nicht sehr einfach zu bedienen.

Nachrichtenpaket

MessagePack ist ein weiteres beliebtes Serialisierungsformat. Es ist ebenfalls binär und effizient, erfordert aber im Gegensatz zu Protobuf kein Schema. Es verfügt über ein Typsystem, das JSON ähnelt, jedoch umfangreicher ist. Schlüssel können von beliebigem Typ sein, nicht nur Zeichenfolgen, und Nicht-UTF8-Zeichenfolgen werden unterstützt.

CBOR

CBOR steht für Concise Binary Object Representation. Ebenso unterstützt es das JSON-Datenmodell. CBOR ist nicht so berühmt wie Protobuf oder MessagePack, aber aus zwei Gründen interessant:

1. Es ist ein offizieller Internetstandard: RFC 7049.
2. Es ist für das Internet der Dinge (IoT) konzipiert.

Wie wählt man aus?

Das ist eine große Frage. So viele Möglichkeiten, wie wählt man aus? Betrachten wir die verschiedenen Faktoren, die berücksichtigt werden sollten:

1. Sollte das Serialisierungsformat für Menschen lesbar und/oder für Menschen bearbeitbar sein?
2. Werden Sie serialisierte Inhalte von nicht vertrauenswürdigen Quellen erhalten?
3. Ist Serialisierung/Deserialisierung ein Leistungsengpass?
4. Müssen serialisierte Daten mit Nicht-Python-Umgebungen ausgetauscht werden?

Ich mache es Ihnen ganz einfach und gehe ein paar gängige Szenarien und das Format durch, das ich jeweils empfehle:

Speichern Sie automatisch den lokalen Status von Python-Programmen

Verwenden Sie hier Pickle (cPickle) und HIGHEST_PROTOCOL. Es ist schnell, effizient und kann die meisten Python-Objekte ohne speziellen Code speichern und laden. Es kann auch als lokaler persistenter Cache verwendet werden.

Profil

Auf jeden Fall YAML. Für alles, was Menschen lesen oder bearbeiten müssen, geht nichts über seine Einfachheit hinaus. Es wurde von Ansible und vielen anderen Projekten erfolgreich eingesetzt. In manchen Fällen bevorzugen Sie möglicherweise die Verwendung direkter Python-Module als Konfigurationsdateien. Dies mag die richtige Wahl sein, aber es handelt sich nicht um Serialisierung, sondern um einen Teil des Programms und nicht um eine separate Konfigurationsdatei.

Web-API

JSON ist hier der klare Gewinner. Heutzutage werden Web-APIs am häufigsten von JavaScript-Webanwendungen verwendet, die JSON nativ verwenden. Einige Web-APIs geben möglicherweise andere Formate zurück (z. B. CSV für dichte tabellarische Ergebnismengen), aber ich denke, Sie können die CSV-Daten mit minimalem Overhead in JSON packen (keine Notwendigkeit, jede Zeile als Objekt mit allen Spaltennamen zu wiederholen).

Großflächige Kommunikation mit hoher Kapazität und geringer Latenz

Verwenden Sie eines der Binärprotokolle: Protobuf (falls Architektur erforderlich), MessagePack oder CBOR. Führen Sie Ihre eigenen Tests durch, um die Leistung und Darstellungsmöglichkeiten jeder Option zu überprüfen.

Fazit

Serialisierung und Deserialisierung von Python-Objekten ist ein wichtiger Aspekt verteilter Systeme. Sie können Python-Objekte nicht direkt über das Netzwerk senden. Sie müssen häufig mit anderen Systemen interagieren, die in anderen Sprachen implementiert sind, und manchmal möchten Sie einfach nur den Status Ihres Programms in einem dauerhaften Speicher speichern.

Python verfügt über mehrere Serialisierungsschemata in seiner Standardbibliothek und viele weitere sind als Module von Drittanbietern verfügbar. Wenn Sie alle Optionen sowie deren Vor- und Nachteile kennen, können Sie die Methode auswählen, die am besten zu Ihrer Situation passt.

Das obige ist der detaillierte Inhalt vonSerialisierung und Deserialisierung von Python-Objekten: Teil 2. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!