Eine kleine Änderung kann 70 % des json_decode-Speichers einsparen?

json_decode dekodiert eine JSON-formatierte Zeichenfolge, akzeptiert eine JSON-formatierte Zeichenfolge und konvertiert sie in eine PHP-Variable. Aber wenn ich json_decode ausführe, kann der Speicher überschritten werden. Was soll ich tun?

Wenn Sie die json_decode-Funktion von PHP zum Parsen eines JSON-Strings verwenden und der JSON-String ein Array mit einer großen Anzahl von Elementen enthält, müssen Sie darauf achten, dass PHP während des Parsing-Vorgangs das Speicherlimit überschreitet.

Der Autor ist auf eine JSON-Datei gestoßen, die während der Entwicklung analysiert werden musste. Die JSON enthielt ein Array bestehend aus vielen MAC-Adressen, wie folgt:

{
    "name": "MAC File",
    "date": "2017-11-08",
    "macList": [
        "11-11-11-11-11-11",
        "22-22-22-22-22-22",
        ...
    ]
}

Infolgedessen hat der json_decode-Prozess das standardmäßige 128-MB-Speicherlimit von PHP überschritten.

WAS, ist der Grenzwert überschritten? ! Diese JSON-Datei ist nur 10 MB groß!

Nachdem ich „Gibt es einen Fehler in dieser Funktion?“ fluchte, stellte ich nach sorgfältiger Überlegung fest, dass das Problem im Array aus MAC-Adressen liegt. Sie müssen wissen, dass PHP-Arrays viel Speicher verbrauchen.

Wie viel Speicher verbraucht das PHP-Array? Sie können ein einfaches Experiment durchführen und die Speichernutzung ausdrucken:

$a = [];
for ($i = 0; $i !== 500000; $i++) {
    $a[] = '11-11-11-11-11-11';
}
echo memory_get_usage() . PHP_EOL;

Wenn Sie diese MAC-Adressen in eine Datei schreiben, sind das theoretisch nur 9,6 MB. Das PHP-Array behält jedoch die gleichen Informationen bei, belegt jedoch 72,4 MB Speicher.

Gibt es eine Möglichkeit, den Speicherüberlauf bei json_deocde zu beheben? Um es einfach und grob zu sagen, erhöhen Sie einfach das Speicherlimit:

ini_set('memory_limit','1024M');

Obwohl es machbar ist, wird es ein Problem verursachen, nämlich:

kann von Ingenieuren anderer Sprachen wegen des Speicherbedarfs von PHP lächerlich gemacht werden.

Gibt es eine intelligentere Möglichkeit, das Problem der Speicherüberschreitung zu lösen?

Ja. Da PHP-Arrays viel Speicher beanspruchen, müssen wir verhindern, dass json_decode beim Dekodieren große Arrays generiert. Wie geht das? Dies beginnt mit dem JSON-Kodierungsformat. Sie können beispielsweise ein großes JSON-Array in einen String umwandeln:

{
    "name": "MAC File",
    "date": "2017-11-08",
    "macList": "11-11-11-11-11-11，22-22-22-22-22-22，...",
}

Ich habe macList von einem Array in einen durch Kommas getrennten String konvertiert. Dadurch wird verhindert, dass json_decde ein riesiges Array generiert, und es wird durch eine extrem lange Zeichenfolge ersetzt.

Der von Strings belegte Speicher ist viel kleiner als der von Arrays. Die 500.000 MAC-Adressen belegten gerade nur 9,7 MB Speicher. Nach der Änderung wurde json_decode erfolgreich analysiert und die Analysegeschwindigkeit war schneller.

Ursprünglich war macList ein Array und die darin enthaltenen Elemente konnten durch foreach durchlaufen werden.

Es ist nicht schwierig, Sie können strtok verwenden:

$tok = strtok($macList, ',');
while ($tok !== false) {
    $mac = $tok;
    $tok = strtok(',');
}

Die Schwierigkeit des Durchquerens erhöht sich nicht viel, oder?

Sie fragen sich vielleicht, diese Methode kann mit einfachen JSON-Arrays umgehen. Was sollen wir tun, wenn jedes Element eines JSON-Arrays ein JSON-Objekt ist?

Wir können den String wie folgt aufbauen:

{
    "list": '{"name":"obj1"}###{"name":"obj2"}###...'
}

Der String besteht aus kleinen JSONs, getrennt durch das Sonderzeichen ###. Trennen Sie JSON-Objekte beim Parsen nach speziellen Tags und analysieren Sie sie dann einzeln mit json_decode:

$tok = strtok($objectList, '###'); // 按###切割
while ($tok !== false)
{
    $objectStr = $tok;
     // 每切割出一个JSON对象就解码
    $object = json_decode($objectStr, true);
    $tok = strtok('###');
}

Sie können auch Ihre eigene Methode zum Codieren/Parsen dieser sehr langen Zeichenfolge erstellen. Kurz gesagt, das ultimative Ziel besteht darin, sie zu vermeiden json_decode beim Dekodieren Während des Prozesses wird ein sehr großes Array generiert.

Durch diesen Artikel sollten Sie einen Einblick in die Fähigkeit des PHP-Arrays erhalten, Speicher zu verbrauchen. Das Ersetzen von Arrays in JSON durch String-Darstellungen kann viel Speicher sparen. Als Referenz habe ich auch Vergleichsdaten ausgeführt:

500.000 MACs analysieren:

MAC-Adressmethode speichernArray-MethodeString-MethodeJSON-Dateigröße

MAC-Adressmethode speichern	Array-Methode	String-Methode
JSON-Dateigröße	9,6 M	8,6 Mio (Für jedes Element werden zwei Anführungszeichen weggelassen)
Parsen Sie 1 Million MACs:

20M

18MDurchschnittliche Speichernutzung 204,6 Mio.54,2 Mio.Durchschnittliche json_decode-Analysezeit1,61 s0,81 sSo speichern Sie die MAC-AdresseArray-ModusString-Modus JSON Dateigröße

2 Millionen MACs analysieren:

40M

36MDurchschnittliche Speichernutzung409,0M108,2MDurchschnittliche json_decode-Analysezeit 3,05s1,53 Sekundenphp-Video Tutorial

Empfohlenes Lernen:

Das obige ist der detaillierte Inhalt vonEine kleine Änderung kann 70 % des json_decode-Speichers einsparen?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!