首頁 後端開發 PHP問題 小小一個改動,竟能讓json_decode記憶體節省70%?

小小一個改動,竟能讓json_decode記憶體節省70%?

Jul 22, 2021 pm 05:41 PM
php

json_decode對JSON格式的字串進行解碼,接受一個JSON格式的字串並且把它轉換為PHP變數。但是運行json_decode可能會出現超出記憶體上線,這是該怎麼辦?

小小一個改動,竟能讓json_decode記憶體節省70%?

如果你用PHP的json_decode函數解析JSON字串,而且JSON字串中包含一個大量元素的數組,那你就要小心解析過程中PHP超出記憶體上限了。

筆者在開發時遇到一個JSON檔案需要解析,該JSON中包含了一個由眾多MAC位址組成的數組,像這樣:

{
    "name": "MAC File",
    "date": "2017-11-08",
    "macList": [
        "11-11-11-11-11-11",
        "22-22-22-22-22-22",
        ...
    ]
}
登入後複製

結果json_decode過程中超出了PHP默認的128M內存上限。

WHAT,超限了? !這張JSON檔才 10M 啊!

在大罵「這函數是不是有BUG」之後,仔細推敲下,發現問題出在MAC位址構成的陣列上。要知道PHP的陣列是很吃記憶體的。

PHP數組究竟多吃內存,可以做個簡單的試驗,向數組內放入50萬個MAC地址,打印內存佔用量:

$a = [];
for ($i = 0; $i !== 500000; $i++) {
    $a[] = '11-11-11-11-11-11';
}
echo memory_get_usage() . PHP_EOL;
登入後複製

如果把這些MAC地址寫在一個文件裡,理論上只佔9.6M 磁碟空間,但是PHP數組維護相同的訊息,卻佔了72.4M 記憶體。

有辦法解決json_deocde時的記憶體超限嗎?當然,簡單粗暴點的話就把記憶體上限調高:

ini_set('memory_limit','1024M');
登入後複製

雖然可行,但會引發一個問題,就是:

可能被其他語言的工程師嘲笑PHP佔內存。

那有沒有更明智的辦法解決記憶體超限問題?

有。因為PHP數組佔用記憶體很大,所以我們要避免json_decode在解碼時產生巨大數組。怎麼做呢?這就要從JSON的編碼格式下手,例如可以把巨大的JSON數組修改成字串:

{
    "name": "MAC File",
    "date": "2017-11-08",
    "macList": "11-11-11-11-11-11,22-22-22-22-22-22,...",
}
登入後複製

我把macList從數組轉換成以逗號分割的字串。這樣可以避免json_decde產生一個巨大無比的數組,取而代之的是一個超長的字串。

字串佔用的記憶體量可比陣列小多了,剛才50萬個MAC位址,瞬間只佔9.7M的記憶體。修改完之後,json_decode順利解析成功,而且解析速度更快了。

原先macList是個數組,可以透過foreach遍歷其中的元素,現在是字串了,該怎麼遍歷呢?

不難,可以用strtok:

$tok = strtok($macList, ',');
while ($tok !== false) {
    $mac = $tok;
    $tok = strtok(',');
}
登入後複製

遍歷的難度沒有增加多少,對吧?

你可能會問,這種方法可以對付簡單的JSON數組,如果一個JSON數組的每個元素是個JSON對象,該怎麼辦?

我們可以這樣建構字串:

{
    "list": '{"name":"obj1"}###{"name":"obj2"}###...'
}
登入後複製

字串由一個小的JSON組成,它們之間用特殊的標記

分割。在解析時,根據特殊標記切分出一個個JSON對象,再用json_decode逐個解析:

$tok = strtok($objectList, '###'); // 按###切割
while ($tok !== false)
{
    $objectStr = $tok;
     // 每切割出一个JSON对象就解码
    $object = json_decode($objectStr, true);
    $tok = strtok('###');
}
登入後複製
你也可以自創一種編碼/解析這個超長字串的方法,總之最終目標就是避免json_decode在解碼過程中產生超大數組。

透過本文,你應該略到了PHP Array吃記憶體的能力。把JSON中的陣列替換成字串表示,可以節省大量的記憶體。我還跑了一個比較數據,給大家參考:

解析50萬個MAC:保存MAC位址方式數組方式字串方式JSON檔案大小9.6M8.6M(每個元素省了一對引號)平均記憶體佔用72.4M#8.7M平均json_decode解析時間0.73s0.41s

解析100萬個MAC:#儲存MAC位址方式陣列方式字串方式JSON檔案大小20M18M平均記憶體佔用204.6M#54.2M#平均json_decode解析時間
##1.61s 0.81s

解析200萬個MAC:

儲存MAC位址方式 陣列方式 字串方式
JSON檔案大小 40M 36M
#平均記憶體佔用 409.0M 108.2M
平均json_decode解析時間 3.05s 1.53s
##推薦學習:

php影片教學

以上是小小一個改動,竟能讓json_decode記憶體節省70%?的詳細內容。更多資訊請關注PHP中文網其他相關文章!

本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

適用於 Ubuntu 和 Debian 的 PHP 8.4 安裝和升級指南 適用於 Ubuntu 和 Debian 的 PHP 8.4 安裝和升級指南 Dec 24, 2024 pm 04:42 PM

PHP 8.4 帶來了多項新功能、安全性改進和效能改進,同時棄用和刪除了大量功能。 本指南介紹如何在 Ubuntu、Debian 或其衍生版本上安裝 PHP 8.4 或升級到 PHP 8.4

如何設定 Visual Studio Code (VS Code) 進行 PHP 開發 如何設定 Visual Studio Code (VS Code) 進行 PHP 開發 Dec 20, 2024 am 11:31 AM

Visual Studio Code,也稱為 VS Code,是一個免費的原始碼編輯器 - 或整合開發環境 (IDE) - 可用於所有主要作業系統。 VS Code 擁有大量針對多種程式語言的擴展,可以輕鬆編寫

在PHP API中說明JSON Web令牌(JWT)及其用例。 在PHP API中說明JSON Web令牌(JWT)及其用例。 Apr 05, 2025 am 12:04 AM

JWT是一種基於JSON的開放標準,用於在各方之間安全地傳輸信息,主要用於身份驗證和信息交換。 1.JWT由Header、Payload和Signature三部分組成。 2.JWT的工作原理包括生成JWT、驗證JWT和解析Payload三個步驟。 3.在PHP中使用JWT進行身份驗證時,可以生成和驗證JWT,並在高級用法中包含用戶角色和權限信息。 4.常見錯誤包括簽名驗證失敗、令牌過期和Payload過大,調試技巧包括使用調試工具和日誌記錄。 5.性能優化和最佳實踐包括使用合適的簽名算法、合理設置有效期、

您如何在PHP中解析和處理HTML/XML? 您如何在PHP中解析和處理HTML/XML? Feb 07, 2025 am 11:57 AM

本教程演示瞭如何使用PHP有效地處理XML文檔。 XML(可擴展的標記語言)是一種用於人類可讀性和機器解析的多功能文本標記語言。它通常用於數據存儲

解釋PHP中的晚期靜態綁定(靜態::)。 解釋PHP中的晚期靜態綁定(靜態::)。 Apr 03, 2025 am 12:04 AM

靜態綁定(static::)在PHP中實現晚期靜態綁定(LSB),允許在靜態上下文中引用調用類而非定義類。 1)解析過程在運行時進行,2)在繼承關係中向上查找調用類,3)可能帶來性能開銷。

php程序在字符串中計數元音 php程序在字符串中計數元音 Feb 07, 2025 pm 12:12 PM

字符串是由字符組成的序列,包括字母、數字和符號。本教程將學習如何使用不同的方法在PHP中計算給定字符串中元音的數量。英語中的元音是a、e、i、o、u,它們可以是大寫或小寫。 什麼是元音? 元音是代表特定語音的字母字符。英語中共有五個元音,包括大寫和小寫: a, e, i, o, u 示例 1 輸入:字符串 = "Tutorialspoint" 輸出:6 解釋 字符串 "Tutorialspoint" 中的元音是 u、o、i、a、o、i。總共有 6 個元

什麼是PHP魔術方法(__ -construct,__destruct,__call,__get,__ set等)並提供用例? 什麼是PHP魔術方法(__ -construct,__destruct,__call,__get,__ set等)並提供用例? Apr 03, 2025 am 12:03 AM

PHP的魔法方法有哪些? PHP的魔法方法包括:1.\_\_construct,用於初始化對象;2.\_\_destruct,用於清理資源;3.\_\_call,處理不存在的方法調用;4.\_\_get,實現動態屬性訪問;5.\_\_set,實現動態屬性設置。這些方法在特定情況下自動調用,提升代碼的靈活性和效率。

PHP和Python:比較兩種流行的編程語言 PHP和Python:比較兩種流行的編程語言 Apr 14, 2025 am 12:13 AM

PHP和Python各有優勢,選擇依據項目需求。 1.PHP適合web開發,尤其快速開發和維護網站。 2.Python適用於數據科學、機器學習和人工智能,語法簡潔,適合初學者。

See all articles