小小一個改動,竟能讓json_decode記憶體節省70%?
json_decode對JSON格式的字串進行解碼,接受一個JSON格式的字串並且把它轉換為PHP變數。但是運行json_decode可能會出現超出記憶體上線,這是該怎麼辦?
如果你用PHP的json_decode函數解析JSON字串,而且JSON字串中包含一個大量元素的數組,那你就要小心解析過程中PHP超出記憶體上限了。
筆者在開發時遇到一個JSON檔案需要解析,該JSON中包含了一個由眾多MAC位址組成的數組,像這樣:
{ "name": "MAC File", "date": "2017-11-08", "macList": [ "11-11-11-11-11-11", "22-22-22-22-22-22", ... ] }
結果json_decode過程中超出了PHP默認的128M內存上限。
WHAT,超限了? !這張JSON檔才 10M 啊!
在大罵「這函數是不是有BUG」之後,仔細推敲下,發現問題出在MAC位址構成的陣列上。要知道PHP的陣列是很吃記憶體的。
PHP數組究竟多吃內存,可以做個簡單的試驗,向數組內放入50萬個MAC地址,打印內存佔用量:
$a = []; for ($i = 0; $i !== 500000; $i++) { $a[] = '11-11-11-11-11-11'; } echo memory_get_usage() . PHP_EOL;
如果把這些MAC地址寫在一個文件裡,理論上只佔9.6M 磁碟空間,但是PHP數組維護相同的訊息,卻佔了72.4M 記憶體。
有辦法解決json_deocde時的記憶體超限嗎?當然,簡單粗暴點的話就把記憶體上限調高:
ini_set('memory_limit','1024M');
雖然可行,但會引發一個問題,就是:
可能被其他語言的工程師嘲笑PHP佔內存。
那有沒有更明智的辦法解決記憶體超限問題?
有。因為PHP數組佔用記憶體很大,所以我們要避免json_decode在解碼時產生巨大數組。怎麼做呢?這就要從JSON的編碼格式下手,例如可以把巨大的JSON數組修改成字串:
{ "name": "MAC File", "date": "2017-11-08", "macList": "11-11-11-11-11-11,22-22-22-22-22-22,...", }
我把macList從數組轉換成以逗號分割的字串。這樣可以避免json_decde產生一個巨大無比的數組,取而代之的是一個超長的字串。
字串佔用的記憶體量可比陣列小多了,剛才50萬個MAC位址,瞬間只佔9.7M的記憶體。修改完之後,json_decode順利解析成功,而且解析速度更快了。
原先macList是個數組,可以透過foreach遍歷其中的元素,現在是字串了,該怎麼遍歷呢?
不難,可以用strtok:
$tok = strtok($macList, ','); while ($tok !== false) { $mac = $tok; $tok = strtok(','); }
遍歷的難度沒有增加多少,對吧?
你可能會問,這種方法可以對付簡單的JSON數組,如果一個JSON數組的每個元素是個JSON對象,該怎麼辦?
我們可以這樣建構字串:
{ "list": '{"name":"obj1"}###{"name":"obj2"}###...' }
字串由一個小的JSON組成,它們之間用特殊的標記
分割。在解析時,根據特殊標記切分出一個個JSON對象,再用json_decode逐個解析:$tok = strtok($objectList, '###'); // 按###切割 while ($tok !== false) { $objectStr = $tok; // 每切割出一个JSON对象就解码 $object = json_decode($objectStr, true); $tok = strtok('###'); }
保存MAC位址方式 | 數組方式 | 字串方式 |
---|---|---|
JSON檔案大小 | 9.6M | 8.6M(每個元素省了一對引號) |
平均記憶體佔用 | 72.4M | #8.7M |
平均json_decode解析時間 | 0.73s | 0.41s |
#儲存MAC位址方式 | 陣列方式 | 字串方式 |
---|---|---|
JSON檔案大小 | 20M | 18M |
平均記憶體佔用 | 204.6M | #54.2M |
#平均json_decode解析時間 | ##1.61s | 0.81s |
解析200萬個MAC:
儲存MAC位址方式 | 陣列方式 | 字串方式 |
---|---|---|
JSON檔案大小 | 40M | 36M |
#平均記憶體佔用 | 409.0M | 108.2M |
平均json_decode解析時間 | 3.05s | 1.53s |
以上是小小一個改動,竟能讓json_decode記憶體節省70%?的詳細內容。更多資訊請關注PHP中文網其他相關文章!

熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

Video Face Swap
使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

熱工具

記事本++7.3.1
好用且免費的程式碼編輯器

SublimeText3漢化版
中文版,非常好用

禪工作室 13.0.1
強大的PHP整合開發環境

Dreamweaver CS6
視覺化網頁開發工具

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

PHP 8.4 帶來了多項新功能、安全性改進和效能改進,同時棄用和刪除了大量功能。 本指南介紹如何在 Ubuntu、Debian 或其衍生版本上安裝 PHP 8.4 或升級到 PHP 8.4

Visual Studio Code,也稱為 VS Code,是一個免費的原始碼編輯器 - 或整合開發環境 (IDE) - 可用於所有主要作業系統。 VS Code 擁有大量針對多種程式語言的擴展,可以輕鬆編寫

JWT是一種基於JSON的開放標準,用於在各方之間安全地傳輸信息,主要用於身份驗證和信息交換。 1.JWT由Header、Payload和Signature三部分組成。 2.JWT的工作原理包括生成JWT、驗證JWT和解析Payload三個步驟。 3.在PHP中使用JWT進行身份驗證時,可以生成和驗證JWT,並在高級用法中包含用戶角色和權限信息。 4.常見錯誤包括簽名驗證失敗、令牌過期和Payload過大,調試技巧包括使用調試工具和日誌記錄。 5.性能優化和最佳實踐包括使用合適的簽名算法、合理設置有效期、

本教程演示瞭如何使用PHP有效地處理XML文檔。 XML(可擴展的標記語言)是一種用於人類可讀性和機器解析的多功能文本標記語言。它通常用於數據存儲

靜態綁定(static::)在PHP中實現晚期靜態綁定(LSB),允許在靜態上下文中引用調用類而非定義類。 1)解析過程在運行時進行,2)在繼承關係中向上查找調用類,3)可能帶來性能開銷。

字符串是由字符組成的序列,包括字母、數字和符號。本教程將學習如何使用不同的方法在PHP中計算給定字符串中元音的數量。英語中的元音是a、e、i、o、u,它們可以是大寫或小寫。 什麼是元音? 元音是代表特定語音的字母字符。英語中共有五個元音,包括大寫和小寫: a, e, i, o, u 示例 1 輸入:字符串 = "Tutorialspoint" 輸出:6 解釋 字符串 "Tutorialspoint" 中的元音是 u、o、i、a、o、i。總共有 6 個元

PHP的魔法方法有哪些? PHP的魔法方法包括:1.\_\_construct,用於初始化對象;2.\_\_destruct,用於清理資源;3.\_\_call,處理不存在的方法調用;4.\_\_get,實現動態屬性訪問;5.\_\_set,實現動態屬性設置。這些方法在特定情況下自動調用,提升代碼的靈活性和效率。

PHP和Python各有優勢,選擇依據項目需求。 1.PHP適合web開發,尤其快速開發和維護網站。 2.Python適用於數據科學、機器學習和人工智能,語法簡潔,適合初學者。
