首页 后端开发 PHP问题 小小一个改动,竟能让json_decode内存节省70%?

小小一个改动,竟能让json_decode内存节省70%?

Jul 22, 2021 pm 05:41 PM
php

json_decode对JSON格式的字符串进行解码,接受一个JSON格式的字符串并且把它转换为PHP变量。但是运行json_decode可能会出现超出内存上线,这是该怎么办?

小小一个改动,竟能让json_decode内存节省70%?

如果你用PHP的json_decode函数解析JSON串,而且JSON串中包含一个大量元素的数组,那你就要小心解析过程中PHP超出内存上限了。

笔者在开发时遇到一个JSON文件需要解析,该JSON中包含了一个由众多MAC地址组成的数组,像这样:

{
    "name": "MAC File",
    "date": "2017-11-08",
    "macList": [
        "11-11-11-11-11-11",
        "22-22-22-22-22-22",
        ...
    ]
}
登录后复制

结果json_decode过程中超出了PHP默认的128M内存上限。

WHAT,超限了?!这个JSON文件才 10M 啊!

在大骂“这函数是不是有BUG”之后,仔细推敲下,发现问题出在MAC地址构成的数组上。要知道PHP的数组是很吃内存的。

PHP数组究竟多吃内存,可以做个简单的试验,向数组内放入50万个MAC地址,打印内存占用量:

$a = [];
for ($i = 0; $i !== 500000; $i++) {
    $a[] = '11-11-11-11-11-11';
}
echo memory_get_usage() . PHP_EOL;
登录后复制

如果把这些MAC地址写在一个文件里,理论上只占 9.6M 磁盘空间,但是PHP数组维护相同的信息,却占了 72.4M 内存 。

有办法解决json_deocde时的内存超限吗?当然,简单粗暴点的话就把内存上限调高:

ini_set('memory_limit','1024M');
登录后复制

虽然可行,但会引发一个问题,就是:

可能被其他语言的工程师嘲笑PHP占内存。

那有没有更明智的办法解决内存超限问题?

有。因为PHP数组占用内存很大,所以我们要避免json_decode在解码时产生巨大数组。怎么做呢?这就要从JSON的编码格式下手,比如可以把巨大的JSON数组修改成字符串:

{
    "name": "MAC File",
    "date": "2017-11-08",
    "macList": "11-11-11-11-11-11,22-22-22-22-22-22,...",
}
登录后复制

我把macList从数组转换成以逗号分割的字符串。这样可以避免json_decde产生一个巨大无比的数组,取而代之的是一个超长的字符串。

字符串占用的内存量可比数组小多了,刚才50万个MAC地址,瞬间只占9.7M的内存。修改完之后,json_decode顺利解析成功,而且解析速度更快了。

原先macList是个数组,可以通过foreach遍历其中的元素,现在是字符串了,该怎么遍历呢?

不难,可以用strtok:

$tok = strtok($macList, ',');
while ($tok !== false) {
    $mac = $tok;
    $tok = strtok(',');
}
登录后复制

遍历的难度没有增加多少,是吧?

你可能会问,这种方法可以对付简单的JSON数组,如果一个JSON数组的每个元素是个JSON对象,该怎么办?

我们可以这样构造字符串:

{
    "list": '{"name":"obj1"}###{"name":"obj2"}###...'
}
登录后复制

字符串由一个个小的JSON组成,它们之间用特殊的标记###分割。在解析时,根据特殊标记切分出一个个JSON对象,再用json_decode逐个解析:

$tok = strtok($objectList, '###'); // 按###切割
while ($tok !== false)
{
    $objectStr = $tok;
     // 每切割出一个JSON对象就解码
    $object = json_decode($objectStr, true);
    $tok = strtok('###');
}
登录后复制

你也可以自创一种编码/解析这个超长字符串的方法,总之最终目标就是避免json_decode在解码过程中产生超大数组。

通过本文,你应该略到了PHP Array吃内存的能力。把JSON中的数组替换成字符串表示,可以节省大量的内存。我还跑了一个对比数据,给大家参考:

解析50万个MAC:

保存MAC地址方式 数组方式 字符串方式
JSON文件大小 9.6M 8.6M(每个元素省了一对引号)
平均内存占用 72.4M 8.7M
平均json_decode解析时间 0.73s 0.41s

解析100万个MAC:

保存MAC地址方式 数组方式 字符串方式
JSON文件大小 20M 18M
平均内存占用 204.6M 54.2M
平均json_decode解析时间 1.61s 0.81s

解析200万个MAC:

保存MAC地址方式 数组方式 字符串方式
JSON文件大小 40M 36M
平均内存占用 409.0M 108.2M
平均json_decode解析时间 3.05s 1.53s

推荐学习:php视频教程

以上是小小一个改动,竟能让json_decode内存节省70%?的详细内容。更多信息请关注PHP中文网其他相关文章!

本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

Video Face Swap

Video Face Swap

使用我们完全免费的人工智能换脸工具轻松在任何视频中换脸!

热工具

记事本++7.3.1

记事本++7.3.1

好用且免费的代码编辑器

SublimeText3汉化版

SublimeText3汉化版

中文版,非常好用

禅工作室 13.0.1

禅工作室 13.0.1

功能强大的PHP集成开发环境

Dreamweaver CS6

Dreamweaver CS6

视觉化网页开发工具

SublimeText3 Mac版

SublimeText3 Mac版

神级代码编辑软件(SublimeText3)

适用于 Ubuntu 和 Debian 的 PHP 8.4 安装和升级指南 适用于 Ubuntu 和 Debian 的 PHP 8.4 安装和升级指南 Dec 24, 2024 pm 04:42 PM

PHP 8.4 带来了多项新功能、安全性改进和性能改进,同时弃用和删除了大量功能。 本指南介绍了如何在 Ubuntu、Debian 或其衍生版本上安装 PHP 8.4 或升级到 PHP 8.4

我后悔之前不知道的 7 个 PHP 函数 我后悔之前不知道的 7 个 PHP 函数 Nov 13, 2024 am 09:42 AM

如果您是一位经验丰富的 PHP 开发人员,您可能会感觉您已经在那里并且已经完成了。您已经开发了大量的应用程序,调试了数百万行代码,并调整了一堆脚本来实现操作

如何设置 Visual Studio Code (VS Code) 进行 PHP 开发 如何设置 Visual Studio Code (VS Code) 进行 PHP 开发 Dec 20, 2024 am 11:31 AM

Visual Studio Code,也称为 VS Code,是一个免费的源代码编辑器 - 或集成开发环境 (IDE) - 可用于所有主要操作系统。 VS Code 拥有针对多种编程语言的大量扩展,可以轻松编写

在PHP API中说明JSON Web令牌(JWT)及其用例。 在PHP API中说明JSON Web令牌(JWT)及其用例。 Apr 05, 2025 am 12:04 AM

JWT是一种基于JSON的开放标准,用于在各方之间安全地传输信息,主要用于身份验证和信息交换。1.JWT由Header、Payload和Signature三部分组成。2.JWT的工作原理包括生成JWT、验证JWT和解析Payload三个步骤。3.在PHP中使用JWT进行身份验证时,可以生成和验证JWT,并在高级用法中包含用户角色和权限信息。4.常见错误包括签名验证失败、令牌过期和Payload过大,调试技巧包括使用调试工具和日志记录。5.性能优化和最佳实践包括使用合适的签名算法、合理设置有效期、

php程序在字符串中计数元音 php程序在字符串中计数元音 Feb 07, 2025 pm 12:12 PM

字符串是由字符组成的序列,包括字母、数字和符号。本教程将学习如何使用不同的方法在PHP中计算给定字符串中元音的数量。英语中的元音是a、e、i、o、u,它们可以是大写或小写。 什么是元音? 元音是代表特定语音的字母字符。英语中共有五个元音,包括大写和小写: a, e, i, o, u 示例 1 输入:字符串 = "Tutorialspoint" 输出:6 解释 字符串 "Tutorialspoint" 中的元音是 u、o、i、a、o、i。总共有 6 个元

您如何在PHP中解析和处理HTML/XML? 您如何在PHP中解析和处理HTML/XML? Feb 07, 2025 am 11:57 AM

本教程演示了如何使用PHP有效地处理XML文档。 XML(可扩展的标记语言)是一种用于人类可读性和机器解析的多功能文本标记语言。它通常用于数据存储

解释PHP中的晚期静态绑定(静态::)。 解释PHP中的晚期静态绑定(静态::)。 Apr 03, 2025 am 12:04 AM

静态绑定(static::)在PHP中实现晚期静态绑定(LSB),允许在静态上下文中引用调用类而非定义类。1)解析过程在运行时进行,2)在继承关系中向上查找调用类,3)可能带来性能开销。

什么是PHP魔术方法(__ -construct,__destruct,__call,__get,__ set等)并提供用例? 什么是PHP魔术方法(__ -construct,__destruct,__call,__get,__ set等)并提供用例? Apr 03, 2025 am 12:03 AM

PHP的魔法方法有哪些?PHP的魔法方法包括:1.\_\_construct,用于初始化对象;2.\_\_destruct,用于清理资源;3.\_\_call,处理不存在的方法调用;4.\_\_get,实现动态属性访问;5.\_\_set,实现动态属性设置。这些方法在特定情况下自动调用,提升代码的灵活性和效率。

See all articles