为什么我PHP函数执行问没有释放内存
最近做一个导入大文件,因为涉及到要对文件处理得到需要的结构的数据。
把大量数据保存在数组中。
在处理的过程中,消耗很大内存,不是memory_limit设置问题,我已经设置足够大。
处理过程中自己也有unset掉不要的。但是通过memory_get_usage()输出函数调用前跟调用后的内存对比。
发现函数调用后,内存并没有明显的下降。那些大数组都已经unset掉了。也是一样。
如果导入的文件量不大,不会出现内存溢出的错误提示。但是当文件大到一定程度。就因为执行过程中,
函数调用完,内存还是占用很大。而导致内存溢出。
这个让我有点郁闷了。函数调用完不是都释放了局部变量空间了吗?
是不是什么内存泄露,有人遇到相同问题吗。希望有遇到相同问题的或者有人知道的。一起来讨论下。谢谢。
ps:分数蛮少的,只能这样了。
回复讨论(解决方案)
unset()的是数组还是数组元素?
还有,函数中使用的数组是局部变量还是全局变量?
还有,函数中使用的数组是局部变量还是全局变量?
嗯 这些我都考虑了
unset是数组
我也知道 函数里unset()全局变量
只是消除函数里面那个临时变量
我都有把全局$GLOBALS 变量给unset
还是如此
以前做的东西没出过类似问题,因为之前没处理过这样大的数据。
现在遇到这样的问题,让我重新思考这个问题。
今天还看了 PHP内存管理的原理了
不知道是否有人也遇到过
代码。。。
代码。。。
代码太长了,我贴一个函数吧
function importTestSuiteFormArray1($db,$parentID,$tproject_id,$userID,$duplicateLogic,&$testsuiteArray,&$testcaseArray){ global $productIndex; $unexistPF = array();//用于存放当前项目中没有的excel文件存在的平台 $produceRelFB = array(); $resultMap = null; $tsResult = null;//测试套件导入结果 $tables = tlObject::getDBTables("platforms"); $pfSql = " select id,name from ".$tables['platforms']." where testproject_id=$tproject_id"; $pfRe = $db->fetchColumnsIntoMap($pfSql,"id","name"); $pfRe = is_null($pfRe) ? array() : $pfRe; foreach($productIndex as $vKey=>$pItem){ if(!in_array($vKey, $pfRe)){ $unexistPF[] = $vKey; } }// $memory1 = memory_get_usage();// $fileName = date("md-His");// $hand = fopen("e:/testcase/".$fileName.".txt","a+");// $bTime = microtime_float(); $tempTSArray = array(); $createSuc = "创建成功。"; $updateSuc = "更新成功。"; if(is_array($testsuiteArray) && count($testsuiteArray)>0){ foreach($testsuiteArray as $key=>$tsItem){// $begin = microtime_float(); if ($tsItem['name'] != "") { if($tsItem['parentNum']==0){ $parID = $parentID; }else{ $parID = $tempTSArray[$key]['parentID']; } $tsuiteMgr = new testsuite($db); $info = $tsuiteMgr->get_by_name($tsItem['name'],$parID); if( is_null($info) ) { $ret = $tsuiteMgr->create($parID,$tsItem['name'],"",$tsItem['node_order']); $tsuiteID = $ret['id']; $tsResult[] = array($tsItem['name'],$createSuc); } else { $tsuiteID = $info[0]['id']; $ret = $tsuiteMgr->update($tsuiteID,$tsItem['name'],"",null,$tsItem['node_order']); $tsResult[] = array($tsItem['name'],$updateSuc); } if(is_array($tsItem['children']) && count($tsItem['children'])>0){ foreach($tsItem['children'] as $val){ $tempTSArray[$val]['parentID'] = $tsuiteID; } } }// $end = microtime_float();// fwrite($hand, "每条规约用时:".($end-$begin)."\r\n"); } }// echo "testsuiteArray前".memory_get_usage()."<br>"; $testsuiteArray = null;// echo "testsuiteArray后".memory_get_usage()."<br>"; $GLOBALS['testsuiteArray']=null;// echo "全局testsuiteArray后".memory_get_usage()."<br>"; if(is_array($testcaseArray) && count($testcaseArray)>0){ $tcData = array();// $begin = microtime_float(); $flag = 0; foreach ($testcaseArray as $key=>$tsItem){ if($tsItem['parentNum']==0){ $parID = $parentID; }else{ $parID = $tempTSArray[$key]['parentID']; } $tcData[$flag] = array( "name"=>$tsItem['name'], "node_order"=>$tsItem['order'], "parentID"=>$parID ) ; if(is_array($tsItem['property']) && count($tsItem['property'])>0){ foreach($tsItem['property'] as $pKey=>$val){ $tcData[$flag][$pKey] = $val; } } if(is_array($tsItem['custom_fields']) && count($tsItem['custom_fields'])>0){ foreach($tsItem['custom_fields'] as $cfName=>$cfValue){ $tcData[$flag][customfields][] = array("name"=>$cfName,"value"=>$cfValue); } } if(is_array($tsItem['srs']) && count($tsItem['srs'])>0){ $tcData[$flag]['srs'] = $tsItem['srs']; } if(is_array($tsItem['produce']) && count($tsItem['produce'])>0){ $tcData[$flag]['produce'] = $tsItem['produce']; } $flag++; }// $end = microtime_float();// fwrite($hand, "循环用例时间:".($end-$begin)."\r\n");// echo "testcaseArray前".memory_get_usage()."<br>"; $testcaseArray = null;// echo "testcaseArray后".memory_get_usage()."<br>"; $GLOBALS['testcaseArray']=null;// echo "全局testcaseArray后".memory_get_usage()."<br>"; $tempTSArray = null;// echo "tempTSArray后".memory_get_usage()."<br>"; if(is_array($tcData) && count($tcData)>0){// $begin = microtime_float(); $resultMap = saveImportedTCData1($db,$tcData,$tproject_id,$userID,null,$duplicateLogic,$produceRelFB,$pfRe); $tcData = null;// echo "tcData后".memory_get_usage()."<br>";// $memory2 = memory_get_usage();// $end = microtime_float();// fwrite($hand, "保存用例总时间:".($end-$begin)."\r\n");// fwrite($hand, "总用时:".($end-$bTime)."\r\n");// fwrite($hand, "内存消耗:".($memory2-$memory1)."\r\n"); } } $return = array("resultMap"=>$resultMap,"tsResult"=>$tsResult,"unexistPF"=>$unexistPF,"produceRel"=>$produceRelFB); return $return;// return $resultMap; }
我说明下:$testsuiteArray和$testcaseArray是分析文件,得到的数组。两个数组可能有几十M或者上百M。
现在问题不是想说数组太大,可以采用别的方法目的。问题出在我调用完这个函数,和这个函数里面的saveImportedTCData1函数,调用完saveImportedTCData1 内存也没有明显降低。我试过把所有返回结果跟那些引用的变量都销毁,内存还是占用很大,最终导致溢出了。这样看代码估计很累,谢谢了。
木有人。。。
可以参考
http://www.laruence.com/2011/03/04/1894.html
可以参考
http://www.laruence.com/2011/03/04/1894.html
哈哈,这篇我看过也研究过博主说的。
它说被符号表占了。那我是想符号表占的如何释放。
我正在问那个博主。谢谢你的回复
文件分析后,数组占用了20M
然后数据库操作,这里涉及的操作很多。
执行完后内存比最开始的大接近1G
这样的结果是不是有什么异常啊。
在处理过程中有把 没必要的数据都unset了。
其实经过仔细分析
那些数组在调用完以后都有释放。
那调用完以后为什么会占用那么大内存?
因为数据库的大量操作?
- -
正想问得问题,,3Q
5000个数组,每个数组里面还有的信息较多。
执行了17W多的数据库操作,和40多秒的数据库执行时间
采用循环操作。
每执行完一个数组的操作内存逐渐增加。
照理说每次循环用到得局部变量都一样。
只有保存数据库操作结果的数组有增加,可是它的增加的量小。
不可能需要那么大的内存。
那这些额外的内存占用从哪里来呢?
直到该函数调用完。这些内存空间都没释放,这是为什么呢?
why?why?why?
遇到这个瓶颈让我很苦恼。
经验丰富
很有成就的大哥大叔们
那多出来的内存怎么来的呢?
HELP。。。。。
你试试,释放下数据库连接试试,可能被数据库操作占用了。
你试试,释放下数据库连接试试,可能被数据库操作占用了。
数据库释放了也一样。
这中间的操作导致了 内存泄露了吗?
有人遇到这样的情况吗
我以前碰到过的情况是create_function有内存泄漏,但你这里没有用
这个大概只能自己慢慢调了,
你装xdebug里面有几个功能可以帮助分析内存
我要炸了- -
想太多了
你需要检查一下承载返回值的 $return 所占的空间
你需要检查一下承载返回值的 $return 所占的空间
返回值 $return 被unset了
还是占用很大
$resultMap=saveImportedTCData1($db,$tcData,$tproject_id,$userID,null,$duplicateLogic,$produceRelFB,$pfRe);
在这个函数调用前后的内存差别很大。
我把返回结果$resultMap,$tcData,和$produceRelFB等有关联的数据都unset,还是一样。
函数调用完不是释放完它执行时所分配的所有临时空间吗。怎么会这样子。想不通啊。那块内存哪去了?where are you- -
你去看下php的垃圾回收机制吧。
你去看下php的垃圾回收机制吧。
这个早在我是学生时代就了解java gc
php gc也早就了解了跟java很像的机制。
我现在是觉得不是这些问题
我觉得应该深入php内核 研究下php内存分配机制
使用xdebug 只有执行实现 没有内存情况
我用WinCacheGrind .exe 查看的
还是我没找到- -
如果没有处理过这样大的数据
跟这么多次的数据库操作
在一般系统上还碰不到这些问题
这样功能到不是会常用
但是作为一个管理工具
有时候就是要执行这么几次大数据的处理
我想这个东西解决了
应该又是一次成长 会更加注意效率 还有其他问题
一定要解决
感觉好孤单 一个人自言自语- -
你的这个函数中还调用了其他自定义函数,也还实例化了自定义类,这些都有可能产生问题
你得一个一个排查
那就检查一下这个函数saveImportedTCData1,看看是不是因为他内部的问题
另外如果是从数据库中获取数据,记录集资源有没有被释放……
谢谢楼上两位回答。
自定义类 还有函数没错
其实最大问题saveImportedTCData1 在这个函数。
我把这个函数产生的所有输出都给释放掉了了。
即使是释放完了 通过meomory_get_usage()输出的内存占用依然是调用这个函数之前内存调用的n倍
大概多了一个数量级。
我看我还是检查下这个函数
话说xdebug 能通过WinCacheGrind 查看内存消耗吗
我没看到有查看内存的
再次向回答人说谢谢
ps:其实如果百度跟谷歌能找到我要的答案我一般不会问。我发现我问的问题大多数没有得到想要答案。能跟大家交流沟通也学习很多。再努力找原因。
?????。
自己排查吧,这个外人真帮不上什么忙,特别是你的saveImportedTCData1怎么写的都不知道。
加下引用传递再测试一下,可能是因为你函数里有一次变量分离的,而变量本身又很大的缘故。
$resultMap=saveImportedTCData1($db, &$tcData,$tproject_id,$userID,null,$duplicateLogic, &$produceRelFB,$pfRe);
自己排查吧,这个外人真帮不上什么忙,特别是你的saveImportedTCData1怎么写的都不知道。
加下引用传递再测试一下,可能是因为你函数里有一次变量分离的,而变量本身又很大的缘故。
$resultMap=saveImportedTCData1($db,&$tcData,$tproject_id,$userID,null,$duplicateLogic,&$produc……
恩 我的那个函数原型是刚好在$tcData,和$produceRelFB 有引用
刚才检查了一下
上面那个函数中有行代码
$tcData[$flag][customfields][] = array("name"=>$cfName,"value"=>$cfValue);
[customfields]忘了加引号,我记得曾经看手册有提到这个问题,这个会导致效率很低。
因为php要额外很多检查。所以一直都是习惯加引号。可能不小心给忘了。
结果因为大量数据 所以一下子开销差别就出来,我算了下空间开销差了二十倍。时间开销没算。
问题还没解决还在找另一个函数出现的问题。
经过xdebug 再调试分析
最终问题得以解决
谢谢以上所有朋友
敬佩楼主啊
不过楼主怎么解决的? 我最近也遇到这个类似的问题了 求解
同问楼主是怎么解决的 主要是那些方面的问题 导致的

핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

Video Face Swap
완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!

인기 기사

뜨거운 도구

메모장++7.3.1
사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경

드림위버 CS6
시각적 웹 개발 도구

SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)

뜨거운 주제











Alipay PHP ...

JWT는 주로 신분증 인증 및 정보 교환을 위해 당사자간에 정보를 안전하게 전송하는 데 사용되는 JSON을 기반으로 한 개방형 표준입니다. 1. JWT는 헤더, 페이로드 및 서명의 세 부분으로 구성됩니다. 2. JWT의 작업 원칙에는 세 가지 단계가 포함됩니다. JWT 생성, JWT 확인 및 Parsing Payload. 3. PHP에서 인증에 JWT를 사용하면 JWT를 생성하고 확인할 수 있으며 사용자 역할 및 권한 정보가 고급 사용에 포함될 수 있습니다. 4. 일반적인 오류에는 서명 검증 실패, 토큰 만료 및 대형 페이로드가 포함됩니다. 디버깅 기술에는 디버깅 도구 및 로깅 사용이 포함됩니다. 5. 성능 최적화 및 모범 사례에는 적절한 시그니처 알고리즘 사용, 타당성 기간 설정 합리적,

세션 납치는 다음 단계를 통해 달성 할 수 있습니다. 1. 세션 ID를 얻으십시오. 2. 세션 ID 사용, 3. 세션을 활성 상태로 유지하십시오. PHP에서 세션 납치를 방지하는 방법에는 다음이 포함됩니다. 1. 세션 _regenerate_id () 함수를 사용하여 세션 ID를 재생산합니다. 2. 데이터베이스를 통해 세션 데이터를 저장하십시오.

PHP 개발에서 견고한 원칙의 적용에는 다음이 포함됩니다. 1. 단일 책임 원칙 (SRP) : 각 클래스는 하나의 기능 만 담당합니다. 2. Open and Close Principle (OCP) : 변경은 수정보다는 확장을 통해 달성됩니다. 3. Lisch의 대체 원칙 (LSP) : 서브 클래스는 프로그램 정확도에 영향을 미치지 않고 기본 클래스를 대체 할 수 있습니다. 4. 인터페이스 격리 원리 (ISP) : 의존성 및 사용되지 않은 방법을 피하기 위해 세밀한 인터페이스를 사용하십시오. 5. 의존성 반전 원리 (DIP) : 높고 낮은 수준의 모듈은 추상화에 의존하며 종속성 주입을 통해 구현됩니다.

phpstorm에서 CLI 모드를 디버그하는 방법은 무엇입니까? PHPStorm으로 개발할 때 때때로 CLI (Command Line Interface) 모드에서 PHP를 디버그해야합니다 ...

시스템이 다시 시작된 후 UnixSocket의 권한을 자동으로 설정하는 방법. 시스템이 다시 시작될 때마다 UnixSocket의 권한을 수정하려면 다음 명령을 실행해야합니다.

정적 바인딩 (정적 : :)는 PHP에서 늦은 정적 바인딩 (LSB)을 구현하여 클래스를 정의하는 대신 정적 컨텍스트에서 호출 클래스를 참조 할 수 있습니다. 1) 구문 분석 프로세스는 런타임에 수행됩니다. 2) 상속 관계에서 통화 클래스를 찾아보십시오. 3) 성능 오버 헤드를 가져올 수 있습니다.

PHP 개발에서 PHP의 CURL 라이브러리를 사용하여 JSON 데이터를 보내면 종종 외부 API와 상호 작용해야합니다. 일반적인 방법 중 하나는 컬 라이브러리를 사용하여 게시물을 보내는 것입니다 ...
