오늘은 총 219만 라인이 넘는 580M 로그 파일을 처리하기 위해 PHP 코드를 사용해야 합니다. .log 파일이기 때문에 항목 수에 따라 파일을 분할하기가 어렵습니다. Windows에서는 분할을 사용합니다. -l 10000 파일 이름 접두사는 전체 파일을 10,000줄을 기준으로 200개 이상의 작은 파일로 분할한 다음 PHP를 사용하여 이 200개 파일을 반복했습니다. 그러나 실행 후 위의 오류가 나타났습니다.
Baidu에 가서 php.ini의 메모리 할당 문제인 것을 확인했습니다. 기본적으로 PHP 코드가 적용할 수 있는 최대 메모리 바이트 수는 코드를 작성할 때 더 많은 메모리가 필요할 경우 134217728바이트입니다. 오류가 보고되었으므로 php.ini 파일의 구성을 변경했습니다.
그런데 생각해 보니 PHP 스크립트에서 한 번에 요청하는 메모리 공간이 128M를 초과하므로 앞으로는 memory_limit를 아무리 크게 설정해도 앞으로는 분명히 문제가 생길 것입니다.
그 이유는 제가 코딩할 때 변수에 값만 할당하고 unset($var)은 절대 하지 않았기 때문입니다. 이로 인해 메모리 사용량이 점점 더 많아지므로 변수를 더 이상 사용하지 않은 후에는 해당 변수를 설정 해제해야 합니다.
아래 첨부된 코드는 오늘 이 로그 파일을 처리하는 데 사용한 코드입니다.
set_time_limit(1800) ;
/**
* 전송에 실패한 이메일 주소를 로그에서 확인하세요
* @param $directory 로그 디렉터리
* @param $name 실패한 메일함에 저장된 파일명
*/
함수 getmail($directory,$name){
//디렉터리
에 있는 .log 파일을 탐색합니다.
$files=scandir("$directory");
foreach($files를 $v로){
If(preg_match_all("|mail.logD |",$v,$log)){
$logs[]=$log[0][0];
}
}
//모든 .log 파일에서 실패한 이메일을 추출합니다
foreach($log는 $v로 표시){
$row=file("$v");
echo "".$v." 파일 읽기
";
foreach($row as $key => $value)
{
If(eregi("호스트 이름 조회 실패|연결 시간 초과|연결 거부|역방향 호스트 이름을 찾을 수 없음", $value)){
if(preg_match("|w ([- .]w )*@w ([-.]w )*.w ([-.]w )*|", $row[$key],$matches)){
$mail[] = 트림($matches[0]);
echo "보내지 못한 이메일 주소를 가져옵니다.".$matches[0]."
";
}else{
echo "로그에서 전송하지 못한 이메일 주소를 확인할 수 없습니다. 확인해주세요.";
}
}
}
설정 해제($row);
}
//발송에 실패한 추출된 이메일 주소를 mail.txt 파일에 적습니다
$mailurl=fopen("$name","a");
foreach($mail을 $line으로)
{
fwrite($mailurl,$line."rn");
}
echo "".$name"으로 전송에 실패한 모든 이메일 주소를 작성하세요.
";
fclose($mailurl);
}
getmail(".","mail.txt");
?>