PHP는 엄청난 양의 데이터가 포함된 EXCEL 파일을 실시간으로 생성하고 다운로드합니다.

최근 선택한 기간 동안 해당 사용자의 액세스 로그를 엑셀로 내보내 달라는 요청을 받았습니다. 사용자 수가 많아 50만 개가 넘는 데이터를 내보내는 경우가 많습니다.

일반적으로 사용되는 PHPexcel 패키지는 Excel을 생성하기 전에 모든 데이터를 가져와야 합니다. 이로 인해 대량의 데이터가 포함된 Excel 파일을 생성할 때 메모리 오버플로가 발생할 수 있으므로 브라우저를 다운로드하는 동안 PHP를 사용하여 출력 스트림에 쓰는 것을 고려해 보세요. 요구 사항을 완료하기 위한 양식입니다.

우리는 다음과 같은 방법으로 PHP 출력 스트림에 씁니다.

$fp = fopen('php://output', 'a');
fputs($fp, 'strings');
....
....
fclose($fp)

php://output은 쓰기 가능한 출력 스트림으로, 프로그램이 파일처럼 출력 스트림에 출력을 쓸 수 있게 하며, PHP는 내용을 다음으로 전송합니다. 그리고 엑셀 데이터는 데이터베이스에서 점진적으로 읽어온 후 출력 스트림에 쓰기 때문에 PHP의 실행 시간을 더 길게(기본 30초) 설정해야 합니다. (0 )은 PHP 실행 시간을 제한하지 않습니다.

참고:

다음 코드는 대량의 데이터로 EXCEL을 생성하는 아이디어와 단계만 설명합니다. 프로젝트 비즈니스 코드를 제거한 후 프로그램에 구문 오류가 있어 해당 비즈니스를 직접 입력할 수 없습니다. 자신의 필요에 따라 코드를 작성하십시오!

/**
     * 文章访问日志
     * 下载的日志文件通常很大, 所以先设置csv相关的Header头, 然后打开
     * PHP output流, 渐进式的往output流中写入数据, 写到一定量后将系统缓冲冲刷到响应中
     * 避免缓冲溢出
     */
    public function articleAccessLog($timeStart, $timeEnd)
    {
        set_time_limit(0);
        $columns = [
            '文章ID', '文章标题', ......
        ];
        $csvFileName = '用户日志' . $timeStart .'_'. $timeEnd . '.xlsx';
        //设置好告诉浏览器要下载excel文件的headers
        header('Content-Description: File Transfer');
        header('Content-Type: application/vnd.ms-excel');
        header('Content-Disposition: attachment; filename="'. $fileName .'"');
        header('Expires: 0');
        header('Cache-Control: must-revalidate');
        header('Pragma: public');
        $fp = fopen('php://output', 'a');//打开output流
        mb_convert_variables('GBK', 'UTF-8', $columns);
        fputcsv($fp, $columns);//将数据格式化为CSV格式并写入到output流中
        $accessNum = '1000000'//从数据库获取总量，假设是一百万
        $perSize = 1000;//每次查询的条数
        $pages   = ceil($accessNum / $perSize);
        $lastId  = 0;
        for($i = 1; $i <= $pages; $i++) {
            $accessLog = $logService->getArticleAccessLog($timeStart, $timeEnd, $lastId, $perSize);
            foreach($accessLog as $access) {
                $rowData = [
                    ......//每一行的数据
                ];
                mb_convert_variables(&#39;GBK&#39;, &#39;UTF-8&#39;, $rowData);
                fputcsv($fp, $rowData);
                $lastId = $access->id;
            }
            unset($accessLog);//释放变量的内存
            //刷新输出缓冲到浏览器
            ob_flush();
            flush();//必须同时使用 ob_flush() 和flush() 函数来刷新输出缓冲。
        }
        fclose($fp);
        exit();
    }

알겠습니다. 출력 스트림을 단계별로 작성하여 브라우저에 전송하여 브라우저가 단계별로 전체 파일을 다운로드하도록 하는 것입니다. 파일을 얻을 수 없으므로 헤더를 설정할 방법이 없습니다. ("Content-Length: $size") 다운로드하기 전에 파일 크기를 브라우저에 알립니다. 그러나 전체적인 효과에는 영향을 미치지 않습니다. 여기서 핵심 문제는 대용량 파일의 실시간 생성 및 다운로드를 해결하는 것입니다.

업데이트:

EXCEL에 점진적으로 기록되는 데이터는 실제로 MySQL의 페이징 쿼리에서 나온 것이기 때문에 여기서 데이터베이스 쿼리에 대한 내 생각에 대해 이야기하겠습니다. 그러나 오프셋은 LIMIT입니다. Mysql은 첫 번째 페이징 쿼리 중에 더 많은 행을 건너뛰어야 하며 이는 Mysql 쿼리의 효율성에 심각한 영향을 미칩니다(MongoDB와 같은 NoSQL을 포함하여 결과 세트를 얻기 위해 여러 행을 건너뛰는 것은 권장되지 않습니다). 그래서 LastId 메서드를 사용하여 페이징을 수행합니다. 다음 문장과 유사:

SELECT columns FROM `table_name` 
WHERE `created_at` >= 'time range start' 
AND `created_at` <= &#39;time range end&#39; 
AND  `id` < LastId 
ORDER BY `id` DESC 
LIMIT num

위 내용은 PHP는 엄청난 양의 데이터가 포함된 EXCEL 파일을 실시간으로 생성하고 다운로드합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!