我所经历的大文件数据导出（后台执行,自动生成）-php教程-PHP中文网

我所经历的大文件数据导出（后台执行,自动生成）

WBOY

发布： 2016-07-30 13:31:57

原创

1414 人浏览过

一、前言

记录一下以前做的后台excel格式导出统计信息的功能，也是最近同事问到了相关东西，一时之间竟忘了具体的细节，因此记录一下；

大家知道，excel导出数据的功能，后台几乎是必须功能，一般都是点击后，生成文件然后自动下载，

如果是数据量小的话，一下子便可请求完成，从而下载到本地；

但是，如果数据量特别大的时候，页面就必须一直在等待，直到写入excel成功，

这样便影响了后台使用者无法操作其他页面，为此，对excel导出做了以下功能优化：

excel导出分成两部分内容：生成excel文件和下载excel文件

excel的文件生成在程序后台执行，前端不必等待，可进行其他后台操作

增加下载文件页面，显示excel文件生成的进度，完成后，方可下载生成的excel文件

文件生成后，点击下载方可下载相应的文件

二、生成excel文件

生成excel文件的方法有很多，暂不一一记录，只是记录本次的方法；

这里用到了table的html格式，以及相应的excel的声明

（隐约记得其他的方法用office07打开的时候好像是乱码，后面尝试用csv格式文件，可还是乱码，所以用了table的形式）

文件的开头：

<spanmicrosoft yahei><span> 1</span><span>$struserdata</span> = Eof
<span> 2</span>          3         xmlns:x="urn:schemas-microsoft-com:office:excel"
<span> 4</span>         xmlns="http://www.w3.org/TR/REC-html40">
<span> 5</span><span> 6</span>         span>PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<span> 7</span>         
<span> 8</span>         
<span> 9</span>             <meta http-equiv="Content-type" c>
<span>10</span>         <style>
<span>11         </style>
<span>12</span>         
<span>13</span>         
<span>14</span>         <div align="center" x:publishsource="Excel">
<span>15</span><span>16</span>         <table x:str border="1" cellpadding="0" cellspacing="0" width="100%">
<span>17</span> Eof;<spanmicrosoft yahei>View Code<p><spanmicrosoft yahei>    文件的结尾：</spanmicrosoft></p>
<div><spanmicrosoft yahei><img src="http://image.codes51.com/Article/image/20150810/20150810094650_3369.gif" alt=""><img src="http://image.codes51.com/Article/image/20150810/20150810094650_3369.gif" alt=""><p></p>
<pre class="brush:php;toolbar:false"><spanmicrosoft yahei><span>1</span><span>$struserdata</span> = Eof
<span>2</span>         </spanmicrosoft>

登录后复制

<spanmicrosoft yahei>1// $cmd = "/usr/bin/php /home/xxx/xxx.php " . $strjoin . " >/dev/null & "; 2 // $a=exec($cmd, $out, $returndata);345$command = "/usr/bin/php ".STATISTIC_EXPORT_SCRIPT_DIR."xxx.php " . "'" .$strjoin ."'". " " . $uid . " ". $action ." & "; 6$process = proc_open($command, array(),$pipes); 7$var = proc_get_status($process); 8proc_close($process); 9$pid = intval($var['pid'])+1;</spanmicrosoft>

<spanmicrosoft yahei>1set_time_limit(0); //取消脚本运行时间的超时上限23ignore_user_abort(TRUE); //后台运行,不受用户关闭浏览器的影响</spanmicrosoft>

<spanmicrosoft yahei>1$statistic = call_user_func(array('shellscript','get_result'),$url,$params); 2if(!is_object($statistic) || !isset($statistic->data->items)){ 3usleep(400000);//停止400毫秒4$statistic = call_user_func(array('shellscript','get_result'),$url,$params); 5 }</spanmicrosoft>

<spanmicrosoft yahei> 1publicfunction execscript_process(){ 2$this->load->library('smarty'); 3$file_arr_str = array(); 4$file_arr_process = array(); 5$file_arr_name = array(); 6$file_arr = array(); 7$refresh_flag = 'yes'; 8$uid = $_REQUEST['uid']; 9$url_dir = STATISTIC_EXPORT_FILE_DIR.$uid .'/';//@todo10if(!is_dir($url_dir)){ 11 @mkdir($url_dir,0777); 12 } 13$files = scandir($url_dir); 1415if(!empty($files)){ 16foreach ($filesas$key => $value) { 17if($value!='.' && $value!='..'){ 18if(substr($value, 0 , 5)=="flag_"){ 19$file_size = filesize($url_dir . $value); 20if(!empty($file_size)){ 21$fhandle = fopen($url_dir . $value, 'rb+'); 22fseek($fhandle, -1, SEEK_END); 23$fstr = ''; 24while(($c = fgetc($fhandle)) !== false) { 25if($c == "\n" && $fstr) break; 26$fstr = $c . $fstr; 27fseek($fhandle, -2, SEEK_CUR); 28 } 29fclose($fhandle); 30$fstr = trim($fstr); 31$fstr_arr_str = explode(',', $fstr); 32$file_arr_process[] = 100 * number_format($fstr_arr_str[0]/$fstr_arr_str[1],2).'%'; 33$file_arr_name[] = substr($value,5); 34 } 35 } 36 } 37 } 3839foreach ($file_arr_processas$key => $value) { 40if($value != '100%'){ 41$refresh_flag = 'no'; 42break; 43 } 44 } 45 } 4647$file_arr = array( 48 'process' => $file_arr_process, 49 'name' => $file_arr_name, 50 'refresh_flag' => $refresh_flag51 ); 52$file_arr_json = json_encode($file_arr); 53echo$file_arr_json; 54 }</spanmicrosoft>

<spanmicrosoft yahei> 1publicfunction execscript_download(){ 2$filename = $_REQUEST['filename']; 3$uid = $_REQUEST['uid']; 4$file_dir = STATISTIC_EXPORT_FILE_DIR.$uid.'/'.$filename; 5if (!file_exists($file_dir)){ 6header("Content-type: text/html; charset=utf-8"); 7echo "File not found!"; 8exit; 9 } else { 10ini_set("memory_limit","500M"); 11header('Content-Description: File Transfer'); 12header('Content-Type: application/octet-stream'); 13header('Content-Disposition: attachment; filename='.basename($file_dir)); 14header('Content-Transfer-Encoding: binary'); 15header('Expires: ' . gmdate('D, d M Y H:i:s') . ' GMT'); 16header('Cache-Control: must-revalidate,post-check=0, pre-check=0'); 17header('Pragma: public'); 18header('Content-Length: ' . filesize($file_dir)); 19readfile($file_dir); 20 } 2122 }</spanmicrosoft>

<spanmicrosoft yahei> 1publicfunction execscript_process_show(){ 2$this->load->library('smarty'); 3$uid = $_REQUEST['uid']; 4$url_dir = STATISTIC_EXPORT_FILE_DIR.$uid .'/';//@todo 5if(!is_dir($url_dir)){ 6 @mkdir($url_dir,0777); 7 } 8$files = scandir($url_dir); 9if(!empty($files)){ 10foreach ($filesas$key => $value) { 11if($value!='.' && $value!='..'){ 12foreach ($filesas$key => $value) { 13if($value!='.' && $value!='..'){ 14if(substr($value, 0 , 5)!="flag_"){ 15$filenamedate = substr($value, 0,10); 16$today = date('Y-m-d',time()); 17$filenamedate = date('Y-m-d',strtotime($filenamedate)+(STATISTIC_FILE_EXPIRE_DAY-1)*24*3600); 18if($today>$filenamedate){//文件过期19 @unlink($url_dir . $value); 20 @unlink($url_dir . 'flag_' . $value); 21 } 22 } 23 } 24 } 25 } 26 } 27 } 2829$this->smarty->assign('uid',$uid); 30$this->smarty->display('interact/statistic/execscript.tpl'); 31 }</spanmicrosoft>

<spanmicrosoft yahei>http://blog.csdn.net/yysdsyl/article/details/4636457 http://www.codesky.net/article/201202/163385.html http://www.cnblogs.com/zdz8207/p/3765567.html http://blog.163.com/mojian20040228@126/blog/static/4112219320097300922992/ http://php.net/manual/en/features.commandline.php http://blog.csdn.net/yangjun07167/article/details/5603425 http://blog.csdn.net/yunsongice/article/details/5445448 http://www.cppblog.com/amazon/archive/2011/12/01/161281.aspx http://blog.51yip.com/tag/proc_open http://www.justwinit.cn/post/1418/ http://limboy.me/tech/2010/12/05/php-async.html</spanmicrosoft>