社区
学习
工具库
AI工具
休闲
搜索
简体中文
目录
我所经历的大文件数据导出（后台执行,自动生成），数据导出自动生成
一、前言
 二、生成excel文件
 三、让程序在后台执行
 四、显示文件生成进度
 五、下载文件
 六、上线后出现的问题
 七、相应的后续优化
 八、后记
首页 后端开发 php教程 我所经历的大文件数据导出（后台执行,自动生成），数据导出自动生成_PHP教程

我所经历的大文件数据导出（后台执行,自动生成），数据导出自动生成_PHP教程

WBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWB
WBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWB
Jul 13, 2016 am 09:44 AM

我所经历的大文件数据导出（后台执行,自动生成），数据导出自动生成

一、前言

    记录一下以前做的后台excel格式导出统计信息的功能，也是最近同事问到了相关东西，一时之间竟忘了具体的细节，因此记录一下；

    大家知道，excel导出数据的功能，后台几乎是必须功能，一般都是点击后，生成文件然后自动下载，

    如果是数据量小的话，一下子便可请求完成，从而下载到本地；

    但是，如果数据量特别大的时候，页面就必须一直在等待，直到写入excel成功，

    这样便影响了后台使用者无法操作其他页面，为此，对excel导出做了以下功能优化：

登录后复制
登录后复制


 二、生成excel文件


    生成excel文件的方法有很多，暂不一一记录，只是记录本次的方法；


    这里用到了table的html格式，以及相应的excel的声明


    （隐约记得其他的方法用office07打开的时候好像是乱码，后面尝试用csv格式文件，可还是乱码，所以用了table的形式）


    文件的开头：

我所经历的大文件数据导出（后台执行,自动生成），数据导出自动生成_PHP教程 1     $struserdata = <<<Eof
 2          3         xmlns:x="urn:schemas-microsoft-com:office:excel"
 4         xmlns="http://www.w3.org/TR/REC-html40">
 5     
 6         PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
 7         
 8         
 9             
10         
12         
13         
14         

15     
16         17 Eof;View Code
    文件的结尾：
我所经历的大文件数据导出（后台执行,自动生成），数据导出自动生成_PHP教程1 $struserdata = <<<Eof
2         







3         

4         
5         
6 Eof;

View Code

    当然，文件中间就是一些tr td 标签了。


 三、让程序在后台执行


<p><span>    场景：</span></p>
<p><span>        用户点击 生成excel后，跳转到下载页面，程序在后台执行，用户可不必等待生成完成，可执行其他操作；</span></p>
<p><span>        下载页面可看到文件生成的进度以及是否可下载状态</span></p>
<p><span>    思路：</span></p>
<p><span>        点击 生成excel，显示下载页面  ---> show_download方法</span></p>
<p><span>        生成excel ---> create_excel 方法</span></p>

登录后复制


    show_download方法中调用 create_excel方法，而show_download 方法中，自己用了一下命令行执行程序的方式,


    利用php命令行的方式，把参数传递给 create_excel方法



<span><span>1</span>  <span>//</span><span> $cmd = "/usr/bin/php  /home/xxx/xxx.php " . $strjoin . "  >/dev/null & ";
</span><span>2</span> <span> // $a=exec($cmd, $out, $returndata);</span>
<span>3</span>  
<span>4</span>  
<span>5</span>  <span>$command</span> = "/usr/bin/php ".STATISTIC_EXPORT_SCRIPT_DIR."xxx.php " . "'" .<span>$strjoin</span> ."'". " " . <span>$uid</span> . " ". <span>$action</span> ."  & "<span>;
</span><span>6</span>  <span>$process</span> = <span>proc_open</span>(<span>$command</span>, <span>array</span>(),<span>$pipes</span><span>); 
</span><span>7</span>  <span>$var</span> = <span>proc_get_status</span>(<span>$process</span><span>); 
</span><span>8</span>  <span>proc_close</span>(<span>$process</span><span>);
</span><span>9</span>  <span>$pid</span> = <span>intval</span>(<span>$var</span>['pid'])+1;</span>
登录后复制



    而在create_excel方法中：


    需填写以下代码：



<span><span>1</span> <span>set_time_limit</span>(0); <span>//</span><span>取消脚本运行时间的超时上限</span>
<span>2</span> 
<span>3</span> <span>ignore_user_abort</span>(<span>TRUE</span>); <span>//</span><span>后台运行,不受用户关闭浏览器的影响</span></span>
登录后复制



    调用相关的api得到数据：



<span><span>1</span> <span>$statistic</span> = <span>call_user_func</span>(<span>array</span>('shellscript','get_result'),<span>$url</span>,<span>$params</span><span>);
</span><span>2</span> <span>if</span>(!<span>is_object</span>(<span>$statistic</span>) || !<span>isset</span>(<span>$statistic</span>->data-><span>items)){
</span><span>3</span>     <span>usleep</span>(400000);<span>//</span><span>停止400毫秒</span>
<span>4</span>     <span>$statistic</span> = <span>call_user_func</span>(<span>array</span>('shellscript','get_result'),<span>$url</span>,<span>$params</span><span>);
</span><span>5</span> }</span>
登录后复制



 四、显示文件生成进度


    但是怎么显示相应的文件生成进度呢，怎么知道文件到底生成好了没有呢？


    这里，我用到的方法是，在写入数据文件的时候data.xsl，每个数据文件都生成一个对应的文件进度文件，暂且称为flag_data.xsl;


    思路：


登录后复制
登录后复制


    查看文件的进度方法：

我所经历的大文件数据导出（后台执行,自动生成），数据导出自动生成_PHP教程 1     public function execscript_process(){
 2         $this->load->library('smarty');
 3         $file_arr_str = array();
 4         $file_arr_process = array();
 5         $file_arr_name = array();
 6         $file_arr = array();
 7         $refresh_flag = 'yes';
 8         $uid = $_REQUEST['uid'];
 9         $url_dir = STATISTIC_EXPORT_FILE_DIR.$uid .'/';//@todo
10         if(!is_dir($url_dir)){
11             @mkdir($url_dir,0777);
12         }
13         $files = scandir($url_dir);
14 
15         if(!empty($files)){
16             foreach ($files as $key => $value) {
17                 if($value!='.' && $value!='..'){
18                     if(substr($value, 0 , 5)=="flag_"){
19                         $file_size = filesize($url_dir . $value);
20                         if(!empty($file_size)){
21                             $fhandle = fopen($url_dir . $value, 'rb+');
22                             fseek($fhandle, -1, SEEK_END);
23                             $fstr = '';
24                             while(($c = fgetc($fhandle)) !== false) {
25                               if($c == "\n" && $fstr) break;
26                               $fstr = $c . $fstr;
27                               fseek($fhandle, -2, SEEK_CUR);
28                             }
29                             fclose($fhandle);
30                             $fstr = trim($fstr);
31                             $fstr_arr_str = explode(',', $fstr);
32                             $file_arr_process[] = 100 * number_format($fstr_arr_str[0]/$fstr_arr_str[1],2).'%';
33                             $file_arr_name[] = substr($value,5);
34                          }
35                     }
36                 }
37             }
38             
39             foreach ($file_arr_process as $key => $value) {
40                 if($value != '100%'){
41                     $refresh_flag = 'no';
42                     break;
43                 }
44             }
45         }
46 
47         $file_arr = array(
48             'process' => $file_arr_process,
49             'name' => $file_arr_name,
50             'refresh_flag' => $refresh_flag
51             );
52         $file_arr_json = json_encode($file_arr);
53         echo $file_arr_json;
54     }

View Code

 五、下载文件


    文件的下载就好说了，既然已经都生成成功，下载的方法如下：



<span><span> 1</span>     <span>public</span> <span>function</span><span> execscript_download(){
</span><span> 2</span>         <span>$filename</span> = <span>$_REQUEST</span>['filename'<span>];
</span><span> 3</span>         <span>$uid</span> = <span>$_REQUEST</span>['uid'<span>];
</span><span> 4</span>         <span>$file_dir</span> = STATISTIC_EXPORT_FILE_DIR.<span>$uid</span>.'/'.<span>$filename</span><span>;
</span><span> 5</span>         <span>if</span> (!<span>file_exists</span>(<span>$file_dir</span><span>)){
</span><span> 6</span>             <span>header</span>("Content-type: text/html; charset=utf-8"<span>);
</span><span> 7</span>             <span>echo</span> "File not found!"<span>;
</span><span> 8</span>             <span>exit</span><span>; 
</span><span> 9</span>         } <span>else</span><span> {
</span><span>10</span>             <span>ini_set</span>("memory_limit","500M"<span>); 
</span><span>11</span>             <span>header</span>('Content-Description: File Transfer'<span>);
</span><span>12</span>             <span>header</span>('Content-Type: application/octet-stream'<span>);
</span><span>13</span>             <span>header</span>('Content-Disposition: attachment; filename='.<span>basename</span>(<span>$file_dir</span><span>));
</span><span>14</span>             <span>header</span>('Content-Transfer-Encoding: binary'<span>);
</span><span>15</span>             <span>header</span>('Expires: ' . <span>gmdate</span>('D, d M Y H:i:s') . ' GMT'<span>);
</span><span>16</span>             <span>header</span>('Cache-Control: must-revalidate,post-check=0, pre-check=0'<span>);
</span><span>17</span>             <span>header</span>('Pragma: public'<span>);
</span><span>18</span>             <span>header</span>('Content-Length: ' . <span>filesize</span>(<span>$file_dir</span><span>));
</span><span>19</span>             <span>readfile</span>(<span>$file_dir</span><span>);
</span><span>20</span> <span>        }
</span><span>21</span> 
<span>22</span>     }</span>
登录后复制



 六、上线后出现的问题


    本地本来已经测试完毕，可上线后，却出现了奇怪的问题；


<p><span>    现象描述：</span></p>
<p><span>        当在后台点击生成文件，跳转到下载页的时候，因为下载页是显示文件进度的页面，</span><br /><span>        竟然出现有时候有刚刚点击的文件进度，有时候没有，就感觉没有生成相应的文件一样；</span></p>
<p><span>    解决方法：</span></p>
<p><span>        因为数据文件和进度文件都是生成在程序的某个文件夹file中，所以读取的时候都是读取的文件夹下的文件，从而判断显示进度；</span></p>
<p><span>        后面才知道，由于后台程序有两台服务器，导致读取以及下载的时候找不到相应的文件夹，两个服务器相应的文件夹弄个共享目录就可以了</span></p>





登录后复制


 七、相应的后续优化


    由于下载的文件多了，导致文件夹下的文件越来越多，而原来生成的文件是没有价值的，所以加了个定期删除文件的功能，只保留近七天的文件


    当然可以用crontab，只不过我比较懒，是在点击生成文件的时候，判断了一下文件夹中的过期文件，从而删除



<span><span> 1</span>     <span>public</span> <span>function</span><span> execscript_process_show(){
</span><span> 2</span>         <span>$this</span>->load->library('smarty'<span>);
</span><span> 3</span>         <span>$uid</span> = <span>$_REQUEST</span>['uid'<span>];
</span><span> 4</span>         <span>$url_dir</span> = STATISTIC_EXPORT_FILE_DIR.<span>$uid</span> .'/';<span>//</span><span>@todo</span>
<span> 5</span>         <span>if</span>(!<span>is_dir</span>(<span>$url_dir</span><span>)){
</span><span> 6</span>             @<span>mkdir</span>(<span>$url_dir</span>,0777<span>);
</span><span> 7</span> <span>        }        
</span><span> 8</span>         <span>$files</span> = <span>scandir</span>(<span>$url_dir</span><span>);
</span><span> 9</span>         <span>if</span>(!<span>empty</span>(<span>$files</span><span>)){
</span><span>10</span>             <span>foreach</span> (<span>$files</span> <span>as</span> <span>$key</span> => <span>$value</span><span>) {
</span><span>11</span>                 <span>if</span>(<span>$value</span>!='.' && <span>$value</span>!='..'<span>){
</span><span>12</span>                     <span>foreach</span> (<span>$files</span> <span>as</span> <span>$key</span> => <span>$value</span><span>) {
</span><span>13</span>                         <span>if</span>(<span>$value</span>!='.' && <span>$value</span>!='..'<span>){
</span><span>14</span>                             <span>if</span>(<span>substr</span>(<span>$value</span>, 0 , 5)!="flag_"<span>){
</span><span>15</span>                                 <span>$filenamedate</span> = <span>substr</span>(<span>$value</span>, 0,10<span>);
</span><span>16</span>                                 <span>$today</span> = <span>date</span>('Y-m-d',<span>time</span><span>());
</span><span>17</span>                                 <span>$filenamedate</span> = <span>date</span>('Y-m-d',<span>strtotime</span>(<span>$filenamedate</span>)+(STATISTIC_FILE_EXPIRE_DAY-1)*24*3600<span>);
</span><span>18</span>                                 <span>if</span>(<span>$today</span>><span>$filenamedate</span>){<span>//</span><span>文件过期</span>
<span>19</span>                                     @<span>unlink</span>(<span>$url_dir</span> . <span>$value</span><span>);
</span><span>20</span>                                     @<span>unlink</span>(<span>$url_dir</span> . 'flag_' . <span>$value</span><span>);
</span><span>21</span> <span>                                }
</span><span>22</span> <span>                            }
</span><span>23</span> <span>                        }
</span><span>24</span> <span>                    }                    
</span><span>25</span> <span>                }
</span><span>26</span> <span>            }
</span><span>27</span> <span>        }
</span><span>28</span> 
<span>29</span>         <span>$this</span>->smarty->assign('uid',<span>$uid</span><span>);
</span><span>30</span>         <span>$this</span>->smarty->display('interact/statistic/execscript.tpl'<span>);
</span><span>31</span>     }</span>
登录后复制



 八、后记


    大文件的导出大体就是这个样子，欢迎大家吐槽，共同交流；


    当时在用命令行执行方法的时候，也参考了一下相应的资料，记录一下；



<span>http://blog.csdn.net/yysdsyl/article/details/4636457

http://www.codesky.net/article/201202/163385.html

http://www.cnblogs.com/zdz8207/p/3765567.html

http://blog.163.com/mojian20040228@126/blog/static/4112219320097300922992/

http://php.net/manual/en/features.commandline.php

http://blog.csdn.net/yangjun07167/article/details/5603425

http://blog.csdn.net/yunsongice/article/details/5445448

http://www.cppblog.com/amazon/archive/2011/12/01/161281.aspx

http://blog.51yip.com/tag/proc_open

http://www.justwinit.cn/post/1418/

http://limboy.me/tech/2010/12/05/php-async.html</span>
登录后复制



 





www.bkjia.comtruehttp://www.bkjia.com/PHPjc/1048777.htmlTechArticle我所经历的大文件数据导出（后台执行,自动生成），数据导出自动生成 一、前言 记录一下以前做的后台excel格式导出统计信息的功能，也...







						

					

					

						
本站声明

						
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn

					

				


				



				



				
    


					


											

							

								

									
									
热AI工具

								

								

																		

											
												Undresser.AI Undress
											
											

												
													
Undresser.AI Undress

												
												
人工智能驱动的应用程序，用于创建逼真的裸体照片

											

										

																		

											
												AI Clothes Remover
											
											

												
													
AI Clothes Remover

												
												
用于从照片中去除衣服的在线人工智能工具。

											

										

																		

											
												Undress AI Tool
											
											

												
													
Undress AI Tool

												
												
免费脱衣服图片

											

										

																		

											
												Clothoff.io
											
											

												
													
Clothoff.io

												
												
AI脱衣机

											

										

																		

											
												AI Hentai Generator
											
											

												
													
AI Hentai Generator

												
												
免费生成ai无尽的。

											

										

																

								

									显示更多
								

							

						

					

					

					

						

							

								
								
热门文章

							

							

															

									R.E.P.O.能量晶体解释及其做什么（黄色晶体）
									

										1 个月前
										By 尊渡假赌尊渡假赌尊渡假赌
									

								

															

									R.E.P.O.最佳图形设置
									

										1 个月前
										By 尊渡假赌尊渡假赌尊渡假赌
									

								

															

									刺客信条阴影：贝壳谜语解决方案
									

										2 周前
										By DDD
									

								

															

									R.E.P.O.如果您听不到任何人，如何修复音频
									

										1 个月前
										By 尊渡假赌尊渡假赌尊渡假赌
									

								

															

									R.E.P.O.聊天命令以及如何使用它们
									

										1 个月前
										By 尊渡假赌尊渡假赌尊渡假赌
									

								

														

							

								显示更多
							

						

					



											

							

								

									
									
热工具

								

								

																		

											
												记事本++7.3.1
											
											

												
													
记事本++7.3.1

												
												
好用且免费的代码编辑器

											

										

																			

											
												SublimeText3汉化版
											
											

												
													
SublimeText3汉化版

												
												
中文版，非常好用

											

										

																			

											
												禅工作室 13.0.1
											
											

												
													
禅工作室 13.0.1

												
												
功能强大的PHP集成开发环境

											

										

																			

											
												Dreamweaver CS6
											
											

												
													
Dreamweaver CS6

												
												
视觉化网页开发工具

											

										

																			

											
												SublimeText3 Mac版
											
											

												
													
SublimeText3 Mac版

												
												
神级代码编辑软件(SublimeText3)

											

										

																	

								

									显示更多
								

							

						

										

					
					

						

							

								
								
热门话题

							

							

															

									gmail邮箱登陆入口在哪里
									

										

											
											7530
										

										

											
											15
										

									

								

															

									CakePHP 教程
									

										

											
											1378
										

										

											
											52
										

									

								

															

									steam的账户名称是什么格式
									

										

											
											82
										

										

											
											11
										

									

								

															

									win11激活密钥永久
									

										

											
											54
										

										

											
											19
										

									

								

															

									NYT连接提示和答案
									

										

											
											21
										

										

											
											76
										

									

								

														

							

								显示更多
							

						

					

				

			

							

					

						

							Related knowledge
						

						


													

								
									支付宝PHP SDK转账报错：如何解决'Cannot declare class SignData”问题？
								
								支付宝PHP SDK转账报错：如何解决'Cannot declare class SignData”问题？
								Apr 01, 2025 am	 07:21 AM
								
支付宝PHP...

							

														

								
									在PHP API中说明JSON Web令牌（JWT）及其用例。
								
								在PHP API中说明JSON Web令牌（JWT）及其用例。
								Apr 05, 2025 am	 12:04 AM
								
JWT是一种基于JSON的开放标准，用于在各方之间安全地传输信息，主要用于身份验证和信息交换。1.JWT由Header、Payload和Signature三部分组成。2.JWT的工作原理包括生成JWT、验证JWT和解析Payload三个步骤。3.在PHP中使用JWT进行身份验证时，可以生成和验证JWT，并在高级用法中包含用户角色和权限信息。4.常见错误包括签名验证失败、令牌过期和Payload过大，调试技巧包括使用调试工具和日志记录。5.性能优化和最佳实践包括使用合适的签名算法、合理设置有效期、

							

														

								
									解释PHP中晚期静态结合的概念。
								
								解释PHP中晚期静态结合的概念。
								Mar 21, 2025 pm	 01:33 PM
								
文章讨论了PHP 5.3中引入的PHP中的晚期静态结合（LSB），从而允许静态方法的运行时分辨率调用以获得更灵活的继承。 LSB的实用应用和潜在的触摸

							

														

								
									框架安全功能：防止漏洞。
								
								框架安全功能：防止漏洞。
								Mar 28, 2025 pm	 05:11 PM
								
文章讨论了框架中的基本安全功能，以防止漏洞，包括输入验证，身份验证和常规更新。

							

														

								
									自定义/扩展框架：如何添加自定义功能。
								
								自定义/扩展框架：如何添加自定义功能。
								Mar 28, 2025 pm	 05:12 PM
								
本文讨论了将自定义功能添加到框架上，专注于理解体系结构，识别扩展点以及集成和调试的最佳实践。

							

														

								
									如何用PHP的cURL库发送包含JSON数据的POST请求？
								
								如何用PHP的cURL库发送包含JSON数据的POST请求？
								Apr 01, 2025 pm	 03:12 PM
								
使用PHP的cURL库发送JSON数据在PHP开发中，经常需要与外部API进行交互，其中一种常见的方式是使用cURL库发送POST�...

							

														

								
									描述扎实的原则及其如何应用于PHP的开发。
								
								描述扎实的原则及其如何应用于PHP的开发。
								Apr 03, 2025 am	 12:04 AM
								
SOLID原则在PHP开发中的应用包括：1.单一职责原则（SRP）：每个类只负责一个功能。2.开闭原则（OCP）：通过扩展而非修改实现变化。3.里氏替换原则（LSP）：子类可替换基类而不影响程序正确性。4.接口隔离原则（ISP）：使用细粒度接口避免依赖不使用的方法。5.依赖倒置原则（DIP）：高低层次模块都依赖于抽象，通过依赖注入实现。

							

														

								
									会话如何劫持工作，如何在PHP中减轻它？
								
								会话如何劫持工作，如何在PHP中减轻它？
								Apr 06, 2025 am	 12:02 AM
								
会话劫持可以通过以下步骤实现：1.获取会话ID，2.使用会话ID，3.保持会话活跃。在PHP中防范会话劫持的方法包括：1.使用session_regenerate_id()函数重新生成会话ID，2.通过数据库存储会话数据，3.确保所有会话数据通过HTTPS传输。

							

													


													
								See all articles