コミュニティ
学ぶ
ツールライブラリ
AIツール
レジャー
検索
日本語
目次
我所经历的大文件数据导出（后台执行,自动生成），数据导出自动生成
一、前言
 二、生成excel文件
 三、让程序在后台执行
 四、显示文件生成进度
 五、下载文件
 六、上线后出现的问题
 七、相应的后续优化
 八、后记
ホームページ バックエンド開発 PHPチュートリアル 大容量ファイルのデータエクスポートを体験しました（バックグラウンド実行、自動生成）、データエクスポートは自動生成_PHPチュートリアル

大容量ファイルのデータエクスポートを体験しました（バックグラウンド実行、自動生成）、データエクスポートは自動生成_PHPチュートリアル

WBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWB
WBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWB
Jul 13, 2016 am 09:44 AM

我所经历的大文件数据导出（后台执行,自动生成），数据导出自动生成

一、前言

    记录一下以前做的后台excel格式导出统计信息的功能，也是最近同事问到了相关东西，一时之间竟忘了具体的细节，因此记录一下；

    大家知道，excel导出数据的功能，后台几乎是必须功能，一般都是点击后，生成文件然后自动下载，

    如果是数据量小的话，一下子便可请求完成，从而下载到本地；

    但是，如果数据量特别大的时候，页面就必须一直在等待，直到写入excel成功，

    这样便影响了后台使用者无法操作其他页面，为此，对excel导出做了以下功能优化：

ログイン後にコピー
ログイン後にコピー


 二、生成excel文件


    生成excel文件的方法有很多，暂不一一记录，只是记录本次的方法；


    这里用到了table的html格式，以及相应的excel的声明


    （隐约记得其他的方法用office07打开的时候好像是乱码，后面尝试用csv格式文件，可还是乱码，所以用了table的形式）


    文件的开头：

大容量ファイルのデータエクスポートを体験しました（バックグラウンド実行、自動生成）、データエクスポートは自動生成_PHPチュートリアル 1     $struserdata = <<<Eof
 2          3         xmlns:x="urn:schemas-microsoft-com:office:excel"
 4         xmlns="http://www.w3.org/TR/REC-html40">
 5     
 6         PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
 7         
 8         
 9             
10         
12         
13         
14         

15     
16         17 Eof;View Code
    文件的结尾：
大容量ファイルのデータエクスポートを体験しました（バックグラウンド実行、自動生成）、データエクスポートは自動生成_PHPチュートリアル1 $struserdata = <<<Eof
2         







3         

4         
5         
6 Eof;

View Code

    当然，文件中间就是一些tr td 标签了。


 三、让程序在后台执行


<p><span>    场景：</span></p>
<p><span>        用户点击 生成excel后，跳转到下载页面，程序在后台执行，用户可不必等待生成完成，可执行其他操作；</span></p>
<p><span>        下载页面可看到文件生成的进度以及是否可下载状态</span></p>
<p><span>    思路：</span></p>
<p><span>        点击 生成excel，显示下载页面  ---> show_download方法</span></p>
<p><span>        生成excel ---> create_excel 方法</span></p>

ログイン後にコピー


    show_download方法中调用 create_excel方法，而show_download 方法中，自己用了一下命令行执行程序的方式,


    利用php命令行的方式，把参数传递给 create_excel方法



<span><span>1</span>  <span>//</span><span> $cmd = "/usr/bin/php  /home/xxx/xxx.php " . $strjoin . "  >/dev/null & ";
</span><span>2</span> <span> // $a=exec($cmd, $out, $returndata);</span>
<span>3</span>  
<span>4</span>  
<span>5</span>  <span>$command</span> = "/usr/bin/php ".STATISTIC_EXPORT_SCRIPT_DIR."xxx.php " . "'" .<span>$strjoin</span> ."'". " " . <span>$uid</span> . " ". <span>$action</span> ."  & "<span>;
</span><span>6</span>  <span>$process</span> = <span>proc_open</span>(<span>$command</span>, <span>array</span>(),<span>$pipes</span><span>); 
</span><span>7</span>  <span>$var</span> = <span>proc_get_status</span>(<span>$process</span><span>); 
</span><span>8</span>  <span>proc_close</span>(<span>$process</span><span>);
</span><span>9</span>  <span>$pid</span> = <span>intval</span>(<span>$var</span>['pid'])+1;</span>
ログイン後にコピー



    而在create_excel方法中：


    需填写以下代码：



<span><span>1</span> <span>set_time_limit</span>(0); <span>//</span><span>取消脚本运行时间的超时上限</span>
<span>2</span> 
<span>3</span> <span>ignore_user_abort</span>(<span>TRUE</span>); <span>//</span><span>后台运行,不受用户关闭浏览器的影响</span></span>
ログイン後にコピー



    调用相关的api得到数据：



<span><span>1</span> <span>$statistic</span> = <span>call_user_func</span>(<span>array</span>('shellscript','get_result'),<span>$url</span>,<span>$params</span><span>);
</span><span>2</span> <span>if</span>(!<span>is_object</span>(<span>$statistic</span>) || !<span>isset</span>(<span>$statistic</span>->data-><span>items)){
</span><span>3</span>     <span>usleep</span>(400000);<span>//</span><span>停止400毫秒</span>
<span>4</span>     <span>$statistic</span> = <span>call_user_func</span>(<span>array</span>('shellscript','get_result'),<span>$url</span>,<span>$params</span><span>);
</span><span>5</span> }</span>
ログイン後にコピー



 四、显示文件生成进度


    但是怎么显示相应的文件生成进度呢，怎么知道文件到底生成好了没有呢？


    这里，我用到的方法是，在写入数据文件的时候data.xsl，每个数据文件都生成一个对应的文件进度文件，暂且称为flag_data.xsl;


    思路：


ログイン後にコピー
ログイン後にコピー


    查看文件的进度方法：
大容量ファイルのデータエクスポートを体験しました（バックグラウンド実行、自動生成）、データエクスポートは自動生成_PHPチュートリアル 1 public function execscript_process(){
 2 $this->load->library('smarty');
 3 $file_arr_str = array();
 4 $file_arr_process = array();
 5 $file_arr_name = array();
 6 $file_arr = array();
 7 $refresh_flag = 'はい';
 8 $uid = $_REQUEST['uid'];
 9 $url_dir = STATISTIC_EXPORT_FILE_DIR.$uid .'/';//@todo
10 if(!is_dir($url_dir)){
11 @mkdir($url_dir,0777);
12 }
13 $files = scandir($url_dir);
14 
15 if(!空($ファイル)){
16 foreach ($files as $key => $value) {
17 if($value!='.' && $value!='..'){
18 if(substr($value, 0 , 5)=="flag_"){
19 $file_size = filesize($url_dir . $value);
20 if(!空($file_size)){
21 $fhandle = fopen($url_dir . $value, 'rb+');
22 fseek($fhandle, -1, SEEK_END);
23 $fstr = '';
24 while(($c = fgetc($fhandle)) !== false) {
25 if($c == "n" && $fstr) break;
26 $fstr = $c . $fstr;
27 fseek($fhandle, -2, SEEK_CUR);
28 }
29 fclose($fhandle);
30 $fstr = トリム($fstr);
31 $fstr_arr_str = 爆発(',', $fstr);
32 $file_arr_process[] = 100 * number_format($fstr_arr_str[0]/$fstr_arr_str[1],2).'%';
33 $file_arr_name[] = substr($value,5);
34 }
35 }
36 }
37 }
38             
39 foreach ($file_arr_process as $key => $value) {
40 if($value != '100%'){
41 $refresh_flag = 'いいえ';
42 休憩;
43 }
44 }
45 }
46 
47         $file_arr = array(
48             'process' => $file_arr_process,
49             'name' => $file_arr_name,
50             'refresh_flag' => $refresh_flag
51             );
52         $file_arr_json = json_encode($file_arr);
53         echo $file_arr_json;
54     }

View Code

 五、下载文件


    文件的下载就好说了，既然已经都生成成功，下载的方法如下：



<span><span> 1</span>     <span>public</span> <span>function</span><span> execscript_download(){
</span><span> 2</span>         <span>$filename</span> = <span>$_REQUEST</span>['filename'<span>];
</span><span> 3</span>         <span>$uid</span> = <span>$_REQUEST</span>['uid'<span>];
</span><span> 4</span>         <span>$file_dir</span> = STATISTIC_EXPORT_FILE_DIR.<span>$uid</span>.'/'.<span>$filename</span><span>;
</span><span> 5</span>         <span>if</span> (!<span>file_exists</span>(<span>$file_dir</span><span>)){
</span><span> 6</span>             <span>header</span>("Content-type: text/html; charset=utf-8"<span>);
</span><span> 7</span>             <span>echo</span> "File not found!"<span>;
</span><span> 8</span>             <span>exit</span><span>; 
</span><span> 9</span>         } <span>else</span><span> {
</span><span>10</span>             <span>ini_set</span>("memory_limit","500M"<span>); 
</span><span>11</span>             <span>header</span>('Content-Description: File Transfer'<span>);
</span><span>12</span>             <span>header</span>('Content-Type: application/octet-stream'<span>);
</span><span>13</span>             <span>header</span>('Content-Disposition: attachment; filename='.<span>basename</span>(<span>$file_dir</span><span>));
</span><span>14</span>             <span>header</span>('Content-Transfer-Encoding: binary'<span>);
</span><span>15</span>             <span>header</span>('Expires: ' . <span>gmdate</span>('D, d M Y H:i:s') . ' GMT'<span>);
</span><span>16</span>             <span>header</span>('Cache-Control: must-revalidate,post-check=0, pre-check=0'<span>);
</span><span>17</span>             <span>header</span>('Pragma: public'<span>);
</span><span>18</span>             <span>header</span>('Content-Length: ' . <span>filesize</span>(<span>$file_dir</span><span>));
</span><span>19</span>             <span>readfile</span>(<span>$file_dir</span><span>);
</span><span>20</span> <span>        }
</span><span>21</span> 
<span>22</span>     }</span>
ログイン後にコピー



 六、上线后出现的问题


    本地本来已经测试完毕，可上线后，却出现了奇怪的问题；


<p><span>    现象描述：</span></p>
<p><span>        当在后台点击生成文件，跳转到下载页的时候，因为下载页是显示文件进度的页面，</span><br /><span>        竟然出现有时候有刚刚点击的文件进度，有时候没有，就感觉没有生成相应的文件一样；</span></p>
<p><span>    解决方法：</span></p>
<p><span>        因为数据文件和进度文件都是生成在程序的某个文件夹file中，所以读取的时候都是读取的文件夹下的文件，从而判断显示进度；</span></p>
<p><span>        后面才知道，由于后台程序有两台服务器，导致读取以及下载的时候找不到相应的文件夹，两个服务器相应的文件夹弄个共享目录就可以了</span></p>





ログイン後にコピー


 七、相应的后续优化


    由于下载的文件多了，导致文件夹下的文件越来越多，而原来生成的文件是没有价值的，所以加了个定期删除文件的功能，只保留近七天的文件


    当然可以用crontab，只不过我比较懒，是在点击生成文件的时候，判断了一下文件夹中的过期文件，从而删除



<span><span> 1</span>     <span>public</span> <span>function</span><span> execscript_process_show(){
</span><span> 2</span>         <span>$this</span>->load->library('smarty'<span>);
</span><span> 3</span>         <span>$uid</span> = <span>$_REQUEST</span>['uid'<span>];
</span><span> 4</span>         <span>$url_dir</span> = STATISTIC_EXPORT_FILE_DIR.<span>$uid</span> .'/';<span>//</span><span>@todo</span>
<span> 5</span>         <span>if</span>(!<span>is_dir</span>(<span>$url_dir</span><span>)){
</span><span> 6</span>             @<span>mkdir</span>(<span>$url_dir</span>,0777<span>);
</span><span> 7</span> <span>        }        
</span><span> 8</span>         <span>$files</span> = <span>scandir</span>(<span>$url_dir</span><span>);
</span><span> 9</span>         <span>if</span>(!<span>empty</span>(<span>$files</span><span>)){
</span><span>10</span>             <span>foreach</span> (<span>$files</span> <span>as</span> <span>$key</span> => <span>$value</span><span>) {
</span><span>11</span>                 <span>if</span>(<span>$value</span>!='.' && <span>$value</span>!='..'<span>){
</span><span>12</span>                     <span>foreach</span> (<span>$files</span> <span>as</span> <span>$key</span> => <span>$value</span><span>) {
</span><span>13</span>                         <span>if</span>(<span>$value</span>!='.' && <span>$value</span>!='..'<span>){
</span><span>14</span>                             <span>if</span>(<span>substr</span>(<span>$value</span>, 0 , 5)!="flag_"<span>){
</span><span>15</span>                                 <span>$filenamedate</span> = <span>substr</span>(<span>$value</span>, 0,10<span>);
</span><span>16</span>                                 <span>$today</span> = <span>date</span>('Y-m-d',<span>time</span><span>());
</span><span>17</span>                                 <span>$filenamedate</span> = <span>date</span>('Y-m-d',<span>strtotime</span>(<span>$filenamedate</span>)+(STATISTIC_FILE_EXPIRE_DAY-1)*24*3600<span>);
</span><span>18</span>                                 <span>if</span>(<span>$today</span>><span>$filenamedate</span>){<span>//</span><span>文件过期</span>
<span>19</span>                                     @<span>unlink</span>(<span>$url_dir</span> . <span>$value</span><span>);
</span><span>20</span>                                     @<span>unlink</span>(<span>$url_dir</span> . 'flag_' . <span>$value</span><span>);
</span><span>21</span> <span>                                }
</span><span>22</span> <span>                            }
</span><span>23</span> <span>                        }
</span><span>24</span> <span>                    }                    
</span><span>25</span> <span>                }
</span><span>26</span> <span>            }
</span><span>27</span> <span>        }
</span><span>28</span> 
<span>29</span>         <span>$this</span>->smarty->assign('uid',<span>$uid</span><span>);
</span><span>30</span>         <span>$this</span>->smarty->display('interact/statistic/execscript.tpl'<span>);
</span><span>31</span>     }</span>
ログイン後にコピー



 八、后记


    大文件的导出大体就是这个样子，欢迎大家吐槽，共同交流；


    当时在用命令行执行方法的时候，也参考了一下相应的资料，记录一下；



<span>http://blog.csdn.net/yysdsyl/article/details/4636457

http://www.codesky.net/article/201202/163385.html

http://www.cnblogs.com/zdz8207/p/3765567.html

http://blog.163.com/mojian20040228@126/blog/static/4112219320097300922992/

http://php.net/manual/en/features.commandline.php

http://blog.csdn.net/yangjun07167/article/details/5603425

http://blog.csdn.net/yunsongice/article/details/5445448

http://www.cppblog.com/amazon/archive/2011/12/01/161281.aspx

http://blog.51yip.com/tag/proc_open

http://www.justwinit.cn/post/1418/

http://limboy.me/tech/2010/12/05/php-async.html</span>
ログイン後にコピー



 





www.bkjia.comtruehttp://www.bkjia.com/PHPjc/1048777.htmlTechArticle我所经历的大文件数据导出（后台执行,自动生成），数据导出自动生成 一、前言 记录一下以前做的后台excel格式导出统计信息的功能，也...







						

					

					

						
このウェブサイトの声明

						
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

					

				


				



				



				
    


					


											

							

								

									
									
ホットAIツール

								

								

																		

											
												Undresser.AI Undress
											
											

												
													
Undresser.AI Undress

												
												
リアルなヌード写真を作成する AI 搭載アプリ

											

										

																		

											
												AI Clothes Remover
											
											

												
													
AI Clothes Remover

												
												
写真から衣服を削除するオンライン AI ツール。

											

										

																		

											
												Undress AI Tool
											
											

												
													
Undress AI Tool

												
												
脱衣画像を無料で

											

										

																		

											
												Clothoff.io
											
											

												
													
Clothoff.io

												
												
AI衣類リムーバー

											

										

																		

											
												AI Hentai Generator
											
											

												
													
AI Hentai Generator

												
												
AIヘンタイを無料で生成します。

											

										

																

								

									もっと見る
								

							

						

					

					

					

						

							

								
								
人気の記事

							

							

															

									R.E.P.O.説明されたエネルギー結晶と彼らが何をするか（黄色のクリスタル）
									

										1 か月前
										By 尊渡假赌尊渡假赌尊渡假赌
									

								

															

									R.E.P.O.最高のグラフィック設定
									

										1 か月前
										By 尊渡假赌尊渡假赌尊渡假赌
									

								

															

									アサシンのクリードシャドウズ：シーシェルリドルソリューション
									

										2週間前
										By DDD
									

								

															

									R.E.P.O.誰も聞こえない場合はオーディオを修正する方法
									

										1 か月前
										By 尊渡假赌尊渡假赌尊渡假赌
									

								

															

									R.E.P.O.チャットコマンドとそれらの使用方法
									

										1 か月前
										By 尊渡假赌尊渡假赌尊渡假赌
									

								

														

							

								もっと見る
							

						

					



											

							

								

									
									
ホットツール

								

								

																		

											
												メモ帳++7.3.1
											
											

												
													
メモ帳++7.3.1

												
												
使いやすく無料のコードエディター

											

										

																			

											
												SublimeText3 中国語版
											
											

												
													
SublimeText3 中国語版

												
												
中国語版、とても使いやすい

											

										

																			

											
												ゼンドスタジオ 13.0.1
											
											

												
													
ゼンドスタジオ 13.0.1

												
												
強力な PHP 統合開発環境

											

										

																			

											
												ドリームウィーバー CS6
											
											

												
													
ドリームウィーバー CS6

												
												
ビジュアル Web 開発ツール

											

										

																			

											
												SublimeText3 Mac版
											
											

												
													
SublimeText3 Mac版

												
												
神レベルのコード編集ソフト（SublimeText3）

											

										

																	

								

									もっと見る
								

							

						

										

					
					

						

							

								
								
ホットトピック

							

							

															

									Gmailメールのログイン入り口はどこですか？
									

										

											
											7529
										

										

											
											15
										

									

								

															

									CakePHP チュートリアル
									

										

											
											1378
										

										

											
											52
										

									

								

															

									Steamのアカウント名の形式は何ですか
									

										

											
											82
										

										

											
											11
										

									

								

															

									Win11 Activation Key Permanent
									

										

											
											54
										

										

											
											19
										

									

								

															

									NYTの接続はヒントと回答です
									

										

											
											21
										

										

											
											76
										

									

								

														

							

								もっと見る
							

						

					

				

			

							

					

						

							Related knowledge
						

						


													

								
									Alipay PHP SDK転送エラー：「クラスの看板を宣言できない」という問題を解決する方法は？
								
								Alipay PHP SDK転送エラー：「クラスの看板を宣言できない」という問題を解決する方法は？
								Apr 01, 2025 am	 07:21 AM
								
Alipay Php ...

							

														

								
									JSON Web Tokens（JWT）とPHP APIでのユースケースを説明してください。
								
								JSON Web Tokens（JWT）とPHP APIでのユースケースを説明してください。
								Apr 05, 2025 am	 12:04 AM
								
JWTは、JSONに基づくオープン標準であり、主にアイデンティティ認証と情報交換のために、当事者間で情報を安全に送信するために使用されます。 1。JWTは、ヘッダー、ペイロード、署名の3つの部分で構成されています。 2。JWTの実用的な原則には、JWTの生成、JWTの検証、ペイロードの解析という3つのステップが含まれます。 3. PHPでの認証にJWTを使用する場合、JWTを生成および検証でき、ユーザーの役割と許可情報を高度な使用に含めることができます。 4.一般的なエラーには、署名検証障害、トークンの有効期限、およびペイロードが大きくなります。デバッグスキルには、デバッグツールの使用とロギングが含まれます。 5.パフォーマンスの最適化とベストプラクティスには、適切な署名アルゴリズムの使用、有効期間を合理的に設定することが含まれます。

							

														

								
									PHPにおける後期静的結合の概念を説明します。
								
								PHPにおける後期静的結合の概念を説明します。
								Mar 21, 2025 pm	 01:33 PM
								
記事では、PHP 5.3で導入されたPHPの後期静的結合（LSB）について説明し、より柔軟な継承を求める静的メソッドコールのランタイム解像度を可能にします。 LSBの実用的なアプリケーションと潜在的なパフォーマ

							

														

								
									フレームワークセキュリティ機能：脆弱性から保護します。
								
								フレームワークセキュリティ機能：脆弱性から保護します。
								Mar 28, 2025 pm	 05:11 PM
								
記事では、入力検証、認証、定期的な更新など、脆弱性から保護するためのフレームワークの重要なセキュリティ機能について説明します。

							

														

								
									フレームワークのカスタマイズ/拡張：カスタム機能を追加する方法。
								
								フレームワークのカスタマイズ/拡張：カスタム機能を追加する方法。
								Mar 28, 2025 pm	 05:12 PM
								
この記事では、フレームワークにカスタム機能を追加し、アーキテクチャの理解、拡張ポイントの識別、統合とデバッグのベストプラクティスに焦点を当てています。

							

														

								
									PHPのCurlライブラリを使用してJSONデータを含むPOSTリクエストを送信する方法は？
								
								PHPのCurlライブラリを使用してJSONデータを含むPOSTリクエストを送信する方法は？
								Apr 01, 2025 pm	 03:12 PM
								
PHP開発でPHPのCurlライブラリを使用してJSONデータを送信すると、外部APIと対話する必要があることがよくあります。一般的な方法の1つは、Curlライブラリを使用して投稿を送信することです。

							

														

								
									確固たる原則と、それらがPHP開発にどのように適用されるかを説明してください。
								
								確固たる原則と、それらがPHP開発にどのように適用されるかを説明してください。
								Apr 03, 2025 am	 12:04 AM
								
PHP開発における固体原理の適用には、次のものが含まれます。1。単一責任原則（SRP）：各クラスは1つの機能のみを担当します。 2。オープンおよびクローズ原理（OCP）：変更は、変更ではなく拡張によって達成されます。 3。Lischの代替原則（LSP）：サブクラスは、プログラムの精度に影響を与えることなく、基本クラスを置き換えることができます。 4。インターフェイス分離原理（ISP）：依存関係や未使用の方法を避けるために、細粒インターフェイスを使用します。 5。依存関係の反転原理（DIP）：高レベルのモジュールと低レベルのモジュールは抽象化に依存し、依存関係噴射を通じて実装されます。

							

														

								
									セッションのハイジャックはどのように機能し、どのようにPHPでそれを軽減できますか？
								
								セッションのハイジャックはどのように機能し、どのようにPHPでそれを軽減できますか？
								Apr 06, 2025 am	 12:02 AM
								
セッションハイジャックは、次の手順で達成できます。1。セッションIDを取得します。2。セッションIDを使用します。3。セッションをアクティブに保ちます。 PHPでのセッションハイジャックを防ぐための方法には次のものが含まれます。1。セッション_regenerate_id（）関数を使用して、セッションIDを再生します。2。データベースを介してストアセッションデータを3。

							

													


													
								See all articles