php查询返回数据过大 导入csv文件很慢

Question

框架用的是ci,数据库是sqlsrv(sql server 2008)，sql查询返回的结果集有2万条数据，我在ci框架里面执行这个sql语句，网页一直在转圈，2万条数据要转30秒左右，但是我的sql语句在sql server 2008 R2 里面执行 是秒查，在ci里面用自带查询sql执行时间是200毫秒，，说明我的语句并不慢。个人觉得应该是返回数据太多导致慢的，返回的是2万条数据，20个字段左右，，因为我做的是统计 ，要把数据导出成csv文件,所以数据比较多，这个该怎么处理？
我的sql 语句是select * from table where create_time between 'xxxx-xx-xx 00:00:00' and 'xxxx-xx-xx 23:59:59'; 是根据时间段来的 如果用户选择的时间范围小 那数据就少 如果范围大 那数据就大 数据大的时候就很慢

public function aa(){

$sql ="select * from table where create_time between 'xxxx-xx-xx 00:00:00' and 'xxxx-xx-xx 23:59:59'";
$result=$this->db->query($sql)-result_array();

}
这已经是最简单的查询了，sql语句秒查，但是用浏览器执行就很慢，
我在浏览器里面执行 ， 如果查询结果几万条的话 浏览器就一直转圈，要等四十多秒，500条足有数据是3、4秒

我在想是不是result_array()这一步 需要循环需要花费太多的时间，本身记录就有几万条，然后还有二十个字段

==============2017-05-16 16：01更新===============
我没有用ci框架自带的result_array() ，查看ci框架文档的时候看到一段话:
经常的，你会需要提供一个数据库的 connection ID 或是一个 result ID， connection ID 可以这样来

$this->db->conn_id;

result ID 可以从查询返回的结果对象获取，像这样:

$query = $this->db->query("SOME QUERY");
$query->result_id;

于是我修改了我的代码 拿 result_id 去循环读取每条记录
$sql ="select xxx";
$query=$this->db->query($sql);
//这里因为我用的是sqlsrv 所以使用的是sqlsrv_fetch_array 来循环读取每一行
//然后每读一行 就写如csv文件
while($row=sqlsrv_fetch_array($query->result_id,SQLSRV_FETCH_ASSOC)){
//这里是把row 写入csv文件的代码
}

具体的代码就是下面了

$sql="xxx";
$query=$this->db->query($sql);
$filename= "CostDetail.csv";//导出的文件名
header('Content-Type: application/vnd.ms-excel');
header('Content-Disposition: attachment;filename="'.$filename.'"');
header('Cache-Control: max-age=0');

// 打开PHP文件句柄，php://output 表示直接输出到浏览器
$fp = fopen('php://output', 'a');

// 输出Excel列名信息
$head = array(xxx);
foreach ($head as $i => $v) {
    // CSV的Excel支持GBK编码，一定要转换，否则乱码
    $head[$i] = iconv('utf-8', 'gbk', $v);
}

// 将数据通过fputcsv写到文件句柄
fputcsv($fp, $head);

// 计数器
$cnt = 0;
// 从数据库中获取数据，为了节省内存，不要把数据一次性读到内存，从句柄中一行一行读即可
$limit = 5000;

while ($row=sqlsrv_fetch_array($query->result_id,SQLSRV_FETCH_ASSOC)){
    $cnt ++;
    if ($limit == $cnt) { //刷新一下输出buffer，防止由于数据过多造成问题
        ob_flush();
        flush();
        $cnt = 0;
    }
    //这里是把每个字段的编码转成gbk
    $newRow[] = $this->_mb_convert_encoding($row['edis_orgsoid']);
    ....    
    unset($row);
    fputcsv($fp, $newRow);
    unset($newRow);
}

exit;

这样能导出文件 但是我看了一下 19204行的，16列 的csv文件 3M左右 ， 需要40-45秒的时间才能导出好，，我想问这时间还能优化的再快点吗

Answer 1

这种要把所有数据导出到excel是这样的。数据要查出来才能写入excel，这种我一般用后台进程导出之后发邮箱

Answer 2

提供一点思路：

• 前端应该有几个时间范围选择，后端根据这些时间范围定时跑任务去数据库获取放在服务器上作为静态文件并且绑定一个timemodified字段；

• 每次该表增加、删除或者修改后也要触发更新定时任务；也可以在每天客户量比较少的时段比如夜里做定时任务更新；

• 每次导出的时候，通过比对timemodified，如果相同则可以将之前导出的静态文件提前拿过来，如果不等则需要现场更新，不过这种情况应该比较少；

这样去数据库取数据的操作不会影响客户的使用，希望能帮助到你