mysql - php导出十多万条数据有没有办法更快?

Question

现在是用phpExcel导出大概需要十分钟多,而且内存报错...
有没有什么办法可以让大量数据导出可以更快呢?
...忘了说因为是一些数据客户需要用到的,所以要用excel格式

Answer 1

首先应该明确问题场景：
1.这个导出10w数据是用户的功能还是后台或者系统内的功能，如果是用户使用的功能，那么可能PHP很难处理，因为要考虑用户体验问题，那么这个功能可能需要使用第三方服务或者用其他扩展来做。但是如果不是用户使用，而是系统人员或者内部人使用。则办法有很多种。
分步骤分析问题
1.从mysql数据库导出10w条数据，2，将10万天数据导出。
首先看下，mysql数据库查询10w条的时间：
我刚刚测试了一下，我的11万数据大概导了205s。因为机器的问题所以每个人的都不一样。但是可以明确一点，这个时间不快。如果PHP的话，一般默认连接时间是30s，就会有第一个问题，超时的问题。这个很好解决
2.用PHP将10w条数据导出。10w条数据就会有第二个问题，内存不够的问题。处理10w条数据比较慢
建议：
1.如@悲惨的大爷的方案，将10条分次导出，由于是SELECT，所以不会占用MYSQL太多资源，可以多线程查询SQL。
但这只能解决查询的问题，查询倒是快了，这个可以优化第一个步骤的时间，但是用PHP导出10条数据的问题还是在，因为是需要把10w条数据导出成一个excel。针对这点可以使用csv.这会比phpexcel快不少，
2.如果数据量太多或者应用场景比较频繁可以做一个服务。

Answer 2

分多个文件导出.
比如现在要导出10w 条数据,那么可以分10次导出,一次1w 条.
可以用多进程来处理.

Answer 3

我猜你是查数据库一次取了十万条，然后导出的。这样非常占用内存。
你可以试试分页取十次，每次取一万条导出。最后把导出的文件合并。

Answer 4

用mysql自带的mysqldump不好么

如果一定要excel 可以odbc连接到数据库后导出到excel，具体操作搜索下

Answer 5

我导出500000一点问题都没的，记着释放内存

Answer 6

直接对数据库操作，mysql导出数据，写个别的桌面程序来转换？

Answer 7

CSV 没有一点压力

Answer 8

用csv格式啊，不要用phpexcel

Answer 9

用csv。千万不要用phpexcel。这种东西读取速度特别的慢。我是吃过亏的。