python - pyspider爬取了接近1G的数据,无法导出csv?
大家讲道理
大家讲道理 2017-04-18 10:31:22
0
4
650

已经增加虚拟机内存至2g,依然无法导出。

大家讲道理
大家讲道理

光阴似箭催人老,日月如移越少年。

全部回复(4)
伊谢尔伦

一般是分文件导出的,如果一个单位的数据大约是1M的话,就分成1024个文件。

另外,合成1G的csv也是不合实际的,因为1G的csv几乎是打不开的。如果实在是要合成1G的话,把导出的一千多个文件再合成为一份CSV即可,文件合成python很容易实现。

黄舟

1G的数据月CSV处理本身就不太合理了。试试看sqlite3。

阿神

8G一样不够,建议选择数据库作为存储方案,1G规模的CSV是没有存在的意义的。

洪涛

用ftp内网下载飞快.我前两天传8个g.感觉就是几分钟就下载好了

热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板