python该种情形下应该使用pickle还是csv
给我你的怀抱
给我你的怀抱 2017-05-18 11:00:47
0
2
839

我手头有许多个上百M的csv存储一些数据,需要经常使用pandas和matplotlib对这些数据读取并进行绘图。在绘图之前,通常要进行预处理,切片等等清洗操作,因为要经常对figure进行交互操作和作报告,所以我在jupyter notebook中使用%matplotlib notebook进行操作和交互,我是将这些由原始数据产生的中间数据由csv保存,以便下次展示时直接读取csv获得中间数据,还是使用pickle保存,后续使用时读取pickle更快?

给我你的怀抱
给我你的怀抱

全部回复(2)
洪涛

肯定是csv安全啊,pickle似乎换一个python版本都可能导致读取失败的,这个不是通用格式。几百兆的话,csv其实读取速度不慢。更何况还有hdf5,这些才是正经的数据交换格式。

Peter_Zhu

csv够用了,如果你觉得还不够快可以试试hdf5文件

热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板