この状況では、Python は pickle または csv を使用する必要がありますか?

Question

データを保存するために手元に何百もの M csv があり、これらのデータを読み取ってプロットするために pandas と matplotlib を使用する必要があることがよくあります。描画する前に、通常、前処理、スライス、およびその他のクリーニング操作を実行する必要があります。図は頻繁に操作およびレポートする必要があるため、操作および操作には jupyter ノートブックの %matplotlib Notebook を使用します。元のデータから生成されたデータを csv に保存して、csv を直接読み込んで次の表示用の中間データを取得できるようにしますか、それとも pickle を使用して保存し、次回使用するために pickle を読み込んだ方が速いですか?

Answer 1

CSV は安全でなければなりません。pickle を別の Python バージョンに変更すると、読み取りエラーが発生する可能性があるようです。これは汎用形式ではありません。数百MB程度であれば、実際にCSVの読み込み速度は遅くありません。さらに、hdf5 という本格的なデータ交換フォーマットがあります。

Answer 2

csv では十分ではないと思われる場合は、hdf5 ファイルを試してみてください