python - pyspider爬取了接近1G的数据，无法导出csv？

Question

已经增加虚拟机内存至2g，依然无法导出。

Answer 1

通常、1単位のデータが1M程度の場合、1024ファイルに分割されます。

さらに、1G CSV を開くことはほとんど不可能であるため、1G CSV を合成することは現実的ではありません。本当に 1G を合成したい場合は、エクスポートされた 1,000 を超えるファイルを CSV に合成できます。ファイル合成は Python で簡単に実現できます。

Answer 2

1Gデータの毎月のCSV処理は合理的ではありません。 sqlite3を試してみます。

Answer 3

8G では不十分です。1G の CSV では意味がありません。

Answer 4

FTP イントラネットを使用すると、ダウンロードが非常に速くなります。2 日前に 8g をアップロードしたのですが、ほんの数分でダウンロードできたような気がします。