python - pyspider爬取了接近1G的数据,无法导出csv?
大家讲道理
大家讲道理 2017-04-18 10:31:22
0
4
623

已经增加虚拟机内存至2g,依然无法导出。

大家讲道理
大家讲道理

光阴似箭催人老,日月如移越少年。

membalas semua(4)
伊谢尔伦

Secara amnya, ia dieksport dalam fail Jika data satu unit adalah kira-kira 1M, ia akan dibahagikan kepada 1024 fail.

Selain itu, adalah tidak praktikal untuk mensintesis CSV 1G, kerana CSV 1G hampir mustahil untuk dibuka. Jika anda benar-benar ingin mensintesis 1G, anda boleh mensintesis lebih daripada seribu fail yang dieksport ke dalam CSV Fail sintesis mudah dicapai dalam python.

黄舟

Pemprosesan CSV data 1G setiap bulan adalah tidak munasabah. Cuba sqlite3.

阿神

8G tidak mencukupi. Adalah disyorkan untuk memilih pangkalan data sebagai penyelesaian penyimpanan A 1G CSV tidak mempunyai makna.

洪涛

Menggunakan intranet ftp untuk memuat turun adalah sangat pantas saya memuat naik 8g dua hari lalu. Rasanya hanya mengambil masa beberapa minit untuk memuat turun

Muat turun terkini
Lagi>
kesan web
Kod sumber laman web
Bahan laman web
Templat hujung hadapan
Tentang kita Penafian Sitemap
Laman web PHP Cina:Latihan PHP dalam talian kebajikan awam,Bantu pelajar PHP berkembang dengan cepat!