Menggunakan Senarai yang sangat panjang dalam Python mengakibatkan penggunaan memori yang berlebihan

Question

Saya perlu menggunakan Senarai dengan panjang lebih daripada 500,000 dalam program, tetapi hasilnya ialah penggunaan memori meningkat serta-merta

Apakah kaedah yang harus digunakan untuk pengoptimuman?

Answer 1

Adakah ini list perlu disimpan dalam ingatan?

Jika anda memprosesnya satu persatu dan tidak perlu menyimpan kesemuanya dalam ingatan, anda boleh menulis kandungannya pada fail cakera dahulu, kemudian bukanya dan gunakan pernyataan yang serupa dengan yang berikut:

for item in file('xxx.txt').xreadlines():
    ... # 解析出你的内容，并处理