Python中使用超长的List导致内存占用过大

Question

我需要在一段程序中使用一个长度超过50万的List，但结果就是内存使用率瞬间升高

请问应该用什么方法进行优化？

Answer 1

这个 list 一定要放在内存里吗？

如果你是一条一条处理的，并不需要全在内存，你可以把这些内容先写到磁盘文件，然后打开它，用类似下面的语句：

for item in file('xxx.txt').xreadlines():
    ... # 解析出你的内容，并处理