python3.x - Python用for line in read(file,'rb'):处理超大文件时,想用多线程,该如何分配合适的文件偏移?

Question

文件大概有80个G大小,想用多线程,我知道可以用f.seek()去设置偏移,以达到从不同的位置开始读入的效果
可是应该如何给每个线程分配一个合适偏移?

with open(r'file.txt', 'rb') as f:
    for line in f:
        dosomething(line)

Answer 1

이제 큰 파일을 분할한 다음 여러 스레드에서 분할된 작은 파일을 처리할 수 있습니다: http://www.jb51.net/article/5...

Answer 2

mmap 모듈을 사용하여 메모리 액세스와 같은 파일을 읽고 쓸 수 있습니다.