golang怎麼有效率地處理大文件

下面由golang教學欄位介紹golang高效處理大檔案_使用Pandas分塊處理大文件，希望對需要的朋友有幫助！

使用Pandas分塊處理大檔案

問題：今天在處理快手的用戶資料時，遇到了一個差不多600M的txt文本，用sublime打開都蹦了，我用pandas. read_table()去讀，差不多花了近2分鐘，最後打開發現差不多3千萬行資料。這只是打開，如果要處理不知得多費勁。

解決：我翻了一下文檔，這一類讀取文件的函數有兩個參數：chunksize、iterator

原理就是不一次性把檔案資料讀入記憶體中，而是分多次。

1、指定chunksize分塊讀取檔案

read_csv 和read_table 有一個chunksize 參數，用以指定一個區塊大小(每次讀取多少行)，傳回一個可迭代的TextFileReader對象。

table=pd.read_table(path+'kuaishou.txt',sep='t',chunksize=1000000)
for df in table:
    对df处理
    #如df.drop(columns=['page','video_id'],axis=1,inplace=True)
    #print(type(df),df.shape)打印看一下信息

我這裡又對文件進行了劃分，分成若干個子文件分別處理（沒錯，to_csv也同樣有chunksize參數）

#2、指定iterator=True

it​​erator=True同樣回傳的是TextFileReader物件

reader = pd.read_table('tmp.sv', sep='t', iterator=True)
df=reader.get_chunk(10000)
#通过get_chunk(size)，返回一个size行的块
#接着同样可以对df处理

直接看看pandas文件在這一方面的內容吧。

以上是golang怎麼有效率地處理大文件的詳細內容。更多資訊請關注PHP中文網其他相關文章！