python3.4.3下逐行讀入txt文字並去重的方法

這篇文章主要介紹了關於python3.4.3下逐行讀入txt文本並去重的方法，有著一定的參考價值，現在分享給大家，有需要的朋友可以參考一下

讀寫檔案時應注意的問題包括：

1.字元編碼

2.操作完成即時關閉檔案描述子

3.程式碼相容性

幾種方法：

#

#!/bin/python3
original_list1=[" "]
original_list2=[" "]
original_list3=[" "]
original_list4=[" "]
newlist1=[" "]
newlist2=[" "]
newlist3=[" "]
newlist4=[" "]
newtxt1=""
newtxt2=""
newtxt3=""
newtxt4=""
#first way to readline
f = open("duplicate_txt.txt","r+")    # 返回一个文件对象  
line = f.readline()           # 调用文件的 readline()方法 
while line:  
  original_list1.append(line)          
  line = f.readline()  
f.close() 
#use "set()" remove duplicate str in the list
# in this way,list will sort randomly
newlist1 = list(set(original_list1))
#newlist1 = {}.fromkeys(original_list1).keys() #faster 
#rebuild a new txt 
newtxt1="".join(newlist1)
f1 = open("noduplicate1.txt","w")
f1.write(newtxt1)
f1.close()
###################################################################
#second way to readline
for line in open("duplicate_txt.txt","r+"):  
  original_list2.append(line)
newlist2 = list(set(original_list2))
newlist2.sort(key=original_list2.index)         #sort
#newlist2 = sorted(set(original_list2),key=l1.index)  #other way
newtxt2="".join(newlist2)
f2 = open("noduplicate2.txt","w")
f2.write(newtxt2)
f2.close()
###################################################################
#third way to readline
f3 = open("duplicate_txt.txt","r")  
original_list3 = f3.readlines()       #读取全部内容 ，并以列表方式返回 
for i in original_list3:          #遍历去重
  if not i in newlist3:
      newlist3.append(i)
newtxt3="".join(newlist3)
f4 = open("noduplicate3.txt","w")
f4.write(newtxt3)
f4.close()
###################################################################
#fourth way
f5 = open('duplicate_txt.txt',"r+") 
try: 
  original_list4 = f5.readlines() 
  [newlist4.append(i) for i in original_list4 if not i in newlist4]
  newtxt4="".join(newlist4)
  f6 = open("noduplicate4.txt","w")
  f6.write(newtxt4)
  f6.close()
finally: 
  f5.close()

結果：

去重前：

#去重前（無序)：

去重後（有順序）：

總結

這段下程式涉及檔案讀寫操作以及鍊錶List的操作，文章開頭提到的幾個問題，由於並沒有使用中文，所以不關心編碼，但這裡還是要提一提:

f = open("test.txt"，"w")
f.write(u"你好")

上面這段程式碼如果在python2中運行會報錯

報錯是因為程式沒辦法直接儲存unicode字串，要經過編碼轉換成str型別的二進位位元組序列才可以儲存。

write（）方法會自動編碼轉換，預設使用ascii編碼格式，而ascii不能處理中文，所以出現UnicodeEncodeError。

正確方式是在呼叫write（）方法前，手動格式轉換，用utf-8或gbk轉換成str。

f = open("test.txt"，"w")
text=u"你好"
text=text.encode(encoding='utf-8')
f.write(text)

關於close()問題:

不關閉會有什麼影響呢？操作完成後，不關閉文件，會對系統資源造成浪費，因為系統可開啟的文件描述符數量是有限的。 Linux是65535。

一般來說close之後就OK了，但是也會存在特殊情況，比如說，在呼叫open（）函數時就已經發生錯誤，權限不足，呼叫close（）肯定報錯。還有一種是在write（）時，如果磁碟空間不足，報錯，close（）就沒有機會執行了。正確的做法就是使用 try except 對異常進行捕獲：

f = open("test.txt"，"w")
try:
  text=u"你好"
  text=text.encode(encoding='utf-8')
  f.write(text)
except: IOError as e:
  print("oops,%s"%e.args[0])
finally:
  f.close()

更優雅的寫法是用 with…as。

with open("test.txt"，"w") as f:
  text=u"你好"
  f.write(text.encode(encoding='utf-8'))

檔案物件實作上下午管理員協議，程式進入with語句時，會把檔案物件賦值給變數f，在程式退出with時會自動的呼叫close()方法。

關於相容性問題:

python2和python3的open（）函數是不一樣的，後者可以在函數中指定字符編碼格式。

如何解決python2和python3的相容open（）問題呢？

使用io模組下的open（）函數，python2中的io.open等價與python3的open函數

from io import open
with open("test.txt"，"w",encoding='utf-8') as f:
  f.write(u"你好")

相關推薦：

python下解壓縮zip檔案並刪除檔案的實例_python

##########

以上是python3.4.3下逐行讀入txt文字並去重的方法的詳細內容。更多資訊請關注PHP中文網其他相關文章！