文：
每行在promotion後麵包含一些數字，如果這些數字是相同的，則認為是相同的行，對於相同的行，只保留一行。
思路：
根據字典和字串切割。
建立一個空字典。
讀入文本，並對每行切割前半部分，在讀入文本的過程中循環在這個字典中查找，如果沒找到，則寫入該行到字典。否則，則表示該行已經被寫入字典了（即出現重複的行了），不再寫入字典，這就實現了對於重複的行只保留一行的目的。
文如下:
/promotion/232 utm_source /promotion/237 LandingPage/borrowExtend/? ; /promotion/25113 LandingPage/mhd /promotion/25113 LandingPage/mhd /promotion/25199 com/LandingPage /promotion/254 LandingPage/mhd/mhd4/? ; /promotion/259 LandingPage/ydy/? ; /promotion/25113 LandingPage/mhd /promotion/25199 com/LandingPage /promotion/25199 com/LandingPage
程序如下:
line_dict_uniq = dict()
with open('1.txt','r') as fd:
for line in fd:
key = line.split(' ')[0]
if key not in line_dict_uniq.values():
line_dict_uniq[key] = line
else:
continue
print line_dict_uniq
print len(line_dict_uniq)
# 这里是打印了不重复的行（重复的只打印一次），实际再把这个结果写入文件就可以了，
# 就不写这段写入文件的代码了上面這個程式執行效率比較低，改成如下會提高一些:
line_dict_uniq = dict()
with open('1.txt','r') as fd:
for line in fd:
key = line.split(' ')[0]
if key not in line_dict_uniq.keys():
line_dict_uniq[key] = line
else:
continue
print line_dict_uniq
print len(line_dict_uniq)以上所述是小編給大家介紹的Python做文本按行去重，希望對大家有所幫助，如果大家有任何疑問請給我留言，小編會及時回復大家的。在此也非常感謝大家對腳本之家網站的支持！
