python3.4.3에서 txt 텍스트를 한 줄씩 읽고 중복을 제거하는 방법
이 글은 python3.4.3에서 txt 텍스트를 한 줄씩 읽고 중복을 제거하는 방법을 주로 소개합니다. 이제 특정 참조 값이 있어 도움이 필요한 친구들이 참고할 수 있습니다. 주의해야 할 파일 쓰기 문제는 다음과 같습니다:
1. 문자 인코딩 2. 작업이 완료되는 즉시 파일 설명자를 닫습니다.
3. 코드 호환성
여러 가지 방법:#!/bin/python3
original_list1=[" "]
original_list2=[" "]
original_list3=[" "]
original_list4=[" "]
newlist1=[" "]
newlist2=[" "]
newlist3=[" "]
newlist4=[" "]
newtxt1=""
newtxt2=""
newtxt3=""
newtxt4=""
#first way to readline
f = open("duplicate_txt.txt","r+") # 返回一个文件对象
line = f.readline() # 调用文件的 readline()方法
while line:
original_list1.append(line)
line = f.readline()
f.close()
#use "set()" remove duplicate str in the list
# in this way,list will sort randomly
newlist1 = list(set(original_list1))
#newlist1 = {}.fromkeys(original_list1).keys() #faster
#rebuild a new txt
newtxt1="".join(newlist1)
f1 = open("noduplicate1.txt","w")
f1.write(newtxt1)
f1.close()
###################################################################
#second way to readline
for line in open("duplicate_txt.txt","r+"):
original_list2.append(line)
newlist2 = list(set(original_list2))
newlist2.sort(key=original_list2.index) #sort
#newlist2 = sorted(set(original_list2),key=l1.index) #other way
newtxt2="".join(newlist2)
f2 = open("noduplicate2.txt","w")
f2.write(newtxt2)
f2.close()
###################################################################
#third way to readline
f3 = open("duplicate_txt.txt","r")
original_list3 = f3.readlines() #读取全部内容 ,并以列表方式返回
for i in original_list3: #遍历去重
if not i in newlist3:
newlist3.append(i)
newtxt3="".join(newlist3)
f4 = open("noduplicate3.txt","w")
f4.write(newtxt3)
f4.close()
###################################################################
#fourth way
f5 = open('duplicate_txt.txt',"r+")
try:
original_list4 = f5.readlines()
[newlist4.append(i) for i in original_list4 if not i in newlist4]
newtxt4="".join(newlist4)
f6 = open("noduplicate4.txt","w")
f6.write(newtxt4)
f6.close()
finally:
f5.close()
중복 제거 전:
중복 제거 후(순서 없음):
아래 프로그램에는 파일 읽기 및 쓰기 작업과 연결 목록 작업이 포함되어 있습니다. 기사 시작 부분에 언급된 몇 가지 문제는 중국어가 아니므로 인코딩에 대해서는 신경 쓰지 않습니다. 여기에 언급하고 싶습니다:
f = open("test.txt","w") f.write(u"你好")

위 코드가 python2에서 실행되면 오류가 보고됩니다
프로그램이 유니코드 문자열을 직접 저장할 수 없기 때문에 오류가 보고됩니다. 인코딩해야 합니다. 저장하기 전에 str 유형의 이진 바이트 시퀀스로 변환됩니다. write() 메서드는 기본적으로 ascii 인코딩 형식을 사용하여 자동으로 인코딩을 변환하는데, ascii는 중국어를 처리할 수 없으므로 UnicodeEncodeError가 발생합니다. 올바른 방법은 write() 메서드를 호출하기 전에 형식을 수동으로 변환하고 utf-8 또는 gbk를 사용하여 str로 변환하는 것입니다.f = open("test.txt","w") text=u"你好" text=text.encode(encoding='utf-8') f.write(text)
close() 정보:
닫지 않으면 어떤 영향을 미치나요? 작업이 완료된 후 파일을 닫지 않으면 시스템에서 열 수 있는 파일 설명자 수가 제한되어 있으므로 시스템 리소스가 낭비됩니다. 리눅스는 65535입니다.
일반적으로 닫으면 괜찮지만 특별한 상황이 있을 수 있습니다. 예를 들어 open() 함수를 호출할 때 오류가 발생했고, close()를 호출하면 확실히 오류가 보고됩니다. 또 다른 방법은 write() 중에 디스크 공간이 부족하면 오류가 보고되고 close()가 실행될 기회가 없다는 것입니다. 올바른 방법은 예외를 잡기 위해 try Except를 사용하는 것입니다.
f = open("test.txt","w") try: text=u"你好" text=text.encode(encoding='utf-8') f.write(text) except: IOError as e: print("oops,%s"%e.args[0]) finally: f.close()
보다 우아한 작성 방법은 with...as를 사용하는 것입니다.
with open("test.txt","w") as f: text=u"你好" f.write(text.encode(encoding='utf-8'))
파일 개체는 오전 및 오후 관리자 프로토콜을 구현합니다. 프로그램이 with 문을 입력하면 파일 개체가 변수 f에 할당되고 프로그램이 실행될 때 close() 메서드가 자동으로 호출됩니다. 로 종료됩니다.
호환성 문제 정보:
python2와 python3의 open() 함수는 서로 다릅니다. 후자는 함수에서 문자 인코딩 형식을 지정할 수 있습니다.
python2와 python3 간의 호환성 open() 문제를 해결하는 방법은 무엇입니까?
io 모듈에서 open() 함수를 사용하세요. python2의 io.open은 python3의 open 함수와 동일합니다. _python
위 내용은 python3.4.3에서 txt 텍스트를 한 줄씩 읽고 중복을 제거하는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

Video Face Swap
완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!

인기 기사

뜨거운 도구

메모장++7.3.1
사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경

드림위버 CS6
시각적 웹 개발 도구

SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)

뜨거운 주제











win7 시스템이 txt 텍스트를 열 수 없으면 어떻게 해야 합니까? 컴퓨터에서 텍스트 파일을 편집해야 할 때 가장 쉬운 방법은 텍스트 도구를 사용하는 것입니다. 그러나 일부 사용자는 자신의 컴퓨터가 txt 텍스트 파일을 열 수 없다는 사실을 발견합니다. 그렇다면 이 문제를 해결하는 방법은 무엇입니까? win7 시스템에서 txt 텍스트를 열 수 없는 문제를 해결하기 위해 자세한 튜토리얼을 살펴보겠습니다. win7 시스템에서 txt 텍스트를 열 수 없는 문제를 해결하기 위한 튜토리얼 1. 바탕 화면에서 txt 파일을 마우스 오른쪽 버튼으로 클릭하세요. txt 파일이 없으면 마우스 오른쪽 버튼을 클릭하여 새 텍스트 문서를 만든 다음 속성을 선택하세요. 2. 열린 txt 속성 창에서 아래 그림과 같이 일반 옵션 아래의 변경 버튼을 찾습니다. 3. 팝업 열기 모드 설정에서

iOS 17에서 Apple은 전화, 문자 메시지, 알람 등에 사용할 수 있는 20개 이상의 새로운 사운드를 제공하여 전체 벨소리 및 텍스트 톤 선택을 철저히 조사했습니다. 이를 보는 방법은 다음과 같습니다. 많은 새로운 벨소리는 기존 벨소리보다 더 길고 현대적으로 들립니다. 여기에는 아르페지오, 깨진, 캐노피, 캐빈, 삐걱거리는 소리, 새벽, 출발, 돌롭, 여행, 주전자, 수은, 은하계, 쿼드, 방사형, 청소부, 묘목, 쉼터, 뿌리기, 계단, 이야기 시간, 놀림, 기울이기, 펼치기 및 계곡이 포함됩니다. . 반사는 기본 벨소리 옵션으로 유지됩니다. 수신 문자 메시지, 음성 메일, 수신 메일 알림, 미리 알림 등에 사용할 수 있는 10개 이상의 새로운 문자 신호음도 있습니다. 새로운 벨소리 및 문자 알림음에 액세스하려면 먼저 iPhone이

1. 텍스트 작업 이 기사에서는 생성적 텍스트 요약 방법과 대조 학습 및 대규모 모델을 사용하여 최신 생성적 텍스트 요약 훈련 패러다임을 구현하는 방법을 주로 논의합니다. 여기에는 주로 두 개의 기사가 포함됩니다. 하나는 대조 학습을 사용하여 생성 모델에 순위 지정 작업을 도입하는 BRIO: Bringing Order to Abstractive Summarization(2022)이고, 다른 하나는 참조로 대규모 언어 모델을 요약하는 OnLearning(2023)입니다. BRIO를 기반으로 고품질 훈련 데이터를 생성하기 위한 대형 모델을 도입합니다. 2. 생성적 텍스트 요약 훈련 방법 및

이 튜토리얼에서는 Windows의 Chrome 또는 Edge에서 열려 있는 모든 탭에서 특정 텍스트나 문구를 찾는 방법을 보여줍니다. Chrome에 열려 있는 모든 탭에서 텍스트 검색을 수행하는 방법이 있습니까? 예, Chrome의 무료 외부 웹 확장 프로그램을 사용하면 수동으로 탭을 전환하지 않고도 열려 있는 모든 탭에서 텍스트 검색을 수행할 수 있습니다. TabSearch 및 Ctrl-FPlus와 같은 일부 확장 기능을 사용하면 이를 쉽게 달성할 수 있습니다. Chrome의 모든 탭에서 텍스트를 검색하는 방법은 무엇입니까? Ctrl-FPlus는 사용자가 브라우저 창의 모든 탭에서 특정 단어, 문구 또는 텍스트를 쉽게 검색할 수 있게 해주는 무료 확장 프로그램입니다. 이번 확장

텍스트 작업이 포함된 새 캡처 도구 다운로드 새 캡처 도구는 개발 및 Canary 빌드로 제한되지만, 기다리지 않으려면 지금 업데이트된 Windows 11 캡처 도구(버전 번호 11.2308.33.0)를 설치할 수 있습니다. 작동 방식: 1. Windows PC에서 이 웹사이트를 엽니다(방문). 2. 그런 다음 "제품 ID"를 선택하고 "9MZ95KL8MR0L"을 텍스트 필드에 붙여넣습니다. 3. 오른쪽 드롭다운 메뉴에서 "빠른" 링으로 전환하고 검색을 클릭합니다. 4. 이제 나타나는 검색 결과에서 "2022.2308.33.0" 버전을 찾아보세요. 5. MSIXBUNDLE 확장자가 있는 항목을 마우스 오른쪽 버튼으로 클릭하고 상황에 맞는 메뉴에서

'돼지 킬링 플레이트'라고하면 모두가 가려워서 싫어할 것입니다. 이러한 유형의 온라인 데이트 및 결혼 사기에서 사기꾼은 유혹에 빠지기 쉬운 피해자를 미리 찾고 있으며, 그들은 종종 사랑에 대한 아름다운 환상을 가진 순진하고 친절하며 예의바른 소녀입니다. 이 사기꾼들과 500 라운드 동안 싸우기 위해 스테이션 B의 기술계에서 잘 알려진 "튜링의 고양이"는 채팅할 때 자주 재미있는 농담을 하고 실제보다 훨씬 뛰어난 AI를 훈련시켰습니다. 사람. 그 결과, 사기꾼은 AI의 작동으로 이 가짜 여성에 혼란을 느끼고 520을 '그녀'에게 직접 전송했습니다. 더 웃긴 것은 사기꾼이 자신을 이용할 기회가 전혀 없다는 사실을 알게 된 후 결국 방어를 무너뜨렸을 뿐만 아니라 AI로부터 '유명한 인용문'도 받았다는 것입니다. 영상이 나오자 곧바로 입소문이 났고, B 스테이션에서 서핑하던 친구들은 모두 속았다.

Copilot이 현재 Windows 11에 제공하는 몇 가지 기능 중 아마도 가장 유용한 기능은 클립보드에 복사된 텍스트와 상호 작용하고 조정할 수 있는 기능일 것입니다. 이를 통해 데스크톱에서 바로 Copilot을 텍스트 편집 및 요약 도구로 쉽게 사용할 수 있습니다. Copilot을 사용하여 Windows에서 텍스트를 해석, 수정, 확장 및 요약하는 방법에 대해 알아야 할 모든 내용은 다음과 같습니다. Windows Copilot에서 복사된 텍스트를 사용하는 방법 Copilot 미리 보기를 통해 Windows의 기본 AI 지원 통합을 처음으로 살펴볼 수 있습니다. 다른 곳에서 복사한 텍스트를 수정하거나 확장하는 초기 기능 중 하나는 콘텐츠 생성, 요약, 개정 및

텍스트 문서는 시스템에서 매우 중요한 파일로, 많은 텍스트 콘텐츠를 볼 수 있을 뿐만 아니라 프로그래밍 기능도 제공합니다. 그러나 win11 시스템이 업데이트된 후 많은 친구들이 텍스트 문서를 열 수 없다는 사실을 발견했습니다. 이제 텍스트 문서를 실행하여 직접 열 수 있습니다. win11에서 텍스트 문서를 여는 위치 1. 먼저 키보드에서 "win+r"을 눌러 실행을 호출합니다. 2. 그런 다음 "메모장"을 입력하여 새 텍스트 문서를 직접 만듭니다. 3. 기존 텍스트 문서를 열려면 왼쪽 상단에 있는 파일을 클릭한 다음 "열기"를 클릭할 수도 있습니다.
