Python3이 요청 패키지를 사용하여 웹 페이지 소스 코드를 캡처하고 저장하는 방법 소개

高洛峰
풀어 주다: 2017-03-07 15:50:19
원래의
2372명이 탐색했습니다.

이 기사의 예에서는 Python3이 요청 패키지를 사용하여 웹 페이지의 소스 코드를 가져와 저장하는 방법을 설명합니다. 참고할 수 있도록 모든 사람과 공유하세요. 세부 사항은 다음과 같습니다.

Python 3의 요청 모듈을 사용하여 웹 페이지 소스 코드를 가져와 파일에 저장합니다.

import requests
html = requests.get("http://www.baidu.com")
with open('test.txt','w',encoding='utf-8') as f:
 f.write(html.text)
로그인 후 복사

이것은 기본적인 파일 저장 작업이지만 여기서 주목할 만한 몇 가지 문제가 있습니다.

requests 패키지를 설치합니다. 명령줄에서 자동으로 설치합니다. 많은 사람들이 요청 사용을 권장합니다. 내장된 urllib.request는 웹페이지 소스 코드도 캡처할 수 있습니다

2. open 메소드의 인코딩 매개변수를 utf-8로 설정합니다. 그렇지 않으면 저장된 파일이 깨집니다.

3. 캡처한 내용을 cmd로 직접 출력하면 각종 인코딩 오류가 발생하므로 파일로 저장하여 시청해 보세요.

4. with open 방식은 작업이 완료된 후 자동으로 리소스를 해제할 수 있는 더 나은 쓰기 방법입니다.

또 다른 예:

import requests
ff = open('testt.txt','w',encoding='utf-8')
with open('test.txt',encoding="utf-8") as f:
 for line in f:
 ff.write(line)
ff.close()
로그인 후 복사

이것은 txt 파일을 한 번에 한 줄씩 읽고 다른 txt에 저장하는 방법을 보여줍니다. 파일에서.

명령줄에서 한 줄씩 읽은 데이터를 인쇄할 때 중국어에서는 인코딩 오류가 발생하기 때문에 한 줄씩 읽어서 다른 파일에 저장하여 읽는 것이 정상인지 테스트해 보세요. (인코딩 방법은 열 때 지정됩니다.)

Python3가 요청 패키지를 사용하여 웹 페이지 소스 코드를 캡처하고 저장하는 방법에 대한 자세한 내용은 PHP 중국어 웹사이트의 관련 기사를 참고하세요!

관련 라벨:
원천:php.cn
본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.
인기 튜토리얼
더>
최신 다운로드
더>
웹 효과
웹사이트 소스 코드
웹사이트 자료
프론트엔드 템플릿
회사 소개 부인 성명 Sitemap
PHP 중국어 웹사이트:공공복지 온라인 PHP 교육,PHP 학습자의 빠른 성장을 도와주세요!