Python의 요청과 사용자 에이전트를 사용하여 웹사이트 차단을 극복하는 방법은 무엇입니까?

Python의 요청 및 사용자 에이전트를 사용하여 브라우저 방문 위장: 웹 사이트 차단에 대한 솔루션

Python의 요청 패키지를 사용하여 웹 사이트에 액세스할 때 다음과 같은 문제가 발생할 수 있습니다. 얻은 HTML 콘텐츠가 브라우저에 표시된 콘텐츠와 크게 다른 경우. 이는 브라우저가 아닌 사용자에 대한 액세스를 식별하고 제한하는 블록을 사용하는 웹사이트로 인해 발생하는 경우가 많습니다.

이를 극복하려면 브라우저 유형과 운영 체제를 식별하는 User-Agent 헤더를 제공하여 브라우저 방문을 시뮬레이션할 수 있습니다. 시스템을 사용하고 있습니다. 이를 통해 웹사이트는 이것이 진정한 브라우저 방문이라고 믿게 되어 원하는 콘텐츠에 대한 액세스 권한을 부여하게 됩니다. 요청으로 이를 수행할 수 있는 방법은 다음과 같습니다.

import requests

url = 'http://www.ichangtou.com/#company:data_000008.html'
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'}

response = requests.get(url, headers=headers)
print(response.content)

또는 fake-useragent 패키지는 다양한 브라우저용 사용자 에이전트를 생성하고 사용하는 편리한 방법을 제공합니다.

from fake_useragent import UserAgent
ua = UserAgent()
random_ua = ua.random
headers = {'User-Agent': random_ua}
response = requests.get(url, headers=headers)

활용하여 브라우저 방문을 위조하는 이러한 기술을 사용하면 이전에 Python 기반 시도를 차단했던 웹사이트에 성공적으로 액세스할 수 있습니다.

위 내용은 Python의 요청과 사용자 에이전트를 사용하여 웹사이트 차단을 극복하는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!