웹 스크래핑을 위해 Python urllib2에서 사용자 정의 사용자 에이전트를 설정하는 방법은 무엇입니까?

urllib2에서 사용자 에이전트 설정

웹 스크래핑을 위해 urllib2.urlopen을 사용하는 동안 기본 사용자 에이전트는 일반적으로 다음과 같습니다. Python 패키지 이름. 웹사이트는 사용자 에이전트에 따라 제한을 시행할 수 있으므로 이는 항상 바람직하지 않을 수 있습니다. 사용자 에이전트를 수정하려면 사용자 정의 urllib2 오프너를 활용할 수 있습니다.

Python 2.x에서는 urllib2.build_opener를 사용하여 새 오프너를 만들 수 있습니다. 사용자 에이전트를 포함한 사용자 정의 헤더. 다음 코드 조각은 사용자 에이전트를 Mozilla로 변경하는 방법을 보여줍니다.

opener = urllib2.build_opener()
opener.addheaders = [('User-Agent', 'Mozilla/5.0')]
response = opener.open('http://www.stackoverflow.com')

Python 3에서 urllib2.build_opener에 해당하는 것은 urllib.request.build_opener. 동일한 코드 구조를 사용하여 Python 3에서도 사용자 정의 사용자 에이전트를 설정할 수 있습니다.

위 내용은 웹 스크래핑을 위해 Python urllib2에서 사용자 정의 사용자 에이전트를 설정하는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!