Wie lege ich benutzerdefinierte Benutzeragenten in Python urllib2 für Web Scraping fest?

Patricia Arquette
Freigeben: 2024-11-01 08:54:02
Original
535 Leute haben es durchsucht

How to Set Custom User Agents in Python urllib2 for Web Scraping?

Einstellen von Benutzeragenten in urllib2

Bei der Verwendung von urllib2.urlopen für das Web-Scraping ist es normalerweise der Standard-Benutzeragent der Python-Paketname. Dies ist möglicherweise nicht immer wünschenswert, da Websites Einschränkungen basierend auf dem Benutzeragenten durchsetzen können. Um den Benutzeragenten zu ändern, kann man einen benutzerdefinierten urllib2-Öffner verwenden.

In Python 2.x kann urllib2.build_opener verwendet werden, um einen neuen Öffner mit zu erstellen benutzerdefinierte Header, einschließlich des Benutzeragenten. Der folgende Codeausschnitt zeigt, wie der Benutzeragent auf Mozilla geändert wird:

opener = urllib2.build_opener()
opener.addheaders = [('User-Agent', 'Mozilla/5.0')]
response = opener.open('http://www.stackoverflow.com')
Nach dem Login kopieren

In Python 3 ist das Äquivalent zu urllib2.build_opener urllib.request.build_opener. Die gleiche Codestruktur kann auch zum Festlegen benutzerdefinierter Benutzeragenten in Python 3 verwendet werden.

Das obige ist der detaillierte Inhalt vonWie lege ich benutzerdefinierte Benutzeragenten in Python urllib2 für Web Scraping fest?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Quelle:php.cn
Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn
Neueste Artikel des Autors
Beliebte Tutorials
Mehr>
Neueste Downloads
Mehr>
Web-Effekte
Quellcode der Website
Website-Materialien
Frontend-Vorlage