Comment définir des agents utilisateurs personnalisés dans Python urllib2 pour le Web Scraping ?

Définition des agents utilisateurs dans urllib2

Lors de l'utilisation de urllib2.urlopen pour le web scraping, l'agent utilisateur par défaut est généralement le nom du package Python. Cela n’est pas toujours souhaitable, car les sites Web peuvent imposer des restrictions basées sur l’agent utilisateur. Pour modifier l'agent utilisateur, on peut utiliser un ouvreur urllib2 personnalisé.

Dans Python 2.x, urllib2.build_opener peut être utilisé pour créer un nouvel ouvreur avec en-têtes personnalisés, y compris l'agent utilisateur. L'extrait de code suivant montre comment changer l'agent utilisateur en Mozilla :

opener = urllib2.build_opener()
opener.addheaders = [('User-Agent', 'Mozilla/5.0')]
response = opener.open('http://www.stackoverflow.com')

Dans Python 3, l'équivalent de urllib2.build_opener est urllib.request.build_opener. La même structure de code peut également être utilisée pour définir des agents utilisateurs personnalisés dans Python 3.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!