Comment puis-je simuler une visite de navigateur à l'aide des requêtes Python et des en-têtes User-Agent ?

Faux visites de navigateur avec des requêtes Python et génération d'agents utilisateurs

Dans certains scénarios, vous pouvez rencontrer des sites Web qui répondent différemment lorsqu'ils sont accessibles via un navigateur par rapport à une approche basée sur des scripts. Pour surmonter ce problème et simuler une visite de navigateur, vous pouvez utiliser la bibliothèque Requests de Python pour fournir un en-tête User-Agent.

L'en-tête User-Agent identifie le navigateur et le système d'exploitation utilisés pour accéder au site Web. En fournissant un User-Agent approprié, vous pouvez faire croire au serveur que la requête provient d'un vrai navigateur, tel que Firefox ou Chrome.

Voici comment procéder :

import requests

url = 'http://example.com/page.html'
headers = {'User-Agent': 'Mozilla/5.0 ...'}

response = requests.get(url, headers=headers)
print(response.content)

Vous pouvez trouver une liste complète des chaînes User-Agent en interrogeant le Web. De plus, vous pouvez utiliser le package tiers "fake-useragent" pour générer des chaînes User-Agent aléatoires basées sur des données du monde réel.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!