Comment simuler une visite de navigateur à l'aide des requêtes de Python : un guide pour simuler des agents utilisateurs
Lorsque vous tentez de récupérer du contenu Web à l'aide des requêtes de Python ou wget, vous pouvez rencontrer des résultats inattendus par rapport à l'utilisation d'un navigateur standard. En effet, les sites Web mettent souvent en œuvre des protections pour empêcher les requêtes automatisées. Pour surmonter ce défi, vous pouvez simuler une visite de navigateur en fournissant un en-tête User-Agent.
Implémentation de l'en-tête User-Agent
Pour simuler une visite de navigateur, vous devez inclure un en-tête User-Agent avec votre demande. Cet en-tête spécifie le type de navigateur et d'appareil utilisé, ce qui fait que votre demande ressemble davantage à un utilisateur légitime. Voici un exemple utilisant les requêtes de Python :
import requests # Define the target website URL url = 'http://www.ichangtou.com/#company:data_000008.html' # Create a dictionary of headers with a valid User-Agent string headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'} # Send the request with the User-Agent header response = requests.get(url, headers=headers) # Print the response content print(response.content)
Ressources supplémentaires
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!