Wie kann man mit der Requests-Bibliothek von Python einen Browserbesuch vortäuschen?

So fälschen Sie einen Browserbesuch mit der Requests-Bibliothek von Python

Beim programmgesteuerten Zugriff auf Websites mithilfe von Tools wie dem Requests-Paket von Python oder dem Befehl wget können Sie Es kann zu Abweichungen im abgerufenen HTML-Inhalt kommen, verglichen mit dem Besuch der Website über einen Webbrowser. Diese Diskrepanz ist auf die Tatsache zurückzuführen, dass Websites häufig Mechanismen verwenden, um zwischen echten Browserbesuchen und automatisierten Anfragen zu unterscheiden.

Ein wirksamer Ansatz zur Bewältigung dieser Herausforderung besteht darin, einen legitimen Browserbesuch durch die Bereitstellung eines „User-Agent“-Headers zu simulieren in Ihrer Anfrage. Dieser Header enthält Informationen über den spezifischen Browser und die verwendete Version, die der Website helfen, ihn als von Menschen initiierten Besuch zu identifizieren.

Um diese Lösung mithilfe der Requests-Bibliothek von Python zu implementieren, führen Sie die folgenden Schritte aus:

1. Importieren Sie das Anforderungsmodul.
2. Definieren Sie die URL der Website, auf die Sie zugreifen möchten.
3. Erstellen Sie ein Header-Wörterbuch mit dem folgenden Schlüssel-Wert-Paar: „User-Agent“: „Mozilla/5.0 (Macintosh; Intel Mac OS Dies ist ein Beispiel für eine gängige User-Agent-Zeichenfolge für Google Chrome.
4. Verwenden Sie die Methode „requests.get()“, um eine GET-Anfrage an die Website zu senden und dabei das Header-Wörterbuch als Argument zu übergeben.
5. Das Antwortobjekt enthält den HTML-Inhalt, auf den über .content zugegriffen werden kann.

Beispielcode:

import requests

url = 'http://www.ichangtou.com/#company:data_000008.html'
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'}

response = requests.get(url, headers=headers)
print(response.content)

Zur Referenz eine umfassende Liste von User-Agents Zeichenfolgen für verschiedene Browser finden Sie hier:

[Liste aller Browser](https://deviceatlas.com/blog/list-of-user-agent-strings)

Alternativ Sie kann das Drittanbieterpaket fake-useragent verwenden, das den Prozess der Generierung realistischer User-Agent-Strings vereinfacht. Hier ist eine Demonstration seiner Verwendung:

from fake_useragent import UserAgent

ua = UserAgent()
request_headers = {'User-Agent': ua.chrome}

Das obige ist der detaillierte Inhalt vonWie kann man mit der Requests-Bibliothek von Python einen Browserbesuch vortäuschen?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!