Wie überwindet man Website-Blockaden mithilfe der Anfragen und Benutzeragenten von Python?

Vorgetäuschte Browserbesuche mit Pythons Requests und User Agents: Eine Lösung für Website-Blockaden

Beim Zugriff auf Websites mit dem Requests-Paket von Python kann es zu Problemen kommen Situationen, in denen der erhaltene HTML-Inhalt erheblich von dem in einem Browser angezeigten Inhalt abweicht. Dies ist häufig darauf zurückzuführen, dass die Website Blöcke verwendet, die den Zugriff für Nicht-Browser identifizieren und einschränken.

Um dies zu umgehen, können Sie Browserbesuche simulieren, indem Sie einen User-Agent-Header bereitstellen, der den Browsertyp und die Funktionsweise identifiziert welches System verwendet wird. Dadurch kann die Website glauben, dass es sich um einen echten Browserbesuch handelt, der Zugriff auf den gewünschten Inhalt gewährt. So können Sie es mit Requests machen:

import requests

url = 'http://www.ichangtou.com/#company:data_000008.html'
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'}

response = requests.get(url, headers=headers)
print(response.content)

Alternativ bietet das fake-useragent-Paket eine bequeme Möglichkeit, Benutzeragenten für verschiedene Browser zu generieren und zu verwenden:

from fake_useragent import UserAgent
ua = UserAgent()
random_ua = ua.random
headers = {'User-Agent': random_ua}
response = requests.get(url, headers=headers)

Durch die Verwendung von Wenn Sie diese Techniken verwenden, um Browserbesuche vorzutäuschen, können Sie erfolgreich auf Websites zugreifen, die zuvor Ihre Python-basierten Versuche blockiert haben.

Das obige ist der detaillierte Inhalt vonWie überwindet man Website-Blockaden mithilfe der Anfragen und Benutzeragenten von Python?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!