Python crawlt Google-Suchergebnisse

Ich habe vor einiger Zeit untersucht, wie man Python zum Crawlen von Suchmaschinenergebnissen verwendet. Ich habe alle Probleme aufgezeichnet, auf die ich gestoßen bin Zukunft. Machen Sie Umwege.

1. Auswahl der Suchmaschine

Die Auswahl einer guten Suchmaschine bedeutet, dass Sie genauere Suchergebnisse erhalten. Ich habe vier Suchmaschinen verwendet: Google, Bing, Baidu und Yahoo!. Als Programmierer ist Google meine erste Wahl. Aber als ich sah, dass mein Lieblings-Google mir nur eine Menge JS-Code zurückgab, gab es überhaupt keine Suchergebnisse, die ich wollte. Also wechselte ich zum Bing-Lager. Nachdem ich es eine Weile verwendet hatte, stellte ich fest, dass die von Bing zurückgegebenen Suchergebnisse nicht ideal für mein Problem waren. Gerade als ich am Verzweifeln war, rettete mich Google. Es stellt sich heraus, dass Google eine andere Suchmethode hat, um auf die Benutzer einzugehen, die die Verwendung von js in ihren Browsern verbieten:

https://www.google.com .hk/search?hl= en&q=hello

　hl gibt die zu durchsuchende Sprache an und q ist das Schlüsselwort, nach dem Sie suchen möchten. Nun, dank Google enthält die Suchergebnisseite den Inhalt, den ich crawlen möchte.

PS: Viele Methoden im Internet verwenden Python zum Crawlen von Google-Suchergebnissen oder verwenden https://ajax.googleapis.com/ajax/services/search/web... . Es ist zu beachten, dass diese Methode von Google nicht mehr empfohlen wird, siehe https://developers.google.com/web-search/docs/. Google stellt jetzt eine benutzerdefinierte Such-API zur Verfügung, die API ist jedoch auf 100 Anfragen pro Tag begrenzt. Wenn Sie mehr benötigen, können Sie nur dafür bezahlen.

2. Python crawlt und analysiert Webseiten

Die Verwendung von Python zum Crawlen von Webseiten ist sehr praktisch, siehe Code:

def search(self, queryStr):
     queryStr = urllib2.quote(queryStr)
     url = 'https://www.google.com.hk/search?hl=en&q=%s' % queryStr
     request = urllib2.Request(url)
     response = urllib2.urlopen(request)
     html = response.read()
     results = self.extractSearchResults(html)

Der HTML-Code In Zeile 6 steht der Quellcode der von uns gecrawlten Suchergebnisseite. Studenten, die Python verwendet haben, werden feststellen, dass Python sowohl urllib- als auch urllib2-Module bereitstellt, die sich beide auf URL-Anfragen beziehen. Sie können jedoch nur URLs empfangen, während urllib2 eine Instanz der Request-Klasse akzeptieren kann Legen Sie die Header der URL-Anfrage fest, was bedeutet, dass Sie Ihren Benutzeragenten usw. verschleiern können (wird unten verwendet).

Da wir nun Python verwenden können, um Webseiten zu crawlen und zu speichern, können wir anschließend die gewünschten Suchergebnisse aus der Quellcodeseite extrahieren. Python stellt das HTMLparser-Modul zur Verfügung, dessen Verwendung jedoch relativ umständlich ist. Hier empfehlen wir BeautifulSoup, ein sehr nützliches Webseiten-Analysepaket. Auf der Website von Judge gibt es eine ausführliche Einführung in die Verwendung von BeautifulSoup.

Die Verwendung des obigen Codes ist für eine kleine Anzahl von Abfragen relativ in Ordnung, aber wenn Sie Tausende von Abfragen durchführen möchten, ist die obige Methode nicht mehr effektiv Wenn Sie häufig einen Computer zum Crawlen der Google-Suchergebnisse verwenden, blockiert Google Ihre IP-Adresse und sendet Ihnen in Kürze eine 503-Fehlerseite zurück. Dies ist nicht das Ergebnis, das wir wollen, also werden wir weiter nachforschen

Wie bereits erwähnt, können wir mit urllib2 die Header der URL-Anfrage festlegen und unseren Benutzeragenten verschleiern. Einfach ausgedrückt ist der Benutzeragent ein spezielles Netzwerkprotokoll, das von Anwendungen wie Client-Browsern verwendet wird. Es wird jedes Mal an den Server gesendet, wenn der Browser (E-Mail-Client/Suchmaschinen-Spider) eine HTTP-Anfrage stellt, und der Server weiß, um welchen Browser es sich handelt (E-Mail-Client/Suchmaschinen-Spider) wird für den Zugriff verwendet. Um bestimmte Zwecke zu erreichen, müssen wir manchmal den Server in gutem Glauben täuschen und ihm mitteilen, dass ich keinen Computer verwende, um auf Sie zuzugreifen.

Unser Code sieht also so aus:

user_agents = ['Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20130406 Firefox/23.0', \
         'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:18.0) Gecko/20100101 Firefox/18.0', \
         'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/533+ \
         (KHTML, like Gecko) Element Browser 5.0', \
         'IBM WebExplorer /v0.94', 'Galaxy/1.0 [en] (Mac OS X 10.5.6; U; en)', \
         'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0)', \
         'Opera/9.80 (Windows NT 6.0) Presto/2.12.388 Version/12.14', \
         'Mozilla/5.0 (iPad; CPU OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) \
         Version/6.0 Mobile/10A5355d Safari/8536.25', \
         'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) \
         Chrome/28.0.1468.0 Safari/537.36', \
         'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.0; Trident/5.0; TheWorld)']
 def search(self, queryStr):
     queryStr = urllib2.quote(queryStr)
     url = 'https://www.google.com.hk/search?hl=en&q=%s' % queryStr
     request = urllib2.Request(url)
     index = random.randint(0, 9)
     user_agent = user_agents[index]
     request.add_header('User-agent', user_agent)
     response = urllib2.urlopen(request)
     html = response.read()
     results = self.extractSearchResults(html)

Lassen Sie sich nicht von der user_agents-Liste einschüchtern. Sie besteht tatsächlich aus 10 Benutzeragentenzeichenfolgen Benötigen Sie mehr Benutzeragenten, sehen Sie sich bitte hier UserAgentString an.

Die Zeilen 17–19 zeigen die zufällige Auswahl einer Benutzeragentenzeichenfolge und die anschließende Verwendung der add_header-Methode der Anfrage, um einen Benutzeragenten zu verschleiern.

Durch die Tarnung des Benutzeragenten können wir weiterhin Suchmaschinenergebnisse crawlen. Wenn dies nicht funktioniert, empfehle ich, zwischen jeweils zwei Abfragen eine Zeit lang zu schlafen. Dies wirkt sich jedoch auf die Crawling-Geschwindigkeit aus Dies ermöglicht Ihnen kontinuierlichere Crawling-Ergebnisse. Wenn Sie mehrere IPs haben, erhöht sich auch die Crawling-Geschwindigkeit.