Dieser Artikel stellt hauptsächlich vor, wie PHP die Snoopy-Klasse zum Implementieren des Seiten-Crawlings verwendet. Ich hoffe, dass er für alle hilfreich ist.
Das Beispiel in diesem Artikel beschreibt die Verwendung der Snoopy-Klasse in PHP. Die spezifische Analyse lautet wie folgt:
Hier ist eine Demonstration, wie man Webseiteninformationen durch Snoopy in PHP crawlt
/* You need the snoopy.class.php from http://snoopy.sourceforge.net/ */ include("snoopy.class.php"); $snoopy = new Snoopy; // need an proxy?: //$snoopy->proxy_host = "my.proxy.host"; //$snoopy->proxy_port = "8080"; // set browser and referer: $snoopy->agent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)"; $snoopy->referer = "http://www.jonasjohn.de/"; // set some cookies: $snoopy->cookies["SessionID"] = '238472834723489'; $snoopy->cookies["favoriteColor"] = "blue"; // set an raw-header: $snoopy->rawheaders["Pragma"] = "no-cache"; // set some internal variables: $snoopy->maxredirs = 2; $snoopy->offsiteok = false; $snoopy->expandlinks = false; // set username and password (optional) //$snoopy->user = "joe"; //$snoopy->pass = "bloe"; // fetch the text of the website www.google.com: if($snoopy->fetchtext("http://www.google.com")){ // other methods: fetch, fetchform, fetchlinks, submittext and submitlinks // response code: print "response code: ".$snoopy->response_code."<br/>\n"; // print the headers: print "<b>Headers:</b><br/>"; while(list($key,$val) = each($snoopy->headers)){ print $key.": ".$val."<br/>\n"; } print "<br/>\n"; // print the texts of the website: print "<pre class="brush:php;toolbar:false">".htmlspecialchars($snoopy->results)."\n"; } else { print "Snoopy: error while fetching document: ".$snoopy->error."\n"; }
Zusammenfassung: Das Obige ist der gesamte Inhalt dieses Artikels, ich hoffe, er wird für das Studium aller hilfreich sein.
Verwandte Empfehlungen:
PHPs Methode zur Implementierung einer Ringwarteschlange basierend auf Memcache
PHP liest Instanz der Konfigurationsdateiklasse
Das obige ist der detaillierte Inhalt vonPHP verwendet die Snoopy-Klasse, um das Seiten-Crawling zu implementieren. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!