Beispiel für die Verwendung von PHP zum Crawlen von Baidu Reading

Vorwort

In diesem Artikel wird hauptsächlich die Verwendung von PHP zum Erfassen von Baidu Reading vorgestellt. Im Folgenden gibt es nicht viel zu sagen, werfen wir einen Blick darauf.

Die Crawling-Methode ist wie folgt

Öffnen Sie zunächst die Leseseite im Browser, überprüfen Sie den Quellcode und stellen Sie fest, dass der Inhalt des Romans nicht direkt darauf geschrieben ist die Seite, das heißt Es wird gesagt, dass der Inhalt des Romans asynchron geladen wird.

Also habe ich die Entwicklertools von Chrome auf die Netzwerkspalte umgestellt, die Leseseite aktualisiert und mich auf die beiden Kategorien XHR und Skript konzentriert.

Nach einer Untersuchung wurde festgestellt, dass es eine JSONP-Anfrage unter der Kategorie „Skript“ gab, die eher wie der Inhalt eines Romans aussah. Die angeforderte Adresse war
http://www.php.cn/
Die Antwort war eine

jsonp

-Zeichenfolge, und dann stellte ich fest, dass, wenn ich das

callback=wenku7

in der Adresse entferne, ein

json

zurückgegeben wird

Zeichenfolge, daher ist sie beim Parsen sehr praktisch und kann direkt in ein Array in PHP konvertiert werden.

Analysieren wir die Struktur der zurückgegebenen Daten. Auf die zurückgegebene Zeichenfolge

json

folgt ein t-Attribut und ein c-Attribut Geben Sie die Bezeichnung dieses Knotens an, z. B. h2 p usw., das c-Attribut ist der Inhalt, es gibt jedoch zwei Möglichkeiten: eine ist eine Zeichenfolge, die andere ist ein Array, und jedes Element des Arrays ist ein Knoten.

Diese Art von Struktur lässt sich am besten analysieren und kann mit einer Rekursion durchgeführt werden

Der endgültige Code lautet wie folgt:

<?php
class BaiduYuedu {
 protected $bookId;
 protected $bookToken;
 protected $cookie;
 protected $result;
 public function __construct($bookId, $bookToken, $cookie){
  $this->bookId = $bookId;
  $this->bookToken = $bookToken;
  $this->cookie = $cookie;
 }
 public static function parseNode($node){
  $str = &#39;&#39;;
  if(is_string($node[&#39;c&#39;])){
   $str .= $node[&#39;c&#39;];
  }else if(is_array($node[&#39;c&#39;])){
   foreach($node[&#39;c&#39;] as $d){
    $str .= self::parseNode($d);
   }
  }
  switch($node[&#39;t&#39;]){
   case &#39;h2&#39;:
    $str .= "\n\n";
    break;
   case &#39;br&#39;:
   case &#39;p&#39;:
   case &#39;p&#39;:
    $str .= "\n";
    break;
   case &#39;img&#39;:
   case &#39;span&#39;:
    break;
   case &#39;obj&#39;:
    $tmp = &#39;(&#39; . self::parseNode($node[&#39;data&#39;][0]) . &#39;)&#39;;
    $str .= str_replace("\n", &#39;&#39;, $tmp);
    break;
   default:
    trigger_error(&#39;Unkown type:&#39;.$node[&#39;t&#39;], E_USER_WARNING);
    break;
  }
  return $str;
 }
 public function get($page = 1){
  echo "getting page {$page}...\n";
  $ch = curl_init();
  $url = sprintf(&#39;http://wenku.baidu.com/content/%s/?m=%s&type=json&cn=%d&#39;, $this->bookId, $this->token, $page);
  curl_setopt_array($ch, array(
   CURLOPT_URL   => $url,
   CURLOPT_RETURNTRANSFER => 1,
   CURLOPT_HEADER   => 0,
   CURLOPT_HTTPHEADER  => array(&#39;Cookie: &#39;. $this->cookie)
  ));
  $ret = json_decode(curl_exec($ch), true);
  curl_close($ch);
  $str = &#39;&#39;;
  if(!empty($ret)){
   $str .= self::parseNode($ret);
   $str .= $this->get($page + 1);
  }
  return $str;
 }
 public function start(){
  $this->result = $this->get();
 }
 public function getResult(){
  return $this->result;
 }
 public function saveTo($path){
  if(empty($this->result)){
   trigger_error(&#39;Result is empty&#39;, E_USER_ERROR);
   return;
  }
  file_put_contents($path, $this->result);
  echo "save to {$path}\n";
 }
}
//使用示例
$yuedu = new BaiduYuedu(&#39;49422a3769eae009581becba&#39;, &#39;8ed1dedb240b11bf0731336eff95093f&#39;, &#39;你的百度域cookie&#39;);
$yuedu->start();
$yuedu->saveTo(&#39;result.txt&#39;);

Die ersten beiden Parameter dieser Klasse können auf der Einleitungsseite des Romans abgerufen werden. Der erste Parameter

bookId

ist

url

li

ebook

Die Zeichenfolge gefolgt von

, dem zweiten Parameter

bookToken

, wird im Quellcode der Seite nach

bdjsonUrl

durchsucht, dem Einer nach dem

m

Parameter Strings sind.

Hinweis: Wenn Baidu

cookie

nicht übergeben wird oder Baidu

cookie

ungültig ist, gilt nur der kostenlose Leseteil Um den gesamten Inhalt zu erfassen, müssen Sie sicherstellen, dass

cookie

normal verwendet werden kann.

Zusammenfassung

Das Obige ist ein Beispiel für die Verwendung von PHP zum Crawlen von Baidu Reading. Weitere verwandte Inhalte finden Sie unter PHP chinesische Website (www.php.cn)!