利用PHP抓取百度閱讀的方法範例

黄舟
發布: 2023-03-05 22:40:02
原創
1871 人瀏覽過

前言

這篇文章主要介紹的是,如何利用PHP抓取百度閱讀的方法,下面話不多說,來一起看看吧。

抓取方法如下

首先在瀏覽器裡開啟閱讀頁面,檢視原始碼後發現小說的內容並不是直接寫在頁面裡的,也就是說小說的內容是透過非同步載入而來的。

於是將chrome的開發者工具切到network一欄,​​刷新閱讀頁面,主要關注的是XHR和script兩個分類下。

經過排查,發現在script分類下有個jsonp請求比較像是小說內容,請求的位址是
http://www.php.cn/
回傳的是一個

jsonp
登入後複製

字串,然後我發現,如果把地址裡面的

callback=wenku7
登入後複製

去掉,回傳的就是一個

json
登入後複製
登入後複製

字串,這樣解析起來就方便不少,可以直接在php裡面轉換成陣列。

再來分析傳回資料的結構,傳回的

json
登入後複製
登入後複製

字串之後是一個樹狀的結構,每個節點都有一個t屬性和c屬性,t屬性用來指明這個節點的標籤,例如h2 p等等,c屬性就是內容了,但也有兩種可能,一個是字串,另一個是數組,數組的每個元素都是節點。

這種結構最好解析了,用一個遞迴就搞定

最終程式碼如下:

##

<?php
class BaiduYuedu {
 protected $bookId;
 protected $bookToken;
 protected $cookie;
 protected $result;
 public function __construct($bookId, $bookToken, $cookie){
  $this->bookId = $bookId;
  $this->bookToken = $bookToken;
  $this->cookie = $cookie;
 }
 public static function parseNode($node){
  $str = &#39;&#39;;
  if(is_string($node[&#39;c&#39;])){
   $str .= $node[&#39;c&#39;];
  }else if(is_array($node[&#39;c&#39;])){
   foreach($node[&#39;c&#39;] as $d){
    $str .= self::parseNode($d);
   }
  }
  switch($node[&#39;t&#39;]){
   case &#39;h2&#39;:
    $str .= "\n\n";
    break;
   case &#39;br&#39;:
   case &#39;p&#39;:
   case &#39;p&#39;:
    $str .= "\n";
    break;
   case &#39;img&#39;:
   case &#39;span&#39;:
    break;
   case &#39;obj&#39;:
    $tmp = &#39;(&#39; . self::parseNode($node[&#39;data&#39;][0]) . &#39;)&#39;;
    $str .= str_replace("\n", &#39;&#39;, $tmp);
    break;
   default:
    trigger_error(&#39;Unkown type:&#39;.$node[&#39;t&#39;], E_USER_WARNING);
    break;
  }
  return $str;
 }
 public function get($page = 1){
  echo "getting page {$page}...\n";
  $ch = curl_init();
  $url = sprintf(&#39;http://wenku.baidu.com/content/%s/?m=%s&type=json&cn=%d&#39;, $this->bookId, $this->token, $page);
  curl_setopt_array($ch, array(
   CURLOPT_URL   => $url,
   CURLOPT_RETURNTRANSFER => 1,
   CURLOPT_HEADER   => 0,
   CURLOPT_HTTPHEADER  => array(&#39;Cookie: &#39;. $this->cookie)
  ));
  $ret = json_decode(curl_exec($ch), true);
  curl_close($ch);
  $str = &#39;&#39;;
  if(!empty($ret)){
   $str .= self::parseNode($ret);
   $str .= $this->get($page + 1);
  }
  return $str;
 }
 public function start(){
  $this->result = $this->get();
 }
 public function getResult(){
  return $this->result;
 }
 public function saveTo($path){
  if(empty($this->result)){
   trigger_error(&#39;Result is empty&#39;, E_USER_ERROR);
   return;
  }
  file_put_contents($path, $this->result);
  echo "save to {$path}\n";
 }
}
//使用示例
$yuedu = new BaiduYuedu(&#39;49422a3769eae009581becba&#39;, &#39;8ed1dedb240b11bf0731336eff95093f&#39;, &#39;你的百度域cookie&#39;);
$yuedu->start();
$yuedu->saveTo(&#39;result.txt&#39;);
登入後複製


這個類別前兩個參數可以從小說的介紹頁面獲得,第一個參數

bookId
登入後複製

就是

url
登入後複製

ebook
登入後複製

後面跟著的字串,第二個參數

bookToken
登入後複製

在頁面原始碼搜尋

bdjsonUrl
登入後複製

m
登入後複製

參數後面的那個字串就是。



註:如果不傳入百度

cookie
登入後複製
登入後複製
登入後複製

或百度

cookie
登入後複製
登入後複製
登入後複製

無效,則只能抓取免費閱讀部分,要抓完整的內容必須保證

cookie
登入後複製
登入後複製
登入後複製
可以正常使用。



總結

 以上就是利用PHP抓取百度閱讀的方法範例的內容,更多相關內容請關注PHP中文網(www .php.cn)!


相關標籤:
來源:php.cn
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板
關於我們 免責聲明 Sitemap
PHP中文網:公益線上PHP培訓,幫助PHP學習者快速成長!