網路爬蟲如何做才算好？

網路爬蟲的實質，其實是從網路上「偷」資料。透過網路爬蟲，我們可以收集到所需的資源，但同樣，使用不當也可能引發一些比較嚴重的問題。

因此，在使用網路爬蟲時，我們需要做到「盜亦有道」。

網路爬蟲主要分為以下三類：

1. 小規模，資料量小，爬取速度不敏感；對於這類網路爬蟲我們可以使用Requests函式庫來實現，主要用於爬取網頁；

2. 中規模，資料規模較大，爬取速度敏感；對於這類網路爬蟲我們可以使用Scrapy函式庫來實現，主要用於爬取網站或系列網站；

3. 大規模，搜尋引擎，爬取速度關鍵；此時需要定制開發，主要用於爬取全網，一般是建立全網搜尋引擎，如百度、Google搜尋等。

在這三種中，我們最常見的是第一種，大多數都是小規模的爬取網頁的爬蟲。

對於網路爬蟲，也有很多反對聲音。因為網路爬蟲會不停的向伺服器發出請求，影響伺服器效能，對伺服器產生騷擾行為，並加大了網站維護者的工作量。

除了對伺服器的騷擾外，網路爬蟲也有可能引發法律風險。 因為伺服器上的資料有產權歸屬，如果將該資料用於牟利的話，將會帶來法律風險。

此外，網路爬蟲也可能造成使用者的隱私外洩。

簡而言之，網路爬蟲的風險主要歸於以下三點：

• 對伺服器的效能騷擾

• 內容層面的法律風險

• 個人隱私的洩漏

因此，網路爬蟲的使用需要有一定的規則。

在實際情況中，一些較大的網站都對網路爬蟲進行了相關限制，整個網路上也將網路爬蟲視為可規範的功能來看待。

對於一般的伺服器來講，我們可以透過2種方式來限製網路爬蟲：

1. 如果網站的擁有者有一定的技術能力，可以透過來源審查來限製網路爬蟲。

來源審查，一般透過判斷User-Agent來進行限制，本篇文章著重介紹第2種。

2. 透過Robots協議來告訴網路爬蟲需要遵守的規則，哪些可以爬取，哪些是不允許的，並要求所有的爬蟲遵守該協議。

第2種是以公告的形式告知，Robots協議是建議但非約束性，網路爬蟲可以不遵守，但可能會存在法律風險。透過這兩種方法，在網路上形成了對網路爬蟲的道德和技術上的有效限制。

那麼，我們在寫網路爬蟲時，就需要去尊重網站的維護人員對網站資源的管理。

網路上，部分網站沒有Robots協議，所有資料都可以爬取；不過，絕大多數的主流網站都支援Robots協議，有做相關限制，以下就具體介紹下Robots協議的基本語法。

Robots協定（Robots Exclusion Standard，網路爬蟲排除標準）：

作用：網站告知網路爬蟲哪些頁面可以爬取，哪些不行。

形式：在網站根目錄下的robots.txt檔案。

Robots協定的基本語法：*代表所有，/代表根目錄。

例如，PMCAFF的Robots協定：

User-agent: *

Disallow: /article/edit

Disallow: /discuss/write

Disallow: /discuss/edit

#第1行中User-agent:*，是指所有的網路爬蟲都需要遵守以下協議；

第2行中Disallow: /article/edit，是指所有的網路爬蟲都不允許存取article/edit下的內容，其他同理。

如果觀察京東的Robots協議，，可以看到下面有User-agent: EtaoSpider，Disallow: /，其中EtaoSpider是惡意爬蟲，不允許其爬取京東的任何資源。

User-agent: *

Disallow: /?*

Disallow: /pop /*.html

Disallow: /pinpai/*.html?*

User-agent: EtaoSpider

#Disallow: /

User-agent: HuihuiSpider

Disallow: /

#User-agent: GwdangSpider

Disallow: /

##User-agent: WochachaSpider

#Disallow: /

有了Robots協定後，可以對網站的內容做個規範，告訴所有的網路爬蟲哪些可以爬取，哪些不允許。

需要特別注意的是，Robots協定都是存在根目錄下的，不同的根目錄可能Robots協定是不一樣的，在爬取時需要多加留意。

以上是網路爬蟲如何做才算好？的詳細內容。更多資訊請關注PHP中文網其他相關文章！