Robots協議(也稱為爬蟲協議、機器人協議等)全名為「網路爬蟲排除標準」(Robots Exclusion Protocol)，網站透過Robots協議告訴搜尋引擎哪些頁面可以抓取，哪些頁面不能抓取。本文將詳細介紹爬蟲協定robots
Robots協定的全名是「網路爬蟲排除標準」（Robots Exclusion Protocol），它的功能是透過Robots檔案告訴搜尋引擎哪些頁面可以抓取，哪些頁面不能抓取，抓取的標準等。它以一個文字檔案的形式放在網站的根目錄中，用任何一個常見的文字編輯器都可以對其進行修改和編輯。對於站長來說，合理的書寫robots.txt檔案可以更合理的利用搜尋引擎，屏蔽掉一些低品質的頁面，提高網站品質和對搜尋引擎的友善度。
具體寫法如下：
（*為萬用字元）
#User-agent: * 代表的所有的搜尋引擎種類，
Disallow: /admin/ 這裡定義是禁止爬尋admin目錄下面的目錄
Disallow: /require/ 這裡定義是禁止爬尋require目錄下面的目錄
#Disallow : /ABC/ 這裡定義是禁止爬尋ABC目錄下面的目錄
Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以”.htm”為後綴的URL(包含子目錄）。
Disallow: /*?* 禁止造訪網站中所有包含問號(?) 的網址
Disallow: /.jpg$ 禁止抓取網頁所有的.jpg格式的圖片
Disallow:/ab/adc.html 禁止爬取ab資料夾下面的adc.html檔案。
Allow: /cgi-bin/ 這裡定義是允許爬尋cgi-bin目錄下面的目錄
Allow: /tmp 這裡定義是允許爬尋tmp的整個目錄
Allow: .htm$ 僅允許存取以”.htm”為後綴的URL。
Allow: .gif$ 允許抓取網頁和gif格式圖片
Sitemap: 網站地圖告訴爬蟲這個頁面是網站地圖
robots .txt檔案是一個文字文件，是搜尋引擎中造訪網站的時候要查看的第一個檔案。 robots.txt檔案告訴蜘蛛程式在伺服器上什麼檔案是可以被檢視的
當一個搜尋蜘蛛造訪一個網站時，它會先檢查該網站根目錄下是否存在robots.txt，如果存在，搜尋機器人就會依照該檔案中的內容來決定存取的範圍；如果該檔案不存在，所有的搜尋蜘蛛將能夠存取網站上所有沒有被口令保護的頁面
【原則】
Robots協定是國際網路界通行的道德規範，基於以下原則建立：
1、搜尋科技應服務於人類，同時尊重資訊提供者的意願，並維護其隱私權；
2、網站有義務保護其使用者的個人資訊和隱私不被侵犯
[注意]robots.txt必須放置在一個網站的根目錄下，而且檔案名稱必須全部小寫
【User-agent】
# 下面程式碼中*代表的所有的搜尋引擎種類，*是一個通配符，表示所有的搜尋機器人
User-agent: *
下面程式碼表示百度的搜尋機器人
User-agent: Baiduspider
【Disallow】
# 下面程式碼表示禁止爬尋admin目錄下面的目錄
Disallow: /admin/
下面程式碼表示禁止抓取網頁所有的.jpg格式的圖片
Disallow: /.jpg$
下面程式碼表示禁止爬取ab資料夾下面的adc.html檔案
Disallow:/ab/adc.html
下面程式碼表示禁止存取網站中所有包含問號(?) 的網址
Disallow: /*?*
#下列程式碼表示禁止造訪網站中所有頁面
Disallow: /
【Allow】
下面程式碼表示允許存取以".html"為後綴的URL
Allow: .html$
下面程式碼表示允許爬尋tmp的整個目錄
Allow: /tmp
# 下面程式碼表示允許所有的robot造訪網站所有的頁面
User-agent: *Allow: /
下面程式碼表示禁止所有搜尋引擎造訪網站的任何部分
User-agent: *Disallow: /
下面程式碼表示禁止百度的機器人造訪其網站下其所有的目錄
User-agent: Baiduspider Disallow: /
下面程式碼表示禁止所有搜尋引擎造訪網站的cgi-bin、tmp、~joe這三個目錄下的檔案
User-agent: *Disallow: /cgi-bin/Disallow: /tmp/Disallow: /~joe/
【迷思一】：網站上的所有檔案都需要蜘蛛抓取，那就沒必要在新增robots.txt檔案了。反正如果該檔案不存在，所有的搜尋蜘蛛將預設能夠存取網站上所有沒有被口令保護的頁面
每當用戶試圖存取某個不存在的URL時，伺服器都會在日誌中記錄404錯誤（無法找到文件）。每當搜尋蜘蛛來尋找不存在的robots.txt檔案時，伺服器也會在日誌中記錄一條404錯誤，所以應該在網站中新增一個robots.txt
【迷思二】：在robots .txt檔案中設定所有的檔案都可以被搜尋蜘蛛抓取，這樣可以增加網站的收錄率
網站中的程式腳本、樣式表等檔案即使被蜘蛛收錄，也不會增加網站的收錄率，還只會浪費伺服器資源。因此必須在robots.txt檔案中設定不要讓搜尋蜘蛛索引這些檔案
以上是關於爬蟲協議robots介紹的詳細內容。更多資訊請關注PHP中文網其他相關文章！
