python爬蟲 php 向訪客和爬蟲顯示不同的內容

聽說本方法會觸犯搜尋引擎的一些操作原則, 有可能被各搜尋引擎處罰, 甚至刪除網站. 所以我剛剛已經撤下這樣的處理, 直到確定其不屬於作弊. 有魄力的朋友可以繼續使用, 但後果自負.
本博客的首頁和存檔頁面以列表的形式顯示文章, 在訪客點擊展開文章時才加載文章的內容. 因為文章的內容部分包含了大量的文字和圖片, 需要大量的載入時間和流量. 盡快地向訪客展示網頁可以挽留大量的來訪者. 而對於手機用戶來說, 加載時間和流量則更為重要.
一般來說, 網站的首頁是搜尋引擎訪問最多的頁面, 應該盡可能的向它們展示有意義的內容, 但是要以列表的形式顯示文章的話, 訪客和搜索引擎只能獲取到文章標題信息. 文章內容或者摘要(尤其是文章的第一句) 對於SEO 來說是極其重要的, 所以我們要設法向爬蟲發送這些內容.
好, 我們可以通過User Agent 來判斷訪問者是否為爬蟲, 如果是, 則以一般形式顯示文章, 否則以列表形式顯示文章列表. 可以用以下的PHP 方法判斷是否為爬蟲:

複製程式碼 程式碼如下:

function is ) {
$userAgent = strtolower($_SERVER['HTTP_USER_AGENT']);
$spiders = array(
'Googlebot', // Google 爬蟲
'Baiduspider', // 百度爬蟲
'Yahoo! Slurp', // 雅虎爬蟲
'YodaoBot', // 有道爬蟲
'msnbot' // Bing爬蟲
// 更多爬蟲關鍵字
);
foreach ($spiders as $spider) {
$spider = strtolower($spider);
if (strpos($userAgent, $spider) !== false) {
return true; }
}
return false;
}

這是我使用的方法, 各爬蟲以訪問評論由高到低進行排序. 然後通過下面的方法向爬蟲和自然人顯示不同的內容
以上就介紹了python爬蟲 php 向訪客和爬蟲顯示不同的內容，包括了python爬蟲方面的內容，希望對PHP教程有興趣的朋友有所幫助。