PHP を使用して、Baidu gogole のみがアクセスできるページを作成する方法 Spider_PHP チュートリアル

通常のユーザーと検索エンジンのスパイダー クローラーの違いは、送信されるユーザー エージェントです。
Web サイトのログ ファイルを見ると、Baidu スパイダーの名前には Baiduspider が含まれていることがわかりますが、Google の場合は Googlebot であることがわかります。ユーザー アクセスの場合、次のように関数を記述します:

コードをコピーします コードは次のとおりです:

function isAllowAccess($directForbidden = FALSE) {
$ allowed = array('/baiduspider/i', '/googlebot/i' );
$user_agent = $_SERVER['HTTP_USER_AGENT'];
$valid = FALSE;
if ( preg_match($pattern, $user_agent)) {
$valid = TRUE;
}
}
if (!$valid && $directForbidden) {

return $ valid;
}


アクセスを禁止したいページの先頭に引用してください 呼び出し方法は以下の通りです

コードは次のとおりです:

if (!isAllowAccess()) { exit("404 not found") } / /or

isAllowAccess(TRUE);

http://www.bkjia.com/PHPjc/321062.html

www.bkjia.com

tru​​e

http://www.bkjia.com/PHPjc/321062.html

技術記事通常のユーザーと検索エンジン スパイダーのクロールの違いは、送信されるユーザー エージェントです。Web サイトのログ ファイルを見ると、Baidu スパイダーの名前には Baiduspider が含まれていることがわかりますが、Google の場合は Googlebot です。