ホームページ > 運用・保守 > Nginx > Nginx でクローラをフィルタリングするユーザー エージェント方式の構成

Nginx でクローラをフィルタリングするユーザー エージェント方式の構成

王林
リリース: 2023-05-27 08:46:15
転載
2017 人が閲覧しました

Nginx でクローラをフィルタリングするユーザー エージェント方式の構成

見にくいですが、要するに「yisouspider」というユーザーエージェントが画面をスワイプしたものです。一見するとどこから来たスパイダーなのかわかりません。とても恥知らずです。
ルート ディレクトリ設定領域を見つけて、ユーザー エージェント フィルター判定ステートメントを追加し、「yisouspider」というステートメントが直接 403 を返すことを確認します。

注 1: 複数のフィルターを追加する必要がある場合は、次のようにします。

 ($http_user_agent ~* "spider1|spider2|spider3|spider4")
ログイン後にコピー

、 |

で区切ってください。 注 2: 私のブログのようにサブディレクトリ ブログを使用している場合は、「location /blog/」のようなセクションを見つけて変更する必要があります。

location / {
......其它配置
if ($http_user_agent ~* "yisouspider") {
return 403;
}
}
ログイン後にコピー

設定を完了して wq を保存した後、nginx をリロードし、次のコマンドを使用してテストし、アドレスを自分で変更します。 curl がインストールされていない場合は、apt か yum を使って自分でインストールするしかありません。魔法のツールが付属しています。

curl -i -a "yisouspider" www.slyar.com/blog/
ログイン後にコピー

構成が成功したことを示す 403 が返されたことを確認してください。

Nginx でクローラをフィルタリングするユーザー エージェント方式の構成

以上がNginx でクローラをフィルタリングするユーザー エージェント方式の構成の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

関連ラベル:
ソース:yisu.com
このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。
人気のチュートリアル
詳細>
最新のダウンロード
詳細>
ウェブエフェクト
公式サイト
サイト素材
フロントエンドテンプレート