首頁 > 運維 > Nginx > 主體

Nginx中設定過濾爬蟲的User-Agent方法

王林
發布: 2023-05-27 08:46:15
轉載
1825 人瀏覽過

Nginx中設定過濾爬蟲的User-Agent方法

一看不得了,基本上都是被一個user agent叫"yisouspider"的東西給刷屏了,一看就不知道是哪的蜘蛛,太沒節操了。
找到根目錄配置區,增加user agent過濾判斷語句,發現叫"yisouspider"的直接回傳403

註1:如果需要增加多個過濾,這樣做

 ($http_user_agent ~* "spider1|spider2|spider3|spider4")
登入後複製

,中間用|隔開就行了

註2:如果你是用的是子目錄博客,像我的一樣,那麼要找到"location /blog/" 這樣的區段去修改

location / {
......其它配置
if ($http_user_agent ~* "yisouspider") {
return 403;
}
}
登入後複製

設定完成wq儲存後reload一下nginx,然後使用以下指令自我測試,位址自己改。沒裝curl的我就沒辦法了,自己apt或yum裝一個吧,神器來的。

curl -i -a "yisouspider" www.slyar.com/blog/
登入後複製

看到回傳403就可以了,表示設定成功

Nginx中設定過濾爬蟲的User-Agent方法

#

以上是Nginx中設定過濾爬蟲的User-Agent方法的詳細內容。更多資訊請關注PHP中文網其他相關文章!

相關標籤:
來源:yisu.com
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板
關於我們 免責聲明 Sitemap
PHP中文網:公益線上PHP培訓,幫助PHP學習者快速成長!