測試環境被百度快照抓了
怎麼去掉呢
怎麼不被百度快照抓住
求大神指教
先找百度提交刪除申請
然後測試環境記得加 robots.txt 不給抓取,或者在 nginx 上 直接拒絕 來自蜘蛛的請求.
robots.txt
nginx
robots封鎖就可以了,加上 robots.txt 就行了,禁止全部的搜尋引擎抓取:
User-agent:* Disallow:/
已經收錄的快照,除非你的內容已經刪除或改變了,申請刪除或更新快照才有用。 robots規則生效有點慢,你可以自己在百度站長工具更新一下:百度站長平台
先找百度提交刪除申請
然後測試環境記得加
robots.txt
不給抓取,或者在nginx
上 直接拒絕 來自蜘蛛的請求.robots封鎖就可以了,加上 robots.txt 就行了,禁止全部的搜尋引擎抓取:
已經收錄的快照,除非你的內容已經刪除或改變了,申請刪除或更新快照才有用。
robots規則生效有點慢,你可以自己在百度站長工具更新一下:百度站長平台