测试环境被百度快照抓了
怎么去掉呢
怎么不被百度快照抓住
求大神指教
先找百度提交删除申请
然后测试环境记得加 robots.txt 不给抓取,或者在 nginx 上 直接拒绝 来自蜘蛛的请求.
robots.txt
nginx
robots封禁就可以了,加上 robots.txt 就行了,禁止全部的搜索引擎抓取:
User-agent:* Disallow:/
已经收录的快照,除非你的内容已经删除或者改变了,申请删除或更新快照才有用。robots规则生效有点慢,你可以自己在百度站长工具更新一下:百度站长平台
先找百度提交删除申请
然后测试环境记得加
robots.txt
不给抓取,或者在nginx
上 直接拒绝 来自蜘蛛的请求.robots封禁就可以了,加上 robots.txt 就行了,禁止全部的搜索引擎抓取:
已经收录的快照,除非你的内容已经删除或者改变了,申请删除或更新快照才有用。
robots规则生效有点慢,你可以自己在百度站长工具更新一下:百度站长平台