如何样阻止不友好的搜索引擎机器人蜘蛛爬虫

WBOY
发布: 2016-06-13 12:50:15
原创
780 人浏览过

怎么样阻止不友好的搜索引擎机器人蜘蛛爬虫?
今天在服务器上面发现,MYSQL流量很高。然后查看一下日志,发现一个不友好的蜘蛛爬虫,看了一下时间 一秒钟访问页面7,8次,而且访问的是网站的整站收索页面。就是不听的查询数据库。
我想问一下大家遇到这类的问题,如何防范? 现在我已经静止了这个IP地址


------解决方案--------------------
没有什么好方法。你可以观察哪些ip访问频繁,有嫌疑的就禁封。

程序当中,你可以设置同一个ip两次访问的间隔时间。
相关标签:
来源:php.cn
本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责声明 Sitemap
PHP中文网:公益在线PHP培训,帮助PHP学习者快速成长!