如何样阻止不友好的搜索引擎机器人蜘蛛爬虫

WBOY
Release: 2016-06-13 11:19:08
Original
881 people have browsed it

怎么样阻止不友好的搜索引擎机器人蜘蛛爬虫?
今天在服务器上面发现,MYSQL流量很高。然后查看一下日志,发现一个不友好的蜘蛛爬虫,看了一下时间 一秒钟访问页面7,8次,而且访问的是网站的整站收索页面。就是不听的查询数据库。
我想问一下大家遇到这类的问题,如何防范? 现在我已经静止了这个IP地址


------解决方案--------------------
没有什么好方法。你可以观察哪些ip访问频繁,有嫌疑的就禁封。

程序当中,你可以设置同一个ip两次访问的间隔时间。
Related labels:
source:php.cn
Statement of this Website
The content of this article is voluntarily contributed by netizens, and the copyright belongs to the original author. This site does not assume corresponding legal responsibility. If you find any content suspected of plagiarism or infringement, please contact admin@php.cn
Popular Tutorials
More>
Latest Downloads
More>
Web Effects
Website Source Code
Website Materials
Front End Template
About us Disclaimer Sitemap
php.cn:Public welfare online PHP training,Help PHP learners grow quickly!