抓取时ip被封禁有关问题

WBOY
發布: 2016-06-13 12:32:02
原創
942 人瀏覽過

抓取时ip被封禁问题

本帖最后由 zzfkyo 于 2013-11-24 22:36:33 编辑 最近需要抓取一个站点的内容,我是用的snoopy来抓的,一开始发现会封ip后,我按照网上的解决方案将user-agent换成了google的蜘蛛的,并且用snoopy进行了伪造了ip(每抓一条就换一个随机ip)但是抓取一百多个页面后还是被封ip导致无法抓取,有什么好的解决方法吗?
snoopy 抓取 封ip
相關標籤:
來源:php.cn
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板