目錄
回复内容:
首頁 後端開發 Python教學 如何评价可以自动更换 User-Agent 的爬虫设计?

如何评价可以自动更换 User-Agent 的爬虫设计?

Jun 06, 2016 pm 04:22 PM

我写了个爬虫爬了一个网站一堆数据,自动换UA的,感觉很赞

不过很怕被目标网站给封了,
各位大神给些更好的策略吧~

回复内容:

爬虫自动换User-Agent在代码实现上只需要一句就够了,并不是什么高难度的技术活。爬虫为什么要换不同的User-Agent呢,无非就是为了模拟浏览器,让服务器不容易识别出自己是爬虫。

对于爬虫,其实上上策是爬网站之前先去读一下网站的『robots.txt』文件,看看网站开发者(或网站主人)允许你爬什么不允许你爬什么,然后按照主人的意愿,别做出格的事情。这着实是一种情怀。

当然,其实大部分情况下我们还是希望可以不论网站主人答不答应都爬下我们需要的内容,这就需要用到一些反反爬虫的机制了。题主提到的换U-A其实就是一种方法,当然仅仅换U-A对于大部分有反爬虫机制的网站是不够的。


以下是几种简单常见的反爬虫机制和解决办法。

最简单的自然就是什么也不做,这样的网站爬起来就非常简单了,不赘述。

稍微拦一下的,可能就会校验下User-Agent了,U-A的作用就是标识你是什么浏览器/Client等等。一般编程语言内置的网络库或者第三方网络库,会将U-A设置成自己的标识,对于这样的情况网站开发者就能够很容易拦截了。于是就有了题主所说的换U-A,其实就是将库默认的U-A替换为常用浏览器的U-A,以达到干扰服务器识别的作用。

再复杂一点的,可能就不只是通过浏览器标识来识别了,访问者的IP也是标识之一。这样的反爬虫机制有一个问题就是,如果从同一个IP出去的真实请求很多,比较容易误判为爬虫。一般服务器会根据IP+Cookie来识别每个用户。要爬取这样的网站,一个比较简单且有效的方案是换代理。很多网站提供免费代理,抓下它们,然后在发请求通过代理(最好是高匿代理),就可以搞定大部分网站了。值得注意的是代理的有效时间一般比较短,所以爬代理之后应该有一个有效的机制校验已有代理的有效性。

更复杂的网站,就可能会通过账号来限制了。这样的网站一般在注册账号登录之前并不能完整浏览需要的资讯,必须要注册并登录后才能看到。这样的网站就需要注册一批账号了,在一个账号不可用之后更换新的账号。可以写一个脚本来批量注册账号。当然注册的时候一般会伴随验证码,对于简单的验证码可以Google以下OCR找找资料,复杂的验证码就手输或者购买人肉打码服务吧。

更加复杂的,就是一些社交网站了。社交网站大多非常封闭,拿新浪微博为例,微博在登录时需要提交很多参数,登录后请求的页面也不是最终的源码,还需要自己解析一遍。对于有大量js渲染的网页,一般复杂但是容易(是的,这两个词不矛盾)的,可以自己解析,复杂但是不容易的就通过一些库去做吧(比如Python的selenium等)。

........

中间还有很多就不总结了,最后讲一种情况。大概这属于爬虫界的无解难题了,就是请求所有的资源都需要付费。是的,这类网站你需要在你的账户里充值,然后每次请求都是付费的,他们才不关心你是机器还是人,反正收费嘛。



大概就是这样,时间比较紧,总结中很多漏洞,请见谅。 。。换了UA有啥用。。又不是识别不出你来。。就好像你在超市领赠品,每人只能领一次,你换个衣服再去。。。人家不但认得出来,还觉得你滑稽 感觉LZ这个防反爬策略太low...
这种防反爬的策略我还没毕业就用了,对一些大的网站根本没用,没几分钟就被抓出来禁了。
频繁换IP兴许还有点用,毕竟一般的大站不会封一大段,排除一些疯了的会封整个A段或者整个B段导致整个一片都没有数据。
还有你拿下来的数据可能是XX宽带缓存的,你看下以前有个提问,是调过最难调的BUG,里面就是这样的,XX宽带会缓存目标网站URL的动态数据,蛋疼得不得了,所以你拿的数据有可能一点用处都没有,早就过期了。
你最好再想想别的,从其他角度欺骗一下服务器,没事多看看别人的东西怎么爬的。
你这样随便一个人都能写的,github上很多的,自己去搜搜看。 至少换个 ip 吧。。。 自动换user-agent不是标配么。。。。 今天发现一个爬虫不停变着 UA 在爬我们,然后我把它 IP 封了,感觉很赞 就凭你问这个问题,换ip、换电脑、搞高仿模拟,等等等等都没用的。 用代理IP要比这个策略好 你以为换个马甲服务器就不认识你了 换UA 无聊 又 2B
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
2 週前 By 尊渡假赌尊渡假赌尊渡假赌
倉庫:如何復興隊友
4 週前 By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island冒險:如何獲得巨型種子
3 週前 By 尊渡假赌尊渡假赌尊渡假赌

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

如何使用Python查找文本文件的ZIPF分佈 如何使用Python查找文本文件的ZIPF分佈 Mar 05, 2025 am 09:58 AM

如何使用Python查找文本文件的ZIPF分佈

如何在Python中下載文件 如何在Python中下載文件 Mar 01, 2025 am 10:03 AM

如何在Python中下載文件

python中的圖像過濾 python中的圖像過濾 Mar 03, 2025 am 09:44 AM

python中的圖像過濾

我如何使用美麗的湯來解析HTML? 我如何使用美麗的湯來解析HTML? Mar 10, 2025 pm 06:54 PM

我如何使用美麗的湯來解析HTML?

如何使用Python使用PDF文檔 如何使用Python使用PDF文檔 Mar 02, 2025 am 09:54 AM

如何使用Python使用PDF文檔

如何在django應用程序中使用redis緩存 如何在django應用程序中使用redis緩存 Mar 02, 2025 am 10:10 AM

如何在django應用程序中使用redis緩存

引入自然語言工具包(NLTK) 引入自然語言工具包(NLTK) Mar 01, 2025 am 10:05 AM

引入自然語言工具包(NLTK)

如何使用TensorFlow或Pytorch進行深度學習? 如何使用TensorFlow或Pytorch進行深度學習? Mar 10, 2025 pm 06:52 PM

如何使用TensorFlow或Pytorch進行深度學習?

See all articles