Heim > Backend-Entwicklung > PHP-Tutorial > 求一个简单的数据抓取工具

求一个简单的数据抓取工具

WBOY
Freigeben: 2016-06-23 14:10:19
Original
1012 Leute haben es durchsucht

我需要的数据如:
http://map.baidu.com/?newmap=1&reqflag=pcmap&biz=1&qt=s&wd=1&c=131&tn=B_NORMAL_MAP&nn=0&ie=utf-8&l=12&b=%2812925648.97,4823379.72;12990672.97,4828435.72%29&t=1368604536591
更换其中的参数就可以得到不同的数据。把他它们存在文件或数据库就可以了。

本来我想自己写的,把我们要下载的链接拼起来,循环下载,处理一下入库就行了。
另外可以要考虑代理 ,多线程处理。

可是老大非要我去找一个开源的爬虫工具。
工具也要我给它链接,告诉他我要怎么处理这些数据才能工作呀。
没办法,请教大家,有哪个爬虫工具有这样的功能呀,谢谢了。
我只会PHP和简单的python,所以希望尽量是这两个语言写的,再次谢谢。


回复讨论(解决方案)

找个开源的还是得改成你需要的,到麻烦。php的curl就可以,支持代理。
python的话socket挺好的,而且多线程的话threading处理非常方便。
自己写呗~

东西做好 然后告诉他 这个就是最好的工具

Verwandte Etiketten:
Quelle:php.cn
Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn
Beliebte Tutorials
Mehr>
Neueste Downloads
Mehr>
Web-Effekte
Quellcode der Website
Website-Materialien
Frontend-Vorlage