Heim > Backend-Entwicklung > PHP-Tutorial > 简单的数据抓取工具

简单的数据抓取工具

WBOY
Freigeben: 2016-06-13 12:46:03
Original
748 Leute haben es durchsucht

求一个简单的数据抓取工具
我需要的数据如:
http://map.baidu.com/?newmap=1&reqflag=pcmap&biz=1&qt=s&wd=1&c=131&tn=B_NORMAL_MAP&nn=0&ie=utf-8&l=12&b=%2812925648.97,4823379.72;12990672.97,4828435.72%29&t=1368604536591
更换其中的参数就可以得到不同的数据。把他它们存在文件或数据库就可以了。

本来我想自己写的,把我们要下载的链接拼起来,循环下载,处理一下入库就行了。
另外可以要考虑代理 ,多线程处理。

可是老大非要我去找一个开源的爬虫工具。
工具也要我给它链接,告诉他我要怎么处理这些数据才能工作呀。
没办法,请教大家,有哪个爬虫工具有这样的功能呀,谢谢了。
我只会PHP和简单的python,所以希望尽量是这两个语言写的,再次谢谢。

Verwandte Etiketten:
Quelle:php.cn
Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn
Beliebte Tutorials
Mehr>
Neueste Downloads
Mehr>
Web-Effekte
Quellcode der Website
Website-Materialien
Frontend-Vorlage