一般公司做爬虫采集的话常用什么语言 在京东搜点书全是有关java的
闭关修行中......
蟒蛇+1
推荐一篇文章博客爬虫技术分享
做了台湾台铁0点抢票,刚开始也是PHP做的,后来发现每天0点有好多票要抢,的做成并发的同时执行的,我就用nodejs调用php ,解决了并发问题,虽然简陋,但能用。。。以前20张票需要5分钟那样完成,现在20张票也就30多秒。。。
用PHP写过不少爬虫,处理起数据来倒是得心应手,但PHP本身不太适合做爬虫这样的东西。或许Python值得一试,我是没试过
为什么这么多人推荐node.js呢?难道前几年没有node.js的时候就没有爬虫了么。
Python
强烈支持
最简单的就是javascript了,完全脚本化写爬虫,推荐用神箭手云爬虫框架。
用javascript也可以写爬虫 在云端编写和执行 源码地址:https://github.com/ShenJianSh...
见过一个go语言写的爬虫,据作者说效率是超级高
Nodejs、Java、C#、VB、PHP、Python、Ruby、Perl
蟒蛇+1
推荐一篇文章
博客爬虫技术分享
做了台湾台铁0点抢票,刚开始也是PHP做的,后来发现每天0点有好多票要抢,的做成并发的同时执行的,我就用nodejs调用php ,解决了并发问题,虽然简陋,但能用。。。以前20张票需要5分钟那样完成,现在20张票也就30多秒。。。
用PHP写过不少爬虫,处理起数据来倒是得心应手,但PHP本身不太适合做爬虫这样的东西。或许Python值得一试,我是没试过
为什么这么多人推荐node.js呢?难道前几年没有node.js的时候就没有爬虫了么。
Python
强烈支持
最简单的就是javascript了,完全脚本化写爬虫,推荐用神箭手云爬虫框架。
用javascript也可以写爬虫 在云端编写和执行 源码地址:
https://github.com/ShenJianSh...
见过一个go语言写的爬虫,据作者说效率是超级高
Nodejs、Java、C#、VB、PHP、Python、Ruby、Perl