本篇文章主要介绍了基于node下的http小爬虫的示例代码,现在分享给大家,也给大家做个参考。
每时每刻不管你睡了还是没睡,互联网都会有海量的数据来来往往,有客服端到服务端,有服务端到服务端。http的get和request完成的角色即为数据的获取及提交,接下来我们动手写一个简单的小爬虫来爬爬菜鸟教程中关于node的章节的课程界面。
爬取Node.js 教程首页的所有数据
建立node-http.js,其中代码如下,代码中有详细的的注释,自行理解了哈
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 | var http= require ('http');
var url='http:
http.get(url, function (res){
var html='';
res.on('data', function (data){
html +=data
})
res.on(' end ', function (){
console.log(html)
})
}).on('error', function (){
console.log('获取node官网相关数据出错')
})
|
Salin selepas log masuk
终端执行结果中发现这个页面的html全部被爬下来了
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 | G:\node\node-http> node node-http.js
<!Doctype html>
<html>
<head>
<meta http-equiv= "Content-Type" content= "text/html; charset=UTF-8" />
<meta property= "qc:admins" content= "465267610762567726375" />
<meta name= "viewport" content= "width=device-width, initial-scale=1.0" />
<title>Node.js 教程 | 菜鸟教程</title>
<link rel='dns-prefetch' href='
<link rel= "canonical" href= "http://www.runoob.com/nodejs/nodejs-tutorial.html" />
<meta name= "keywords" content= "Node.js 教程,node,Node.js,nodejs" >
<meta name= "description" content="Node.js 教程 简单的说 Node.js 就是运行在服务端的 JavaScript。 Node.js 是一个基于Chrome JavaScript 运行时建立的一个平台
。 Node.js是一个事件驱动I/O服务端JavaScript环境,基于Google的V8引擎,V8引擎执行Javascript的速度非常快,性能非常好。 谁适合阅读本教程? 如果你是一个前端程序员,你不懂得像PHP、Python或Ruby等动态编程语言,..">
<link rel= "shortcut icon" href= "//static.runoob.com/images/favicon.ico" rel= "external nofollow" rel= "external nofollow" mce_href= "//static.runoob.com/images/favicon.ico" rel= "external nofollow" rel= "external nofollow" type= "image/x-icon" >
<link rel= "stylesheet" href= "/wp-content/themes/runoob/style.css?v=1.141" rel= "external nofollow" type= "text/css" media= "all" />
<link rel= "stylesheet" href= "//cdn.bootcss.com/font-awesome/4.7.0/css/font-awesome.min.css" rel= "external nofollow" media= "all" />
<!--[ if gte IE 9]><!-->
。。。。。。。。。。
这里只展示部分不然你半天看不到头
|
Salin selepas log masuk
当然爬个HTML对于我们来说没啥用,现在我们要做些过滤,比如这个node教程中我想知道课程目录有哪些,这样可以选择感兴趣的去看看学学。直接上代码吧还是:
不过在此之前我们需要下载cheerio模块(cheerio是nodejs的抓取页面模块,为服务器特别定制的,快速、灵活、实施的jQuery核心实现。适合各种Web爬虫程序。)具体详细介绍你们可以自行去搜索了解,cheerio的用跟jquery的用法非常类似,所以不用担心上手繁琐。
1 | PS G:\node\node-http> npm install cheerio
|
Salin selepas log masuk
建立node-http-more.js,其中代码如下:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 | var http= require ('http');
var cheerio= require ('cheerio');
var url='http:
function filerNodeChapter(html){
var $=cheerio.load(html);
var nodeChapter=$('#leftcolumn a');
var chapterData=[];
nodeChapter.each( function (item){
var id=$(this).attr('href');
var title=$(this).text();
chapterData.push({
id:id,
title:title
})
})
return chapterData;
}
function getChapterData(nodeChapter){
nodeChapter.forEach( function (item){
console.log(' 【 '+item.id+' 】'+item.title+'\n')
});
}
http.get(url, function (res){
var html='';
res.on('data', function (data){
html +=data
})
res.on(' end ', function (){
var nodeChapter= filerNodeChapter(html);
getChapterData(nodeChapter)
})
}).on('error', function (){
console.log('获取node官网相关数据出错')
})
|
Salin selepas log masuk
终端执行结果及打印出课程目录
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 | G:\node\node-http> node node-http-more.js
【 /nodejs/nodejs-tutorial.html 】
Node.js 教程
【 /nodejs/nodejs-install-setup.html 】
Node.js 安装配置
【 /nodejs/nodejs-http-server.html 】
Node.js 创建第一个应用
【 nodejs-npm.html 】 NPM 使用介绍
【 nodejs-repl.html 】 Node.js REPL
【 nodejs-callback.html 】 Node.js 回调函数
【 nodejs-event-loop.html 】 Node.js 事件循环
【 nodejs-event.html 】 Node.js EventEmitter
【 nodejs-buffer.html 】 Node.js Buffer
【 nodejs-stream.html 】 Node.js Stream
【 /nodejs/nodejs-module-system.html 】
Node.js 模块系统
。。。。。。。。。。。
这里就不全部给出,你可以自己尝试着运行操作查看所有结果
|
Salin selepas log masuk
上面是我整理给大家的,希望今后会对大家有帮助。
相关文章:
在React、Vue项目中如何使用SVG
通过JavaScript实现比较同一天的时间大小
使用vue2.0.js实现多级联动选择器
使用mint-ui实现省市区三级联动效果
使用vue实现二级路由设置方法
在Vue-Router2.X中实现多种路由实现
Atas ialah kandungan terperinci 在node中如何实现http小爬虫. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!