목표
Lesson4 프로젝트를 만들고 코드를 작성해 보세요.
코드의 진입점은 app.js입니다. node app.js가 호출되면 CNode에 있는 모든 주제의 제목, 링크 및 장을 출력합니다(https://cnodejs.org/) 커뮤니티 홈페이지 json 형식의 댓글입니다.
출력 예:
[ { "title": "【公告】发招聘帖的同学留意一下这里", "href": "http://cnodejs.org/topic/541ed2d05e28155f24676a12", "comment1": "呵呵呵呵" }, { "title": "发布一款 Sublime Text 下的 JavaScript 语法高亮插件", "href": "http://cnodejs.org/topic/54207e2efffeb6de3d61f68f", "comment1": "沙发!" } ]
도전
위 목표를 바탕으로 comment1의 작성자와 그의 포인트 값을 cnode 커뮤니티에 출력합니다.
예:
[ { "title": "【公告】发招聘帖的同学留意一下这里", "href": "http://cnodejs.org/topic/541ed2d05e28155f24676a12", "comment1": "呵呵呵呵", "author1": "auser", "score1": 80 }, ... ]
지식 포인트
Node.js의 콜백 지옥의 아름다움을 경험해보세요
동시성 제어 도구인 eventproxy 사용 방법 알아보기
강좌 내용
이 장에서는 Node.js의 가장 멋진 부분인 비동기 동시성에 대해 알아봅니다.
이전 강의에서는 superagent와 Cherio를 사용하여 홈페이지 콘텐츠를 가져오는 방법을 소개했습니다. http 가져오기 요청만 시작하면 됩니다. 하지만 이번에는 각 주제의 첫 번째 댓글을 검색해야 하며, 이를 위해서는 각 주제의 링크에 대한 요청을 시작하고 첫 번째 댓글을 검색하기 위해 Cherio를 사용해야 합니다.
CNode에는 현재 페이지당 40개의 주제가 있으므로 이 강의의 목표를 달성하려면 140개의 요청을 시작해야 합니다.
우리는 후자의 40개 요청을 동시에 시작했습니다. :) Node.js의 동시성 모델은 멀티스레딩과 다르기 때문에 이러한 개념을 포기합니다. 좀 더 구체적으로 말하면 왜 비동기식이 비동기식인지, Node.js가 단일 스레드이지만 동시성이 있는 이유와 같은 과학적인 문제는 다루지 않겠습니다. 이 측면에 관심이 있는 학생들에게는 @puling의 "Nine Lights and One Deep Node.js"를 강력히 추천합니다: http://book.douban.com/subject/25768396/.
좀 더 세련된 친구들은 Promise나 Generator 같은 개념을 들어본 적이 있을 것입니다. 하지만 저는 콜백에 대해서만 이야기할 수 있습니다. 주된 이유는 제가 개인적으로 콜백만을 좋아하기 때문입니다.
이 과정에서는 3개의 라이브러리를 사용해야 합니다: superagent Cherio eventproxy(https://github.com/JacksonTian/eventproxy )
비계 작업은 직접 하셔도 되고, 프로그램을 단계별로 함께 작성해 드립니다.
첫 번째 app.js는 다음과 같습니다
var eventproxy = require('eventproxy'); var superagent = require('superagent'); var cheerio = require('cheerio'); // url 模块是 Node.js 标准库里面的 // http://nodejs.org/api/url.html var url = require('url'); var cnodeUrl = 'https://cnodejs.org/'; superagent.get(cnodeUrl) .end(function (err, res) { if (err) { return console.error(err); } var topicUrls = []; var $ = cheerio.load(res.text); // 获取首页所有的链接 $('#topic_list .topic_title').each(function (idx, element) { var $element = $(element); // $element.attr('href') 本来的样子是 /topic/542acd7d5d28233425538b04 // 我们用 url.resolve 来自动推断出完整 url,变成 // https://cnodejs.org/topic/542acd7d5d28233425538b04 的形式 // 具体请看 http://nodejs.org/api/url.html#url_url_resolve_from_to 的示例 var href = url.resolve(cnodeUrl, $element.attr('href')); topicUrls.push(href); }); console.log(topicUrls); });
node app.js 실행
출력은 아래와 같습니다.
자, 이제 모든 URL의 주소를 얻었습니다. 다음으로 모든 주소를 크롤링하면 Node.js가 완료됩니다.
크롤링하기 전에 eventproxy 라이브러리를 소개해야 합니다.
JS에서 비동기적으로 작성해 본 학생들은 두세 개의 주소에서 동시에 비동기적으로 데이터를 얻고, 데이터를 얻은 후에 이 데이터를 함께 사용하려는 경우 전통적인 작성 방법은 스스로 유지하는 것임을 모두 알고 있어야 합니다. 계수기.
먼저 var count = 0으로 정의한 다음 크롤링이 성공할 때마다 개수를 계산합니다. 세 가지 소스에서 데이터를 캡처하려는 경우 누가 이러한 비동기 작업을 먼저 완료할지 모르기 때문에 캡처가 성공할 때마다 개수 === 3을 확인합니다. 값이 true이면 다른 함수를 사용하여 작업을 계속하십시오.
Eventproxy는 이러한 비동기 작업이 완료되었는지 관리하는 데 도움이 되며, 제공된 처리 기능을 자동으로 호출하고 캡처된 데이터를 매개 변수로 전달합니다.
eventproxy나 counter를 사용하지 않는다는 가정하에 3가지 소스를 캡쳐하는 방법은 다음과 같습니다.
// jquery의 $.get 메소드 참조
$.get("http://data1_source", function (data1) { // something $.get("http://data2_source", function (data2) { // something $.get("http://data3_source", function (data3) { // something var html = fuck(data1, data2, data3); render(html); }); }); });
위 코드는 모두가 작성했습니다. 먼저 data1을 얻은 다음 data2를 얻은 다음 data3을 얻은 다음 엿먹이고 출력하십시오.
그러나 실제로는 이 세 가지 소스의 데이터를 동시에 얻을 수 있다고 생각했을 것입니다. data2의 획득은 data1의 완성에 의존하지 않으며 마찬가지로 data3은 data2에 의존하지 않습니다.
그래서 카운터를 사용하여 작성하면 다음과 같이 작성됩니다.
(function () { var count = 0; var result = {}; $.get('http://data1_source', function (data) { result.data1 = data; count++; handle(); }); $.get('http://data2_source', function (data) { result.data2 = data; count++; handle(); }); $.get('http://data3_source', function (data) { result.data3 = data; count++; handle(); }); function handle() { if (count === 3) { var html = fuck(result.data1, result.data2, result.data3); render(html); } } })();
못생겼다고 해도 그다지 못생기지 않은 건 내가 작성한 코드가 보기에 좋아야 한다는 점이다.
eventproxy를 사용하면 다음과 같이 작성됩니다.
var ep = new eventproxy(); ep.all('data1_event', 'data2_event', 'data3_event', function (data1, data2, data3) { var html = fuck(data1, data2, data3); render(html); }); $.get('http://data1_source', function (data) { ep.emit('data1_event', data); }); $.get('http://data2_source', function (data) { ep.emit('data2_event', data); }); $.get('http://data3_source', function (data) { ep.emit('data3_event', data); });
훨씬 좋아진 것 같죠? 그냥 고급 카운터일 뿐이죠.
ep.all('data1_event', 'data2_event', 'data3_event', function (data1, data2, data3) {});
这一句,监听了三个事件,分别是 data1_event, data2_event, data3_event,每次当一个源的数据抓取完成时,就通过 ep.emit() 来告诉 ep 自己,某某事件已经完成了。
当三个事件未同时完成时,ep.emit() 调用之后不会做任何事;当三个事件都完成的时候,就会调用末尾的那个回调函数,来对它们进行统一处理。
eventproxy 提供了不少其他场景所需的 API,但最最常用的用法就是以上的这种,即:
先 var ep = new eventproxy(); 得到一个 eventproxy 实例。
告诉它你要监听哪些事件,并给它一个回调函数。ep.all('event1', 'event2', function (result1, result2) {})。
在适当的时候 ep.emit('event_name', eventData)。
eventproxy 这套处理异步并发的思路,我一直觉得就像是汇编里面的 goto 语句一样,程序逻辑在代码中随处跳跃。本来代码已经执行到 100 行了,突然 80 行的那个回调函数又开始工作了。如果你异步逻辑复杂点的话,80 行的这个函数完成之后,又激活了 60 行的另外一个函数。并发和嵌套的问题虽然解决了,但老祖宗们消灭了几十年的 goto 语句又回来了。
至于这套思想糟糕不糟糕,我个人倒是觉得还是不糟糕,用熟了看起来蛮清晰的。不过 js 这门渣渣语言本来就乱嘛,什么变量提升(http://www.cnblogs.com/damonlan/archive/2012/07/01/2553425.html )啊,没有 main 函数啊,变量作用域啊,数据类型常常简单得只有数字、字符串、哈希、数组啊,这一系列的问题,都不是事儿。
编程语言美丑啥的,咱心中有佛就好。
回到正题,之前我们已经得到了一个长度为 40 的 topicUrls 数组,里面包含了每条主题的链接。那么意味着,我们接下来要发出 40 个并发请求。我们需要用到 eventproxy 的 #after API。
大家自行学习一下这个 API 吧:https://github.com/JacksonTian/eventproxy#%E9%87%8D%E5%A4%8D%E5%BC%82%E6%AD%A5%E5%8D%8F%E4%BD%9C
我代码就直接贴了哈。
// 得到 topicUrls 之后 // 得到一个 eventproxy 的实例 var ep = new eventproxy(); // 命令 ep 重复监听 topicUrls.length 次(在这里也就是 40 次) `topic_html` 事件再行动 ep.after('topic_html', topicUrls.length, function (topics) { // topics 是个数组,包含了 40 次 ep.emit('topic_html', pair) 中的那 40 个 pair // 开始行动 topics = topics.map(function (topicPair) { // 接下来都是 jquery 的用法了 var topicUrl = topicPair[0]; var topicHtml = topicPair[1]; var $ = cheerio.load(topicHtml); return ({ title: $('.topic_full_title').text().trim(), href: topicUrl, comment1: $('.reply_content').eq(0).text().trim(), }); }); console.log('final:'); console.log(topics); }); topicUrls.forEach(function (topicUrl) { superagent.get(topicUrl) .end(function (err, res) { console.log('fetch ' + topicUrl + ' successful'); ep.emit('topic_html', [topicUrl, res.text]); }); });
输出长这样:
完整的代码请查看 lesson4 目录下的 app.js 文件
总结
今天介绍的 eventproxy 模块是控制并发用的,有时我们需要同时发送 N 个 http 请求,然后利用得到的数据进行后期的处理工作,如何方便地判断数据已经全部并发获取得到,就可以用到该模块了。而模块不仅可以在服务端使用,也可以应用在客户端