在node如何實現http小爬蟲
本篇文章主要介紹了基於node下的http小爬蟲的範例程式碼，現在分享給大家，也給大家做個參考。
每時每刻不管你睡了還是沒睡，網路都會有海量的資料來來往往，有客服端到服務端，有服務端到服務端。 http的get和request完成的角色即為數據的獲取及提交,接下來我們動手寫一個簡單的小爬蟲來爬爬菜鳥教程中關於node的章節的課程界面。
爬取Node.js 教程首頁的所有資料
建立node-http.js,其中程式碼如下，程式碼中有詳細的的註釋，自行理解了哈
var http=require('http');//获取http模块
var url='http://www.runoob.com/nodejs/nodejs-tutorial.html';//定义node官网地址变量
http.get(url,function(res){
var html='';
// 这里将会触发data事件，不断触发不断跟新html直至完毕
res.on('data',function(data){
html +=data
})
// 当数据获取完成将会触发end事件，这里将会打印初node官网的html
res.on('end',function(){
console.log(html)
})
}).on('error',function(){
console.log('获取node官网相关数据出错')
})終端執行結果中發現這個頁面的html全部被爬下來了
G:\node\node-http> node node-http.js <!Doctype html> <html> <head> <meta http-equiv="Content-Type" content="text/html; charset=UTF-8" /> <meta property="qc:admins" content="465267610762567726375" /> <meta name="viewport" content="width=device-width, initial-scale=1.0" /> <title>Node.js 教程 | 菜鸟教程</title> <link rel='dns-prefetch' href='//s.w.org' /> <link rel="canonical" href="http://www.runoob.com/nodejs/nodejs-tutorial.html" /> <meta name="keywords" content="Node.js 教程,node,Node.js,nodejs"> <meta name="description" content="Node.js 教程 简单的说 Node.js 就是运行在服务端的 JavaScript。 Node.js 是一个基于Chrome JavaScript 运行时建立的一个平台 。 Node.js是一个事件驱动I/O服务端JavaScript环境，基于Google的V8引擎，V8引擎执行Javascript的速度非常快，性能非常好。 谁适合阅读本教程？ 如果你是一个前端程序员，你不懂得像PHP、Python或Ruby等动态编程语言，.."> <link rel="shortcut icon" href="//static.runoob.com/images/favicon.ico" rel="external nofollow" rel="external nofollow" mce_href="//static.runoob.com/images/favicon.ico" rel="external nofollow" rel="external nofollow" type="image/x-icon"> <link rel="stylesheet" href="/wp-content/themes/runoob/style.css?v=1.141" rel="external nofollow" type="text/css" media="all" /> <link rel="stylesheet" href="//cdn.bootcss.com/font-awesome/4.7.0/css/font-awesome.min.css" rel="external nofollow" media="all" /> <!--[if gte IE 9]><!--> 。。。。。。。。。。 这里只展示部分不然你半天看不到头
當然爬個HTML對於我們來說沒啥用，現在我們要做些過濾，比如這個node教程中我想知道課程目錄有哪些，這樣可以選擇有興趣的去看看學學。直接上程式碼吧還是：
不過在此之前我們需要下載cheerio模組（cheerio是nodejs的抓取頁面模組，為伺服器特別客製化的，快速、靈活、實作的jQuery核心實作。適合各種Web爬蟲程式。）具體詳細介紹你們可以自行去搜尋了解，cheerio的用跟jquery的用法非常類似，所以不用擔心上手繁瑣。
PS G:\node\node-http> npm install cheerio
建立node-http-more.js,其中程式碼如下：
var http=require('http');//获取http模块
var cheerio=require('cheerio');//引入cheerio模块
var url='http://www.runoob.com/nodejs/nodejs-tutorial.html';//定义node官网地址变量
// filer node chapter
function filerNodeChapter(html){
// 将爬取得HTML装载起来
var $=cheerio.load(html);
// 拿到左侧边栏的每个目录
var nodeChapter=$('#leftcolumn a');
//这里我希望我能获取的到的最终数据格式这个样子的,如此我们能知道每个目录的地址及标题
/**
* [{id:,title:}]
*/
var chapterData=[];
nodeChapter.each(function(item){
// 获取每项的地址及标题
var id=$(this).attr('href');
var title=$(this).text();
chapterData.push({
id:id,
title:title
})
})
return chapterData;
}
//获取每个数据
function getChapterData(nodeChapter){
nodeChapter.forEach(function(item){
console.log(' 【 '+item.id+' 】'+item.title+'\n')
});
}
http.get(url,function(res){
var html='';
// 这里将会触发data事件，不断触发不断跟新html直至完毕
res.on('data',function(data){
html +=data
})
// 当数据获取完成将会触发end事件，这里将会打印初node官网的html
res.on('end',function(){
//console.log(html)
// 过滤出node.js的课程目录
var nodeChapter= filerNodeChapter(html);
//循环打印所获取的数据
getChapterData(nodeChapter)
})
}).on('error',function(){
console.log('获取node官网相关数据出错')
})終端執行結果及列印出課程目錄
G:\node\node-http> node node-http-more.js 【 /nodejs/nodejs-tutorial.html 】 Node.js 教程 【 /nodejs/nodejs-install-setup.html 】 Node.js 安装配置 【 /nodejs/nodejs-http-server.html 】 Node.js 创建第一个应用 【 nodejs-npm.html 】 NPM 使用介绍 【 nodejs-repl.html 】 Node.js REPL 【 nodejs-callback.html 】 Node.js 回调函数 【 nodejs-event-loop.html 】 Node.js 事件循环 【 nodejs-event.html 】 Node.js EventEmitter 【 nodejs-buffer.html 】 Node.js Buffer 【 nodejs-stream.html 】 Node.js Stream 【 /nodejs/nodejs-module-system.html 】 Node.js 模块系统 。。。。。。。。。。。 这里就不全部给出，你可以自己尝试着运行操作查看所有结果
上面是我整理給大家的，希望今後會對大家有幫助。
相關文章：
#以上是在node如何實現http小爬蟲的詳細內容。更多資訊請關注PHP中文網其他相關文章！
熱AI工具
Undresser.AI Undress
人工智慧驅動的應用程序，用於創建逼真的裸體照片
AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。
Undress AI Tool
免費脫衣圖片
Clothoff.io
AI脫衣器
AI Hentai Generator
免費產生 AI 無盡。
熱門文章
熱工具
記事本++7.3.1
好用且免費的程式碼編輯器
SublimeText3漢化版
中文版，非常好用
禪工作室 13.0.1
強大的PHP整合開發環境
Dreamweaver CS6
視覺化網頁開發工具
SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)
熱門話題
http狀態碼520是什麼意思
Oct 13, 2023 pm 03:11 PM
http狀態碼520是指伺服器在處理請求時遇到了一個未知的錯誤，無法提供更具體的資訊。用於表示伺服器在處理請求時發生了一個未知的錯誤，可能是由於伺服器配置問題、網路問題或其他未知原因導致的。通常是由伺服器配置問題、網路問題、伺服器過載或程式碼錯誤等原因導致的。如果遇到狀態碼520錯誤，最好聯絡網站管理員或技術支援團隊以取得更多的資訊和協助。
python爬蟲要學多久
Oct 25, 2023 am 09:44 AM
學習Python爬蟲的時間因人而異，取決於個人的學習能力、學習方法、學習時間和經驗等因素。學習Python爬蟲不僅是學習技術本身，還需要具備良好的資訊蒐集能力、問題解決能力和團隊協作能力。透過不斷學習和實踐，您將逐漸成長為優秀的Python爬蟲開發者。
瞭解網頁重定向的常見應用場景並了解HTTP301狀態碼
Feb 18, 2024 pm 08:41 PM
掌握HTTP301狀態碼的意思：網頁重定向的常見應用場景隨著網路的快速發展，人們對網頁互動的要求也越來越高。在網頁設計領域，網頁重定向是一種常見且重要的技術，透過HTTP301狀態碼來實現。本文將探討HTTP301狀態碼的意義以及在網頁重新導向中的常見應用場景。 HTTP301狀態碼是指永久重新導向（PermanentRedirect）。當伺服器接收到客戶端發
Pi Node教學：什麼是Pi節點？如何安裝和設定Pi Node？
Mar 05, 2025 pm 05:57 PM
PiNetwork節點詳解及安裝指南本文將詳細介紹PiNetwork生態系統中的關鍵角色——Pi節點，並提供安裝和配置的完整步驟。 Pi節點在PiNetwork區塊鏈測試網推出後，成為眾多先鋒積極參與測試的重要環節，為即將到來的主網發布做準備。如果您還不了解PiNetwork，請參考Pi幣是什麼？上市價格多少？ Pi用途、挖礦及安全性分析。什麼是PiNetwork？ PiNetwork項目始於2019年，擁有其專屬加密貨幣Pi幣。該項目旨在創建一個人人可參與
http請求415錯誤解決方法
Nov 14, 2023 am 10:49 AM
解決方法：1、檢查請求頭中的Content-Type；2、檢查請求體中的資料格式；3、使用適當的編碼格式；4、使用適當的請求方法；5、檢查伺服器端的支援。
HTTP 200 OK：了解成功回應的意義與用途
Dec 26, 2023 am 10:25 AM
HTTP狀態碼200：探索成功回應的意義與用途HTTP狀態碼是用來表示伺服器回應狀態的數字代碼。其中，狀態碼200表示請求已成功被伺服器處理。本文將探討HTTP狀態碼200的具體意義與用途。首先，讓我們來了解HTTP狀態碼的分類。狀態碼分為五個類別，分別是1xx、2xx、3xx、4xx和5xx。其中，2xx表示成功的回應。而200是2xx中最常見的狀態碼
高效率的Java爬蟲實戰：網頁資料抓取技巧分享
Jan 09, 2024 pm 12:29 PM
Java爬蟲實戰：如何有效率地抓取網頁資料引言：隨著網路的快速發展，大量有價值的資料儲存在各種網頁中。而要獲取這些數據，往往需要手動訪問每個網頁並逐一提取信息，這無疑是一項繁瑣且耗時的工作。為了解決這個問題，人們開發了各種爬蟲工具，其中Java爬蟲是最常用的之一。本文將帶領讀者了解如何使用Java編寫高效的網頁爬蟲，並透過具體程式碼範例來展示實踐。一、爬蟲的基
對於HTTP請求逾時會回傳哪種狀態碼？
Feb 18, 2024 pm 01:58 PM
HTTP請求逾時，伺服器端常常會回傳504GatewayTimeout狀態碼。此狀態碼表示伺服器在執行某個請求時，經過一段時間後仍未能取得到請求所需的資源或完成請求的處理。它是5xx系列的狀態碼，表示伺服器端遇到了臨時的問題或過載，導致無法正確處理客戶端的請求。在HTTP協定中，各種狀態碼都有特定的意義和用途，而504狀態碼則用來表示請求逾時問題。在客戶
