So implementieren Sie den HTTP-Crawler im Knoten
In diesem Artikel wird hauptsächlich der Beispielcode des http-Crawlers basierend auf dem Knoten vorgestellt. Jetzt teile ich ihn mit Ihnen und gebe ihn als Referenz.
Jeden Moment, ob Sie schlafen oder nicht, werden im Internet riesige Datenmengen ein- und ausgehen, vom Kundendienst bis zum Server und von Server zu Server. Die Rolle von http's get und request besteht darin, Daten abzurufen und zu übermitteln. Als Nächstes beginnen wir mit dem Schreiben eines einfachen kleinen Crawlers, um die Kursschnittstelle des Kapitels über Knoten im Anfänger-Tutorial zu crawlen.
Kriechen Sie alle Daten auf der Node.js-Tutorial-Homepage
Erstellen Sie node-http.js. Der Code lautet wie folgt. Der Code enthält detaillierte Kommentare. Sie können es selbst verstehen. Ha
var http=require('http');//获取http模块
var url='http://www.runoob.com/nodejs/nodejs-tutorial.html';//定义node官网地址变量
http.get(url,function(res){
var html='';
// 这里将会触发data事件，不断触发不断跟新html直至完毕
res.on('data',function(data){
html +=data
})
// 当数据获取完成将会触发end事件，这里将会打印初node官网的html
res.on('end',function(){
console.log(html)
})
}).on('error',function(){
console.log('获取node官网相关数据出错')
})Im Ergebnis der Terminalausführung wurde festgestellt, dass der gesamte HTML-Code dieser Seite nach unten gecrawlt wurde
G:\node\node-http> node node-http.js <!Doctype html> <html> <head> <meta http-equiv="Content-Type" content="text/html; charset=UTF-8" /> <meta property="qc:admins" content="465267610762567726375" /> <meta name="viewport" content="width=device-width, initial-scale=1.0" /> <title>Node.js 教程 | 菜鸟教程</title> <link rel='dns-prefetch' href='//s.w.org' /> <link rel="canonical" href="http://www.runoob.com/nodejs/nodejs-tutorial.html" /> <meta name="keywords" content="Node.js 教程,node,Node.js,nodejs"> <meta name="description" content="Node.js 教程 简单的说 Node.js 就是运行在服务端的 JavaScript。 Node.js 是一个基于Chrome JavaScript 运行时建立的一个平台 。 Node.js是一个事件驱动I/O服务端JavaScript环境，基于Google的V8引擎，V8引擎执行Javascript的速度非常快，性能非常好。 谁适合阅读本教程？ 如果你是一个前端程序员，你不懂得像PHP、Python或Ruby等动态编程语言，.."> <link rel="shortcut icon" href="//static.runoob.com/images/favicon.ico" rel="external nofollow" rel="external nofollow" mce_href="//static.runoob.com/images/favicon.ico" rel="external nofollow" rel="external nofollow" type="image/x-icon"> <link rel="stylesheet" href="/wp-content/themes/runoob/style.css?v=1.141" rel="external nofollow" type="text/css" media="all" /> <link rel="stylesheet" href="//cdn.bootcss.com/font-awesome/4.7.0/css/font-awesome.min.css" rel="external nofollow" media="all" /> <!--[if gte IE 9]><!--> 。。。。。。。。。。 这里只展示部分不然你半天看不到头
Natürlich ist das Crawlen von HTML nutzlos Jetzt müssen wir einige Filter durchführen, z. B. Folgendes: Im Node-Tutorial möchte ich wissen, was der Kurskatalog ist, damit ich auswählen kann, woran ich interessiert bin, und lernen kann. Gehen wir direkt zum Code:
Aber vorher müssen wir das Cheerio-Modul herunterladen (Cheerio ist das Seiten-Crawling-Modul von NodeJS, speziell für den Server angepasst, eine schnelle, flexible und implementierte jQuery-Kernimplementierung. Geeignet für alle Arten von Web-Crawler-Programmen.) Sie können selbst nach Details suchen. Die Verwendung von cheerio ist der Verwendung von jquery sehr ähnlich, sodass Sie sich keine Gedanken über den Einstieg machen müssen.
PS G:\node\node-http> npm install cheerio
Erstellen Sie node-http-more.js, der Code lautet wie folgt:
var http=require('http');//获取http模块
var cheerio=require('cheerio');//引入cheerio模块
var url='http://www.runoob.com/nodejs/nodejs-tutorial.html';//定义node官网地址变量
// filer node chapter
function filerNodeChapter(html){
// 将爬取得HTML装载起来
var $=cheerio.load(html);
// 拿到左侧边栏的每个目录
var nodeChapter=$('#leftcolumn a');
//这里我希望我能获取的到的最终数据格式这个样子的,如此我们能知道每个目录的地址及标题
/**
* [{id:,title:}]
*/
var chapterData=[];
nodeChapter.each(function(item){
// 获取每项的地址及标题
var id=$(this).attr('href');
var title=$(this).text();
chapterData.push({
id:id,
title:title
})
})
return chapterData;
}
//获取每个数据
function getChapterData(nodeChapter){
nodeChapter.forEach(function(item){
console.log(' 【 '+item.id+' 】'+item.title+'\n')
});
}
http.get(url,function(res){
var html='';
// 这里将会触发data事件，不断触发不断跟新html直至完毕
res.on('data',function(data){
html +=data
})
// 当数据获取完成将会触发end事件，这里将会打印初node官网的html
res.on('end',function(){
//console.log(html)
// 过滤出node.js的课程目录
var nodeChapter= filerNodeChapter(html);
//循环打印所获取的数据
getChapterData(nodeChapter)
})
}).on('error',function(){
console.log('获取node官网相关数据出错')
})Terminal-Ausführungsergebnisse und Ausdrucken des Kursverzeichnisses
G:\node\node-http> node node-http-more.js 【 /nodejs/nodejs-tutorial.html 】 Node.js 教程 【 /nodejs/nodejs-install-setup.html 】 Node.js 安装配置 【 /nodejs/nodejs-http-server.html 】 Node.js 创建第一个应用 【 nodejs-npm.html 】 NPM 使用介绍 【 nodejs-repl.html 】 Node.js REPL 【 nodejs-callback.html 】 Node.js 回调函数 【 nodejs-event-loop.html 】 Node.js 事件循环 【 nodejs-event.html 】 Node.js EventEmitter 【 nodejs-buffer.html 】 Node.js Buffer 【 nodejs-stream.html 】 Node.js Stream 【 /nodejs/nodejs-module-system.html 】 Node.js 模块系统 。。。。。。。。。。。 这里就不全部给出，你可以自己尝试着运行操作查看所有结果
Das Obige ist, was ich Für alle zusammengestellt, hoffe ich, dass es in Zukunft für alle hilfreich sein wird.
Verwandte Artikel:
So verwenden Sie SVG in React- und Vue-Projekten
Vergleichen Sie die Uhrzeit desselben Tages mit JavaScript
Verwenden Sie vue2.0.js, um einen mehrstufigen Verknüpfungsselektor zu implementieren
Verwenden Sie Vue, um die sekundäre Routeneinstellungsmethode zu implementieren
Erzielen Sie mehrere Routing-Implementierungen in Vue-Router2.X
Das obige ist der detaillierte Inhalt vonSo implementieren Sie den HTTP-Crawler im Knoten. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
Heiße KI -Werkzeuge
Undresser.AI Undress
KI-gestützte App zum Erstellen realistischer Aktfotos
AI Clothes Remover
Online-KI-Tool zum Entfernen von Kleidung aus Fotos.
Undress AI Tool
Ausziehbilder kostenlos
Clothoff.io
KI-Kleiderentferner
Video Face Swap
Tauschen Sie Gesichter in jedem Video mühelos mit unserem völlig kostenlosen KI-Gesichtstausch-Tool aus!
Heißer Artikel
Heiße Werkzeuge
Notepad++7.3.1
Einfach zu bedienender und kostenloser Code-Editor
SublimeText3 chinesische Version
Chinesische Version, sehr einfach zu bedienen
Senden Sie Studio 13.0.1
Leistungsstarke integrierte PHP-Entwicklungsumgebung
Dreamweaver CS6
Visuelle Webentwicklungstools
SublimeText3 Mac-Version
Codebearbeitungssoftware auf Gottesniveau (SublimeText3)
Heiße Themen
1393
52
1207
24
Was bedeutet der http-Statuscode 520?
Oct 13, 2023 pm 03:11 PM
Der HTTP-Statuscode 520 bedeutet, dass der Server bei der Verarbeitung der Anfrage einen unbekannten Fehler festgestellt hat und keine genaueren Informationen bereitstellen kann. Wird verwendet, um darauf hinzuweisen, dass bei der Verarbeitung der Anforderung durch den Server ein unbekannter Fehler aufgetreten ist, der durch Serverkonfigurationsprobleme, Netzwerkprobleme oder andere unbekannte Gründe verursacht werden kann. Dies wird normalerweise durch Serverkonfigurationsprobleme, Netzwerkprobleme, Serverüberlastung oder Codierungsfehler verursacht. Wenn Sie auf einen Fehler mit dem Statuscode 520 stoßen, wenden Sie sich am besten an den Website-Administrator oder das technische Support-Team, um weitere Informationen und Unterstützung zu erhalten.
Wie lange dauert es, den Python-Crawler zu erlernen?
Oct 25, 2023 am 09:44 AM
Die Zeit, die zum Erlernen von Python-Crawlern benötigt wird, ist von Person zu Person unterschiedlich und hängt von Faktoren wie persönlicher Lernfähigkeit, Lernmethoden, Lernzeit und Erfahrung ab. Beim Erlernen von Python-Crawlern geht es nicht nur um das Erlernen der Technologie selbst, sondern es sind auch gute Fähigkeiten zur Informationsbeschaffung, zur Problemlösung und zur Teamarbeit erforderlich. Durch kontinuierliches Lernen und Üben werden Sie nach und nach zu einem hervorragenden Python-Crawler-Entwickler heranwachsen.
Verstehen Sie gängige Anwendungsszenarien der Webseitenumleitung und verstehen Sie den HTTP-301-Statuscode
Feb 18, 2024 pm 08:41 PM
Verstehen Sie die Bedeutung des HTTP 301-Statuscodes: Häufige Anwendungsszenarien der Webseitenumleitung. Mit der rasanten Entwicklung des Internets werden die Anforderungen der Menschen an die Webseiteninteraktion immer höher. Im Bereich Webdesign ist die Webseitenumleitung eine gängige und wichtige Technologie, die über den HTTP-301-Statuscode implementiert wird. In diesem Artikel werden die Bedeutung des HTTP 301-Statuscodes und häufige Anwendungsszenarien bei der Webseitenumleitung untersucht. Der HTTP-Statuscode 301 bezieht sich auf eine permanente Weiterleitung (PermanentRedirect). Wenn der Server die des Clients empfängt
PI -Knotenunterricht: Was ist ein PI -Knoten? Wie installiere und richte ich einen PI -Knoten ein?
Mar 05, 2025 pm 05:57 PM
Detaillierte Erläuterungs- und Installationshandbuch für Pinetwork -Knoten In diesem Artikel wird das Pinetwork -Ökosystem im Detail vorgestellt - PI -Knoten, eine Schlüsselrolle im Pinetwork -Ökosystem und vollständige Schritte für die Installation und Konfiguration. Nach dem Start des Pinetwork -Blockchain -Testnetzes sind PI -Knoten zu einem wichtigen Bestandteil vieler Pioniere geworden, die aktiv an den Tests teilnehmen und sich auf die bevorstehende Hauptnetzwerkveröffentlichung vorbereiten. Wenn Sie Pinetwork noch nicht kennen, wenden Sie sich bitte an was Picoin ist? Was ist der Preis für die Auflistung? PI -Nutzung, Bergbau und Sicherheitsanalyse. Was ist Pinetwork? Das Pinetwork -Projekt begann 2019 und besitzt seine exklusive Kryptowährung PI -Münze. Das Projekt zielt darauf ab, eine zu erstellen, an der jeder teilnehmen kann
HTTP 200 OK: Verstehen Sie die Bedeutung und den Zweck einer erfolgreichen Antwort
Dec 26, 2023 am 10:25 AM
HTTP-Statuscode 200: Erkunden Sie die Bedeutung und den Zweck erfolgreicher Antworten. HTTP-Statuscodes sind numerische Codes, die den Status einer Serverantwort angeben. Darunter zeigt der Statuscode 200 an, dass die Anfrage vom Server erfolgreich verarbeitet wurde. In diesem Artikel wird die spezifische Bedeutung und Verwendung des HTTP-Statuscodes 200 untersucht. Lassen Sie uns zunächst die Klassifizierung von HTTP-Statuscodes verstehen. Statuscodes sind in fünf Kategorien unterteilt, nämlich 1xx, 2xx, 3xx, 4xx und 5xx. Unter diesen zeigt 2xx eine erfolgreiche Antwort an. Und 200 ist der häufigste Statuscode in 2xx
http-Anfrage 415-Fehlerlösung
Nov 14, 2023 am 10:49 AM
Lösung: 1. Überprüfen Sie den Inhaltstyp im Anforderungsheader. 3. Verwenden Sie das entsprechende Codierungsformat. 5. Überprüfen Sie die serverseitige Unterstützung.
Effiziente Java-Crawler-Praxis: Weitergabe von Webdaten-Crawling-Techniken
Jan 09, 2024 pm 12:29 PM
Java-Crawler-Praxis: So crawlen Sie Webseitendaten effizient Einführung: Mit der rasanten Entwicklung des Internets werden große Mengen wertvoller Daten auf verschiedenen Webseiten gespeichert. Um diese Daten zu erhalten, ist es oft notwendig, manuell auf jede Webseite zuzugreifen und die Informationen einzeln zu extrahieren, was zweifellos eine mühsame und zeitaufwändige Aufgabe ist. Um dieses Problem zu lösen, wurden verschiedene Crawler-Tools entwickelt, von denen der Java-Crawler eines der am häufigsten verwendeten ist. Dieser Artikel führt den Leser dazu, zu verstehen, wie man mit Java einen effizienten Webcrawler schreibt, und demonstriert die Praxis anhand spezifischer Codebeispiele. 1. Die Basis des Reptils
Wie implementiert man HTTP-Streaming mit C++?
May 31, 2024 am 11:06 AM
Wie implementiert man HTTP-Streaming in C++? Erstellen Sie einen SSL-Stream-Socket mit Boost.Asio und der asiohttps-Clientbibliothek. Stellen Sie eine Verbindung zum Server her und senden Sie eine HTTP-Anfrage. Empfangen Sie HTTP-Antwortheader und drucken Sie sie aus. Empfängt den HTTP-Antworttext und gibt ihn aus.
