Node를 사용하여 웹 페이지에서 데이터를 크롤링하고 Excel 파일에 쓰는 방법은 무엇입니까? 다음 기사에서는 예제를 사용하여 Node.js를 사용하여 웹 페이지 데이터를 크롤링하고 Excel 파일을 생성하는 방법을 설명합니다. 이것이 모든 사람에게 도움이 되기를 바랍니다.
포켓몬은 90년대에 태어난 많은 사람들의 어린시절 추억이라고 생각합니다. 프로그래머로서 한번쯤 포켓몬 게임을 만들고 싶었지만 그러기 전에 먼저 포켓몬이 몇 개인지부터 정리해야 합니다. 이번 호에서는 Node.js를 사용하여 간단하게 포켓몬 웹 데이터 크롤링을 구현하고, 해당 데이터를 Excel 파일로 생성하고, 그런 다음 인터페이스를 사용하여 Excel을 읽고 이러한 데이터에 액세스합니다.
데이터 크롤링
데이터를 크롤링하고 있으므로 먼저 아래와 같이 포켓몬 일러스트 데이터가 있는 웹페이지를 찾아보겠습니다.
이 웹사이트는 PHP로 작성되었으며 앞과 뒤가 구분되지 않습니다. back.이므로 데이터를 캡처하기 위해 인터페이스를 읽지 않습니다. crawler 라이브러리를 사용하여 웹페이지의 요소를 캡처합니다. 미리 설명하자면, crawler 라이브러리를 사용하면 jQuery를 사용하여 Node 환경의 요소를 캡처할 수 있다는 장점이 있습니다. crawler 库，来捕获网页中的元素从而得到数据。提前说明一下，用 crawler 库，好处是你可以用 jQuery 的方式在Node环境中捕获元素。
安装：
实现：
const Crawler = require("crawler");
const fs = require("fs")
const { resolve } = require("path")
let crawler = new Crawler({
timeout: 10000,
jQuery: true,
});
let crawler = new Crawler({
timeout: 10000,
jQuery: true,
});
function getPokemon() {
let uri = "" // 宝可梦图鉴地址
let data = []
return new Promise((resolve, reject) => {
crawler.queue({
uri,
callback: (err, res, done) => {
if (err) reject(err);
let $ = res.$;
try {
let $tr = $(".roundy.eplist tr");
$tr.each((i, el) => {
let $td = $(el).find("td");
let _code = $td.eq(1).text().split("\n")[0]
let _name = $td.eq(3).text().split("\n")[0]
let _attr = $td.eq(4).text().split("\n")[0]
let _other = $td.eq(5).text().split("\n")[0]
_attr = _other.indexOf("属性") != -1 ? _attr : `${_attr}+${_other}`
if (_code) {
data.push([_code, _name, _attr])
}
})
done();
resolve(data)
} catch (err) {
done()
reject(err)
}
}
})
})
}로그인 후 복사
在生成实例的时候，还需要开启 jQuery 模式，然后，就可以使用 $ 符了。而以上代码的中间部分的业务就是在捕获元素爬取网页中所需要的数据，使用起来和 jQuery API 一样，这里就不再赘述了 。
getPokemon().then(async data => {
console.log(data)
})로그인 후 복사
最后我们可以执行并打印一下传过来的 data 数据，来验证确实爬取到了格式也没有错误。
写入Excel
既然刚才已经爬取到数据了，接下来，我们就将使用 node-xlsx 库，来完成把数据写入并生成一个 Excel 文件中。
首先，我们先介绍一下，node-xlsx 是一个简单的 excel 文件解析器和生成器。由 TS 构建的一个依靠 SheetJS xlsx 模块来解析/构建 excel 工作表，所以，在一些参数配置上，两者可以通用。
安装：
yarn add node-xlsx
로그인 후 복사
实现：
const xlsx = require("node-xlsx")
getPokemon().then(async data => {
let title = ["编号", "宝可梦", "属性"]
let list = [{
name: "关都",
data: [
title,
...data
]
}];
const sheetOptions = { '!cols': [{ wch: 15 }, { wch: 20 }, { wch: 20 }] };
const buffer = await xlsx.build(list, { sheetOptions })
try {
await fs.writeFileSync(resolve(__dirname, "data/pokemon.xlsx"), buffer, "utf8")
} catch (error) { }
})로그인 후 복사
其 name 则是Excel文件中的栏目名，而其中的 data 类型是数组其也要传入一个数组，构成二维数组，其表示从 ABCDE.... 列中开始排序传入文本。同时，可以通过!cols来设置列宽。第一个对象wch:10 则表示 第一列宽度为10 个字符，还有很多参数可以设置，可以参照 xlsx 库 来学习这些配置项。
最后，我们通过 xlsx.build 方法来生成 buffer 数据，最后用 fs.writeFileSync 写入或创建一个 Excel 文件中，为了方便查看，我这里存入了 名叫 data 的文件夹里，此时，我们在 data 文件夹 就会发现多出一个叫 pokemon.xlsx 的文件，打开它，数据还是那些，这样把数据写入到Excel的这步操作就完成了。
读取Excel
读取Excel其实非常容易甚至不用写 fs 的读取， 用xlsx.parse 方法传入文件地址就能直接读取到。
xlsx.parse(resolve(__dirname, "data/pokemon.xlsx"));
로그인 후 복사
当然，我们为了验证准确无误，直接写一个接口，看看能不能访问到数据。为了方便我直接用 express 框架来完成这件事。
先来安装一下：
然后，再创建 express 服务，我这里端口号就用3000了，就写一个 GET 请求把读取Excel文件的数据发送出去就好。
const express = require("express")
const app = express();
const listenPort = 3000;
app.get("/pokemon",(req,res)=>{
let data = xlsx.parse(resolve(__dirname, "data/pokemon.xlsx"));
res.send(data)
})
app.listen(listenPort, () => {
console.log(`Server running at http://localhost:${listenPort}/`)
})로그인 후 복사
最后，我这里用 postman
설치:
rrreee
구현:
rrreee🎜인스턴스를 생성할 때
jQuery 모드도 활성화해야 하며, 그런 다음
$ 기호를 사용할 수 있습니다. 위 코드의 중간 부분의 역할은 요소에 필요한 데이터를 캡처하고 웹 페이지를 크롤링하는 것입니다.
jQuery API와 동일하게 사용되므로 여기서는 자세히 설명하지 않겠습니다. 🎜rrreee🎜마지막으로 전달된
data 데이터를 실행하고 인쇄하여 형식이 크롤링되었으며 오류가 없는지 확인할 수 있습니다. 🎜🎜
🎜
위 내용은 노드 크롤링 데이터 예시: 포켓몬 도감을 가져와 엑셀 파일 생성의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![Node.js 전체 입문 튜토리얼 [es6+npm+express+webpack+promise]](https://img.php.cn/upload/course/000/000/068/6242b4c8f1a39624.png)
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
