Cherio를 사용하여 Node.js에서 간단한 웹 크롤러 만들기(자세한 튜토리얼)

이 글은 Cherio를 사용하여 간단한 웹 크롤러 예제를 만드는 Node.js를 주로 소개하고 참고용으로 제공합니다.

이 글에서는 Cherio를 사용하여 간단한 웹 크롤러 예제를 만들고 모든 사람과 공유하는 Node.js를 소개합니다.

1. 목표

1. 웹 사이트의 제목 정보 가져오기 완료

2. 획득한 정보를 새 파일로 출력

3. Tool: Cheerio, npm을 사용하여 다운로드 npm install cheatio

4. cherio의 API 사용 방법은 기본적으로 jQuery의 사용 방법과 동일합니다

5. jQuery를 능숙하게 사용한다면, Cherio는 빠르게 시작할 것입니다

2. 코드 부분

소개: 세그먼트 오류 페이지의 목록 제목을 가져오고, 마지막으로 얻은 제목 목록 번호를 pageTitle.txt 파일에 출력합니다

const https = require('https');
const fs = require('fs');
const cheerio = require('cheerio');
const url = 'https://segmentfault.com/';

https.get(url, (res) => {
  let html = '';
  res.on('data', (data) => {
    html += data;
  });
  res.on('end', () => {
    getPageTitle(html);
  });
}).on('error', () => {
  console.log('获取网页信息错误');
});

function getPageTitle(html) {
  const $ = cheerio.load(html);
  let chapters = $('.news__item-title');
  let data = [];
  let index = 0;
  let fileName = 'pageTitle.txt';
  for (let i = 0; i < chapters.length; i++) {
    let chapterTitle = $(chapters[i]).find(&#39;a&#39;).text().trim();
    index++;
    data.push(`\n${index}, ${chapterTitle}`);
  }
  fs.writeFile(fileName, data, &#39;utf8&#39;, (err) => {
    if (err) {
      console.log(&#39;fs文件系统创建新文件失败&#39;, err);
    }
    console.log(`已成功将获取到的标题放入新文件${fileName}文件中`)
  })
}

위 내용은 제가 모두를 위해 정리한 내용입니다. 앞으로 이 내용이 모두에게 도움이 되기를 바랍니다.

관련 기사:

JS 애니메이션 라이브러리 Velocity.js 사용에 대해 이야기해 봅시다.

vue 토글 클릭 전환 클래스 만들기(예제 설명)

Vue2.0 탭 탭 및 페이지에 스타일 추가 전환 방법 전환

위 내용은 Cherio를 사용하여 Node.js에서 간단한 웹 크롤러 만들기(자세한 튜토리얼)의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!