풀스택 웹 스크래핑: Vite.js, React 및 Node.js를 사용하여 링크 미리보기 생성

소개

웹 개발은 끊임없이 발전하고 있으며 Vite.js 및 React와 같은 도구를 사용하면 빠르고 반응성이 뛰어난 프런트 엔드 애플리케이션을 만드는 것이 그 어느 때보다 쉬워졌습니다. 하지만 앱이 다른 웹사이트에서 콘텐츠를 가져와서 표시해야 한다면 어떻게 될까요? 이것이 웹 스크래핑이 필요한 곳이며, 오늘 우리는 바로 이를 수행하는 풀 스택 애플리케이션을 구축할 것입니다.

이 튜토리얼에서는 프런트엔드에 React를 사용하고 백엔드에 Cheerio와 함께 Node.js를 사용하여 동적 링크 미리보기 생성기를 만드는 방법을 알아봅니다. 이는 Vite 및 TypeScript와 같은 현대적이고 효율적인 도구를 사용하여 작업하면서 웹 스크래핑을 탐색하려는 웹 개발자를 위한 환상적인 프로젝트입니다.

학습 내용:

• TypeScript를 사용하여 Vite.js React 프로젝트 설정
• Express를 사용하여 Node.js 서버 생성
• 웹 스크래핑을 위해 Axios와 Cheerio 사용
• 하나의 응집력 있는 프로젝트로 풀스택 애플리케이션 구축

1. 프로젝트 설정

먼저 프로젝트 구조를 설정하겠습니다. 이 튜토리얼에서는 프런트엔드와 백엔드가 동일한 프로젝트 디렉터리에 보관됩니다. 이 설정을 사용하면 개발이 간단해지고 프로젝트가 체계적으로 정리됩니다.

ViteJS로 ReactJS 프로젝트를 생성하고 Typescript 템플릿을 사용하여 시작하세요

Vite.js로 React 프론트엔드 만들기

다음으로 Vite를 사용하여 TypeScript로 React 프런트엔드를 구성합니다.

pnpm create vite@latest

이 명령은 TypeScript를 사용하여
프로젝트 디렉터리에 새 React 프로젝트를 설정합니다. your-project 폴더로 이동하여 종속성을 설치합니다.

<span>cd your-project<br>pnpm install</span>

2. Node.js 서버 설정

이제 프런트엔드가 준비되었으므로 Node.js 서버 생성으로 넘어가겠습니다. 서버 디렉토리를 생성하고 Node.js 프로젝트를 초기화하는 것부터 시작하세요.

<span>cd ..<br>mkdir server<br>cd server<br>pnpm init</span>

HTTP
요청을 생성하기 위한 Axios, HTML 구문 분석을 위한 Cheerio,
요청에서 JSON 본문을 가져오기 위한 body-parser 및 API용 CORS를 활성화하기 위한 cors와 함께 서버용 Express가 필요합니다.

npm install express axios cheerio <span>body-parser cors</span>

3. 웹 스크래핑 API 구축

백엔드 설정을 통해 URL을 허용하고 해당 콘텐츠를 가져오고 제목, 설명, 이미지와 같은 주요 메타데이터를 추출하는 API 엔드포인트를 생성할 수 있습니다.

index.ts의 서버 기본 구조는 다음과 같습니다.

<span>// index.js<br><br>const express = require("express");<br>const bodyParser = require("body-parser");<br>const cors = require("cors");<br><br>const { getUrlPreview } = require("./url.controller");<br><br>const app = express();<br>const PORT = process.env.SERVER_PORT || 5005;<br><br>app.use(bodyParser.json());<br>app.use(cors());<br><br>app.get("/health", (<span>req, res) =></span> {<br>  return res.status(200).json({ status: "Server Running" });<br>});<br>app.post("/preview", getUrlPreview);<br><br>app.listen(PORT, () => {<br>  console.log("Server is running: %s", PORT);<br>});</span>

<span>// url.controller.js<br><br>const axios = require("axios");<br>const cheerio = require("cheerio");<br>const { object, string, ValidationError } = require("yup");<br><br>const schema = object({<br>  url: string().url().required(),<br>});<br><br>const getUrlPreview = async (req, res) => {<br>  try {<br>    const value = await schema.validate(req.body);<br><br>    const { data } = await axios.get(value.url);<br>    const $ = cheerio.load(data);<br><br>    const title =<br>      $('meta[property="og:title"]').attr("content") || $("title").text();<br>    const description =<br>      $('meta[property="og:description"]').attr("content") ||<br>      $('meta[property="description"]').attr("content");<br>    const image =<br>      $('meta[property="og:image"]').attr("content") ||<br>      $("img").first().attr("src");<br><br>    const previewData = {<br>      title: title || "No title available",<br>      description: description || "No description available",<br>      image: image || "No image available",<br>    };<br><br>    return res.status(200).json(previewData);<br>  } catch (err) {<br>    if (err instanceof ValidationError) {<br>      return res.status(422).send(err.message);<br>    }<br><br>    console.log(err);<br><br>    return res.status(500).send("Something went wrong!");<br>  }<br>};<br><br>module.exports = {<br>  getUrlPreview,<br>};</span>

이 코드는 /api/preview에서 POST 요청을 수신하는 간단한 Express 서버를 설정합니다. URL로 요청이 이루어지면 서버는 Axios를 사용하여 해당 URL의 HTML 콘텐츠를 가져와 Cheerio로 구문 분석합니다. 그런 다음 메타데이터가 추출되어 클라이언트에 반환됩니다.

4. 링크 미리보기 구성요소 생성

React 앱에서 URL을 입력으로 사용하고 백엔드에서 가져온 미리보기를 표시하는 구성요소를 만듭니다.

링크 미리보기 생성기를 처리하기 위한 앱 구성요소를 구현하는 방법은 다음과 같습니다.

pnpm create vite@latest

<span>cd your-project<br>pnpm install</span>

이 구성요소를 사용하면 사용자가 URL을 입력할 수 있으며, 이 URL은 백엔드로 전송되어 링크 미리보기를 가져오고 표시합니다.

5. 애플리케이션 실행

마지막으로 애플리케이션을 실행하려면 프런트엔드 서버와 백엔드 서버를 모두 시작해야 합니다.

Node.js 서버 시작:

<span>cd ..<br>mkdir server<br>cd server<br>pnpm init</span>

Vite React 프론트엔드 시작:

npm install express axios cheerio <span>body-parser cors</span>

http://localhost:5173으로 이동하면 사용자가 URL을 입력하고 링크 미리보기를 생성할 수 있는 앱이 작동하는 모습을 볼 수 있습니다.

결론

이 튜토리얼에서는 Vite.js, React, Node.js 및 Cheerio의 기능을 결합하여 웹 스크래핑이 가능한 풀 스택 애플리케이션을 만들었습니다. 개인 프로젝트를 만들거나 포트폴리오에 새로운 기술을 추가하려는 경우 단일 프로젝트에 프런트엔드와 백엔드를 통합하는 방법을 이해하는 것이 매우 중요합니다.

웹 스크래핑은 강력한 도구이지만 책임감 있게 사용하는 것이 중요하다는 점을 기억하세요. 스크랩하는 웹사이트의 서비스 약관을 항상 존중하고 윤리적 의미를 고려하세요.

이 튜토리얼이 도움이 되었다면 이와 같은 더 많은 콘텐츠를 보려면 내 채널을 구독하고 향후 튜토리얼에 대한 질문이나 제안 사항이 있으면 댓글을 남겨주세요.

위 내용은 풀스택 웹 스크래핑: Vite.js, React 및 Node.js를 사용하여 링크 미리보기 생성의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!