스크래퍼 경쟁자

프로그램 목표

동시에 웹페이지에 접속하여 각 페이지의 제목을 추출하고 해당 제목을 터미널에 표시합니다. 이는 Go의 동시성을 사용하여 수행되며, 이를 통해 여러 페이지에 동시에 액세스하여 시간을 절약할 수 있습니다.

코드 설명

사용된 패키지

import (
    "fmt"
    "net/http"
    "sync"
    "github.com/PuerkitoBio/goquery"
)

fetchTitle 함수

이 역할은 다음을 담당합니다.

• 웹페이지(URL) 접속
• 페이지 제목 추출
• 결과를 채널로 전달

func fetchTitle(url string, wg *sync.WaitGroup, results chan<- string) {
    defer wg.Done() // Marca a goroutine como concluída no WaitGroup

기능 매개변수:

• url 문자열: 제목을 얻기 위해 접속하려는 웹페이지(url)의 주소를 나타냅니다
• wg *sync.WaitGroup: 동시에 실행 중인 모든 작업(고루틴)의 완료를 동기화하는 데 사용하는 WaitGroup에 대한 포인터입니다. *는 "주소"를 WaitGroup`에 전달하는 것이지 복사본이 아님을 나타냅니다.
• results chan<- string: 프로그램의 다른 부분으로 문자열을 보낼 수 있는 단방향 채널입니다. 결과(제목 또는 오류 메시지)를 기본 함수에 전달하는 데 사용됩니다.

defer wg.Done() 라인은 fetchTitle 함수가 완료되면 이 작업(고루틴)을 완료된 것으로 표시하도록 프로그램에 지시합니다. 이는 모든 작업이 언제 완료되었는지 Main이 알 수 있도록 중요합니다.

HTTP 요청

요청, 오류 := http.Get(url)
오류가 있는 경우 != nil {
결과 <- fmt.Sprintf("%s 액세스 오류: %v", url, err)
복귀
}
요청 연기.Body.Close()

• http.Get(url): 이 줄은 URL에 HTTP GET 요청을 보냅니다. 이는 우리가 페이지에 액세스하여 서버에 해당 콘텐츠를 요청하고 있음을 의미합니다.
• err != nil: 여기에서는 페이지에 액세스할 때 오류가 있었는지 확인합니다(예: 페이지가 존재하지 않거나 서버가 응답하지 않는 경우). 오류가 있으면 결과 채널에 메시지를 보내고 반환으로 기능을 종료합니다.
• defer req.Body.Close(): 이렇게 하면 페이지 콘텐츠 사용을 마친 후 이를 저장하기 위해 할당된 메모리를 확보할 수 있습니다.

상태 확인

req.StatusCode != 200인 경우 {
결과 <- fmt.Sprintf("%s 액세스 오류: 상태 %d %s", url, req.StatusCode, req.Status)
복귀
}

• req.StatusCode != 200: 서버가 200 OK 코드로 응답했는지 확인합니다(성공을 나타냄). 200이 아니면 페이지가 제대로 로드되지 않은 것입니다. 그런 다음 결과 채널에 오류 메시지를 보내고 기능을 종료합니다.

타이틀 로딩 및 검색

doc, err := goquery.NewDocumentFromReader(req.Body)
오류가 있는 경우 != nil {
결과 <- fmt.Sprintf("%s에서 문서를 로드하는 중 오류 발생: %v", url, err)
복귀
}
title := doc.Find("title").Text()
결과 <- fmt.Sprintf("%s의 제목: %s", url, title)
}

• goquery.NewDocumentFromReader(req.Body): 페이지의 HTML 콘텐츠(req.Body에서 제공)를 goquery에 로드합니다. 이를 통해 HTML의 특정 부분을 탐색하고 검색할 수 있습니다.
• doc.Find("title").Text():