刮刀競爭對手-Golang-PHP中文網

刮刀競爭對手

Barbara Streisand

發布： 2024-11-06 15:21:03

原創

1006 人瀏覽過

Scrapper Concorrente

計劃目標

同時造訪網頁，擷取每個頁面的標題，並將這些標題顯示在終端機中。這是使用 Go 中的並發性完成的，它允許您同時訪問多個頁面，從而節省時間。

import (
    "fmt"
    "net/http"
    "sync"
    "github.com/PuerkitoBio/goquery"
)

登入後複製

角色負責：

func fetchTitle(url string, wg *sync.WaitGroup, results chan<- string) {
    defer wg.Done() // Marca a goroutine como concluída no WaitGroup

登入後複製

函數參數：

url string: 代表我們要存取取得標題的網頁位址(url)
wg *sync.WaitGroup：指向 WaitGroup 的指針，我們用它來同步同時執行的所有任務（goroutines）的完成。 * 表示我們正在向 WaitGroup` 傳遞一個“地址”，而不是它的副本。
results chan

defer wg.Done() 行告訴程式在 fetchTitle 函數完成時將此任務（goroutine）標記為已完成。這很重要，以便 main 知道所有任務何時完成。

請求，錯誤：= http.Get(url)
if err != nil {
結果返回
}
延遲 req.Body.Close()

http.Get(url)：此行向 URL 發出 HTTP GET 請求。這意味著我們正在訪問該頁面並向伺服器詢問其內容。
err != nil：這裡我們檢查造訪頁面時是否有錯誤（例如頁面不存在或伺服器沒有回應）。如果發生錯誤，我們會向結果通道發送訊息，並以 return 結束函數。
defer req.Body.Close()：這確保我們使用完頁面內容後，釋放分配來儲存它的記憶體。

if req.StatusCode != 200 {
results 返回
}

req.StatusCode != 200：我們檢查伺服器是否回應代碼 200 OK（表示成功）。如果不是 200，則表示頁面未正確載入。然後我們向結果通道發送錯誤訊息並終止函數。

doc, err := goquery.NewDocumentFromReader(req.Body)
if err != nil {
results 返回
}
標題 := doc.Find("標題").Text()
結果 }

goquery.NewDocumentFromReader(req.Body)：我們將頁面的 HTML 內容（由 req.Body 提供）載入到 goquery 中，它允許您導航和搜尋 HTML 的特定部分。
doc.Find("title").Text(): 我們尋找標籤 ;在頁面的 HTML 中並取得其中的文字（即標題）。
results ：我們將提取的標題發送到結果通道，稍後將在其中讀取。

main函數是設定和控製程式的主函數。

func main() {
url := []字串{
"http://olos.novagne.com.br/Olos/login.aspx?logout=true",
“http://sistema.novagne.com.br/novagne/”，
}

urls := []string{...}：我們定義要處理的 URL 清單。每個 URL 將傳遞到一個 goroutine，該 goroutine 將提取頁面標題。

var wgsync.WaitGroup
results := make(chan string, len(urls)) // 儲存結果的通道

var wgsync.WaitGroup：我們建立一個新的 WaitGroup 實例，它將控制 goroutine 的數量並確保它們在程式結束之前全部完成。
results := make(chan string, len(urls))：我們建立一個容量等於 URL 數量的結果通道。該通道將儲存帶有標題或錯誤的訊息。

對於 _, url := 範圍 url {
wg.Add(1)
去 fetchTitle(url, &wg, 結果)
}

for _, url := range urls：這裡我們循環遍歷清單中的每個 URL。
wg.Add(1)：對於每個 URL，我們遞增 WaitGroup 計數器以指示將啟動一個新任務（goroutine）。
go fetchTitle(url, &wg, results)：我們將 fetchTitle 稱為每個 URL 的 goroutine，也就是說，我們讓它與其他 URL 並行運作。