So stoppen Sie den Crawler in Golang

Mit der Entwicklung des Internets ist die Crawler-Technologie nach und nach zu einem wichtigen Werkzeug zum Abrufen von Netzwerkinformationen geworden. Mithilfe der Crawler-Technologie können Menschen große Datenmengen von Websites abrufen, um genauere Analysen und Vorhersagen zu treffen. Allerdings sind Crawler auch mit vielen Schwierigkeiten und Einschränkungen konfrontiert, insbesondere bei der Golang-Programmierung ist das Stoppen von Crawlern immer noch ein häufiges Problem.

Golang ist eine relativ neue Programmiersprache und ihre Entstehung hat große Aufmerksamkeit erregt. Im Vergleich zu anderen Sprachen bietet die Go-Sprache die Vorteile von Effizienz, Einfachheit, Parallelität usw. und wird daher häufig in der Netzwerkprogrammierung, Systemprogrammierung, Cloud Computing und anderen Bereichen verwendet. Bei der Verwendung von Golang in der Crawler-Programmierung müssen wir jedoch auch einige Probleme beachten.

Im Allgemeinen umfasst das Schreiben von Crawlern zwei grundlegende Vorgänge, nämlich das Anfordern von Webseiten und das Parsen von Webseiten. Die Standardbibliothek von Golang bietet zwei Pakete, „net/http“ und „goquery“, die zum Senden von Anforderungen bzw. zum Parsen von HTML-Dokumenten verwendet werden. Mit diesen Tools können wir ein vollständiges Crawler-Programm implementieren. Der Code lautet wie folgt:

package main

import (
    "fmt"
    "github.com/PuerkitoBio/goquery"
    "net/http"
)

func main() {
    // Step 1: 发送请求
    url := "https://www.example.com"
    req, _ := http.NewRequest("GET", url, nil)
    req.Header.Set("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3")
    client := &http.Client{}
    resp, _ := client.Do(req)
    defer resp.Body.Close()

    // Step 2: 解析网页
    doc, _ := goquery.NewDocumentFromReader(resp.Body)
    doc.Find("a").Each(func(i int, s *goquery.Selection) {
        href, _ := s.Attr("href")
        fmt.Println(href)
    })
}

In diesem Code verwenden wir zuerst das Paket „net/http“ zum Senden von HTTP-Anfragen und dann das Paket „goquery“ zum Parsen Das HTML-Dokument erhält dadurch alle Links auf der Zielwebseite. An diesem Punkt müssen wir möglicherweise überlegen, wie wir die Ausführung des Crawler-Programms stoppen können.

Ein gängiger Ansatz besteht darin, einen Zähler zu setzen und den Crawler zu stoppen, wenn er einen bestimmten Wert erreicht. In der Go-Sprache können Sie die Anweisung „select“ und Variablen vom Typ „chan“ verwenden, um die Timer-Funktion zu implementieren. Die spezifische Operation ist wie folgt:

package main

import (
    "fmt"
    "github.com/PuerkitoBio/goquery"
    "net/http"
    "time"
)

func main() {
    url := "https://www.example.com"
    req, _ := http.NewRequest("GET", url, nil)
    req.Header.Set("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3")

    client := &http.Client{}
    resp, _ := client.Do(req)
    defer resp.Body.Close()

    doc, _ := goquery.NewDocumentFromReader(resp.Body)

    done := make(chan int)
    go func() {
        doc.Find("a").Each(func(i int, s *goquery.Selection) {
            href, _ := s.Attr("href")
            fmt.Println(href)
            if i == 10 { //停止条件
                done <- 1
            }
        })
    }()

    select {
    case <-done:
        fmt.Println("Done!")
    case <-time.After(time.Second * 10):
        fmt.Println("Time out!")
    }
}

In diesem Beispiel verwenden wir die Variable „done“ vom Typ „chan“, um zu kommunizieren. Wenn der Zähler einen bestimmten Wert erreicht, wird über „done“ eine Nachricht an den Hauptprozess gesendet. Variable, um die Ausführung des Crawler-Programms zu stoppen. Gleichzeitig stellen wir auch einen 10-Sekunden-Timer ein. Wenn die Crawling-Aufgabe nicht innerhalb von 10 Sekunden abgeschlossen werden kann, stoppt das Programm automatisch.

Zusammenfassend lässt sich sagen, dass wir bei der Golang-Programmierung die Pakete „net/http“ und „goquery“ in der Standardbibliothek verwenden können, um Anfragen zu senden und HTML-Dokumente zu analysieren, und gleichzeitig die Anweisung „select“ und „chan“ verwenden können Variablen vom Typ „Um Timer- und Kommunikationsfunktionen zu implementieren. Diese Tools können uns helfen, effiziente und stabile Crawler-Programme zu schreiben, die Programmausführung bei Bedarf rechtzeitig zu stoppen und unnötige Datenverschwendung und Rechenressourcenverbrauch zu vermeiden.

Das obige ist der detaillierte Inhalt vonSo stoppen Sie den Crawler in Golang. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!