Go 言語で Goroutines を使用して同時実行性の高い Web クローリングを行う方法-Golang-php.cn

Go 言語で Goroutines を使用して同時実行性の高い Web クローリングを行う方法

WBOY

リリース： 2023-07-21 19:01:08

オリジナル

1490 人が閲覧しました

Go 言語で Goroutines を使用して同時実行性の高い Web クローリングを行う方法

はじめに:
インターネットの継続的な発展に伴い、クローラ技術はビッグデータや人工知能などの分野で広く使用されています。。 Go 言語は、効率的で信頼性が高く、本質的に同時実行をサポートする言語であるため、同時実行性の高い Web クローラーの実装に非常に適しています。この記事では、Go 言語の Goroutines 機能を使用して、シンプルだが効率的な Web クローラーを構築する方法を紹介します。

1. Goroutine とは
まず、Goroutine の概念を理解する必要があります。 Goroutine は Go 言語の同時プログラミングの中核概念の 1 つであり、軽量のスレッドまたはコルーチンとして理解できます。 Goroutine は別のスレッドで実行でき、Go 言語のランタイムスケジューラによって管理およびスケジュールできます。従来のスレッドモデルやコルーチンモデルと比較して、Goroutine はメモリオーバーヘッドが小さく、実行パフォーマンスが高くなります。

2. クローラーの基本原理
Web クローラーを実装する前に、まずクローラーの基本原理を理解する必要があります。基本的なクローラープロセスには次の手順が含まれます:

クロールする URL を指定します;
URL に基づいて HTTP リクエストを送信し、返された HTML コンテンツを取得します;
HTML コンテンツを解析し、必要なデータを抽出します。

3. Goroutine を使用して同時実行性の高いクローラーを実装する

Goroutine を使用して同時実行性の高い Web クローラーを実装してみましょう。まず、いくつかの Go 言語の標準ライブラリとサードパーティのライブラリをインポートする必要があります。

package main

import (
    "fmt"
    "net/http"
    "io/ioutil"
    "regexp"
    "sync"
)

func main() {
    // 爬虫入口地址
    url := "https://example.com"

    // 创建一个 WaitGroup，用于等待所有 Goroutine 完成
    var wg sync.WaitGroup
    // 创建一个无缓冲的管道，用于传递需要爬取的网址
    urls := make(chan string)

    // 启动一个 Goroutine 用于传入入口地址
    wg.Add(1)
    go func() {
        urls <- url
        }()
    
    // 启动一个 Goroutine 用于爬取网址内容
    go func() {
        for url := range urls {
            // 发送 HTTP 请求
            resp, err := http.Get(url)
            if err != nil {
                fmt.Println("Error:", err)
                continue
            }

            // 读取响应内容
            body, err := ioutil.ReadAll(resp.Body)
            resp.Body.Close()
            if err != nil {
                fmt.Println("Error:", err)
                continue
            }

            // 提取网址中的链接，添加到管道中
            re := regexp.MustCompile(`<a[^>]+href=["'](https?://[^"']+)["']`)
            matches := re.FindAllStringSubmatch(string(body), -1)
            for _, match := range matches {
                go func(u string) {
                    urls <- u
                }(match[1])
            }
        }
        // 告诉 WaitGroup 这个 Goroutine 的工作已经完成
        wg.Done()
    }()

    // 等待所有 Goroutine 完成
    wg.Wait()
}

ログイン後にコピー

上記のコードでは、まず WaitGroup wg とバッファリングされていないパイプ URL を作成します。次に、メインの Goroutine で、最初にクローラーエントリアドレスがパイプラインに送信され、次に Goroutine が開始されて Web コンテンツをクロールします。このゴルーチンでは、HTTP GET リクエストを使用して Web ページのコンテンツを取得し、正規表現を使用して Web ページ内のリンクを抽出し、リンクをパイプラインに追加します。最後に、wg.Wait() を使用して、すべてのゴルーチンが完了するのを待ちます。

結論:

Goroutine を使用すると、Go 言語で同時実行性の高い Web クローラーを簡単に実装できます。 Goroutine の軽量で効率的なパフォーマンスにより、複数の Web ページを同時にクロールし、リンク内のリンクを再帰的にクロールして、必要なデータを迅速に取得できます。さらに、Go 言語による並行性のサポートにより、クローラープログラムの安定性と信頼性も向上します。

参考リンク: