golang はクローラースレッドを停止します-Golang-php.cn

golang はクローラースレッドを停止します

王林

リリース： 2023-05-12 22:30:08

オリジナル

562 人が閲覧しました

インターネットの普及とデータ量の増加に伴い、Web クローラーはさまざまな業界で欠かせないものになりました。高性能プログラミング言語として、Go はますます多くのクローラープロジェクトで選択される言語になっています。ただし、実際の開発では、クローラーを停止または再起動する必要がある場合など、クローラースレッドを制御する必要があることがよくあります。この記事では、Go 言語の観点からクローラースレッドを停止する方法について説明します。

1. Go 言語でスレッドを停止する方法

Go 言語では、スレッドを goroutine で表すことができます。デフォルトでは、ゴルーチンはタスクを完了するかパニックになるまで実行されます。 Go 言語には、チャネルを使用して、不要になったゴルーチンを終了できるメカニズムが組み込まれています。

Go 言語では、チャネルは、異なるゴルーチン間でデータを転送するために使用できるデータ型です。チャネルは make() 関数を通じて作成され、送受信されるデータのタイプと容量を定義できます。さらに、チャネルには、チャネルを閉じる、チャネルを読み取る、チャネルを書き込むなどのいくつかのメソッドもあります。

チャネルを閉じるメソッドは次のとおりです。

close(stopChan)

ログイン後にコピー

このうち、stopChan は定義したチャネル変数です。

チャネルが閉じられている場合、データを読み取るときに「ゼロ値」と呼ばれる null 値が取得されます。チャネルにまだ未読データがある場合は、以下に示すように、for-range ステートメントを使用してデータをトラバースできます。

for data := range dataChan {
    fmt.Println(data)
}

ログイン後にコピー

チャネルへの反復処理が終了し、未読データがない場合、サイクルの場合自動的に終了します。以下に示すように、select ステートメントを使用して複数のチャネルをリッスンできます。

select {
case data := <-dataChan:
    // 处理data
case <-stopChan:
    // 收到停止信号
    return
}

ログイン後にコピー

上記のコードスニペットでは、停止チャネル stopChan から読み取るときに、停止信号が受信され、現在の goroutine が終了します。

2. クローラスレッドで停止制御にチャネルを使用する方法

Go 言語では、プログラムのメインスレッドは子ゴルーチンの終了を待つため、チャネルを使用します。コルーチン内で stop を達成できる現在のゴルーチンの目的。

ブール型変数 stop を使用して、現在のゴルーチンを停止する必要があるかどうかをマークできます。以下に示すように、ブール変数 stop を stopChan にパックし、クローラーのゴルーチンで stopChan をリッスンします。

func Spider(stopChan chan bool) {
    stop := false
    for !stop {
        // 抓取数据
        select {
        case <-stopChan:
            stop = true
        default:
            // 处理数据
        }
    }
}

ログイン後にコピー

上記のコードスニペットでは、Spider 関数にストップマークを設定して、クローラースレッドが停止するかどうかを制御します。停止する必要があります。 while ループでは stopChan をリッスンし、停止マークを受信すると stop を true に設定します。デフォルトのブランチでは、クローラー関連のコードを作成できます。

クローラスレッドを閉じる方法は以下のとおりです。