Pythonクローラーのマルチスレッド詳細説明とサンプルコード

Python は、主に thread と threading の 2 つのモジュールを通じてマルチスレッドをサポートします。スレッド モジュールは比較的低レベルのモジュールであり、スレッド モジュールはスレッドのパッケージ化を提供するため、より使いやすくなります。

Python のマルチスレッドは GIL によって制限されており、真のマルチスレッドではありませんが、クローラなどの I/O 集中型の計算の効率を大幅に向上させることができます。
以下では、マルチスレッドの効率を検証するために例を使用します。このコードではページの取得のみが行われ、解析は行われません。

リーリー

リーリー

リーリー

リーリー

アクセス速度が比較的遅い 10 個の Web ページを取得するには 2 つの方法を使用します。一般的な方法では 50 秒かかり、マルチスレッドでは 10 秒かかります。
マルチスレッドコードの解釈:

リーリー

リーリー

以上がこの記事の全内容です、皆様の学習のお役に立てれば幸いです。