Python マルチスレッドタスク分散の問題

WBOY
リリース: 2023-03-02 07:50:02
オリジナル
1177 人が閲覧しました

次に、複数のスレッドを使用して Web サイトのコンテンツをクロールしたいとします。Web サイトのコンテンツには 105 ページがあるとします。ただし、マシンの制限により、クロールできるのは 10 個のスレッドだけです。では、最初のスレッドがページ 1 のクロールを担当できるようにするにはどうすればよいですか。 -10? 2 つのスレッドはページ 11 ~ 20 をキャプチャし、その後 10 番目のスレッドがページ 91 ~ 105 を取得することになります。このアイデアを Python コードにどのように記述する必要がありますか?

返信内容:

次に、複数のスレッドを使用して Web サイトのコンテンツをクロールしたいとします。Web サイトのコンテンツには 105 ページがあるとします。ただし、マシンの制限により、クロールできるのは 10 個のスレッドだけです。では、最初のスレッドがページ 1 のクロールを担当できるようにするにはどうすればよいですか。 -10? 2 つのスレッドはページ 11 ~ 20 をキャプチャし、その後 10 番目のスレッドがページ 91 ~ 105 を取得することになります。このアイデアを Python コードにどのように記述する必要がありますか?

python3

リーリー
関連ラベル:
ソース:php.cn
このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。
最新の問題
人気のチュートリアル
詳細>
最新のダウンロード
詳細>
ウェブエフェクト
公式サイト
サイト素材
フロントエンドテンプレート
私たちについて 免責事項 Sitemap
PHP中国語ウェブサイト:福祉オンライン PHP トレーニング,PHP 学習者の迅速な成長を支援します!