84669 人が学習中
152542 人が学習中
20005 人が学習中
5487 人が学習中
7821 人が学習中
359900 人が学習中
3350 人が学習中
180660 人が学習中
48569 人が学習中
18603 人が学習中
40936 人が学習中
1549 人が学習中
1183 人が学習中
32909 人が学習中
拥有18年软件开发和IT教学经验。曾任多家上市公司技术总监、架构师、项目经理、高级软件工程师等职务。 网络人气名人讲师,...
ありがとう、解決策が見つかりました
Python クローラーを使用して Web サイトをクロールするためのいくつかのテクニックの概要 - Python - Bole Online http://python.jobbole.com/81997/ 原文はここにあります
原則として、retries 変数を使用してリトライ回数を格納し、例外が処理されるたびに再帰処理を行い、リトライ回数が未満であると判断された場合はリトライ回数を -1 に設定します。 0 の場合、失敗ログを直接返して出力します
自分自身を再帰的に呼び出して retrycount を実行して制限するのが最も直接的な方法です。 しかし、問題があります: 相手のアドレスがサービスの再起動など、一時的にのみ失敗する場合。すぐに再試行しても失敗しました。5 回の再試行時間が非常に短かったため、相手のサービスが準備できたときに、5 回再試行したためリクエストが成功しました。
もちろん、この使用法は特定のビジネス ロジックに基づいています。ビジネス ニーズが異なれば、リクエストに対する要件も異なります。
ありがとう、解決策が見つかりました
Python クローラーを使用して Web サイトをクロールするためのいくつかのテクニックの概要 - Python - Bole Online http://python.jobbole.com/81997/ 原文はここにあります
リーリー原則として、retries 変数を使用してリトライ回数を格納し、例外が処理されるたびに再帰処理を行い、リトライ回数が未満であると判断された場合はリトライ回数を -1 に設定します。 0 の場合、失敗ログを直接返して出力します
自分自身を再帰的に呼び出して retrycount を実行して制限するのが最も直接的な方法です。
私が使用するメカニズムは、30 秒、1 分、10 分、30 分、1 時間待って 5 回再試行し、それでも失敗した場合は失敗したものとみなされます。しかし、問題があります:
相手のアドレスがサービスの再起動など、一時的にのみ失敗する場合。すぐに再試行しても失敗しました。5 回の再試行時間が非常に短かったため、相手のサービスが準備できたときに、5 回再試行したためリクエストが成功しました。
もちろん、この使用法は特定のビジネス ロジックに基づいています。ビジネス ニーズが異なれば、リクエストに対する要件も異なります。