node.js - ノード クローラー、プロキシの設定リクエスト、ヘルプを求めるエラーを常に報告します

Question

画像のクロールにリクエストを使用しており、IPがブロックされないようにプロキシを使用していますが、プロキシを使用すると必ずエラーが発生します。 nodejs はリクエストモジュールと非同期モジュールを使用します

リーリー

download(item,cb)、cb は、非同期の制御フローのコールバック関数です:

リーリー

いくつかのファイルをダウンロードするたびに、エラーが発生し、実行が停止します:

リーリー

プロキシ リクエスト ヘッダーを削除しても何も起こりません。リクエストを続行せずに直接 cb() を実行するように上記のダウンロードを変更すると、リクエストが失敗してもエラーは報告されません。

リーリー

ぜひご覧いただき、解決にご協力いただけるかどうかをご確認ください。長い間考えており、トラブルシューティングを行ってきました。理由はわかりません。

Answer 1

私は以前にあなたとほぼ同じ機能を実行し、多くの写真を直接ダウンロードしてから、エラーを報告しました。最後に、次のようなレイヤーsetTimeoutをラップしようとしました。 リーリー

これは実際に良いものです。これについてはブログ投稿を書きました:nodejs 画像のバッチダウンロード。参照してください

Answer 2

この種の問題が発生した場合、プログラムには再試行メカニズムが必要です。
優れた再試行メカニズムは次のとおりです。次の試行では、正しい実行を保証するためにスリープ時間を適切に増やします。