JavaScript - スーパーエージェントが Web サイトをクロールするときのリダイレクトの問題
迷茫
迷茫 2017-05-31 10:38:19
0
1
816

Use superagent を使用して Web ページをクロールします。リダイレクトが発生すると、リダイレクト後の応答本文を取得できません。問題の解決方法とリダイレクトされた Web ページの取得方法

501 ページの解像度を取得したいのですが、ページ 37018 にジャンプしてしまい、501 ページの空の解像度を取得することになります。

クロールできない Web ページをテストしたところ、2 つの状況が見つかりました

  1. Web ページに入ったときの応答コードは、最初は 200 ですが、しばらくすると 304

  2. に更新されます。
  3. 応答コードは入力時に 301 から 200 にリダイレクトされ、しばらくすると 304 に更新されます

クロール可能な Web ページをテストしたところ、2 つの状況が見つかりました

  1. 応答コードは入力時に 301 から 200 にリダイレクトされ、しばらくすると 304 に更新されます

  2. Web ページに入ったときの応答コードは、最初は 200 ですが、しばらくすると 304

  3. に更新されます。

ああ、消去しましょう。そうすれば何も変わりません。これがコンテンツをクロールできないことと関係があるのか​​わかりません。orz

######さらに追加######
問題はリダイレクトではなく、正規表現の一致の問題です

迷茫
迷茫

业精于勤,荒于嬉;行成于思,毁于随。

全員に返信(1)
淡淡烟草味

公式ドキュメントも読まないのですか?

  • リダイレクトをフォローしています

デフォルトでは、最大 5 つのリダイレクトが追跡されますが、
メソッドでこれを指定することもできます:res.redirects(n) リーリー

いいねを押す +0
人気のチュートリアル
詳細>
最新のダウンロード
詳細>
ウェブエフェクト
公式サイト
サイト素材
フロントエンドテンプレート
私たちについて 免責事項 Sitemap
PHP中国語ウェブサイト:福祉オンライン PHP トレーニング,PHP 学習者の迅速な成長を支援します!