javascript - superagent爬取網站出現重定向問題
迷茫
迷茫 2017-05-31 10:38:19
0
1
863

superagent爬網頁,遇到重定向,拿不到重定向後的回應體,該如何解決,如何取得重定向後的網頁

我想取得501頁的res,但他跳到37018頁面,導致我拿到501頁的空白res。

測試了爬取不到的網頁,發現有2種狀況

  1. #一開始進入網頁回應碼是200,過一小會刷新變成304

  2. #一進入回應碼從301重定向到200,過一小會刷新變成304

測試了能爬取到的網頁,發現有2種狀況

  1. 一進入回應碼從301重定向到200,過一小會刷新變成304

  2. 一開始進入網頁回應碼是200,過一小會刷新變成304

#啊,我擦,那就沒什麼差別啦,小白不知道這跟我爬不到內容有沒有關係,orz

再補充

#問題不在重定向,而是在於我的正規表示式匹配問題

迷茫
迷茫

业精于勤,荒于嬉;行成于思,毁于随。

全部回覆(1)
淡淡烟草味

你都不看官方文件的嗎?

  • Following redirects

By default up to 5 redirects will be followed, however you may specify
this with the res.redirects(n) method:

request
  .get('/some.png')
  .redirects(2)
  .end(callback);
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板