用superagent
爬網頁,遇到重定向,拿不到重定向後的回應體,該如何解決,如何取得重定向後的網頁
我想取得501頁的res,但他跳到37018頁面,導致我拿到501頁的空白res。
測試了爬取不到的網頁,發現有2種狀況
#一開始進入網頁回應碼是200,過一小會刷新變成304
#一進入回應碼從301重定向到200,過一小會刷新變成304
測試了能爬取到的網頁,發現有2種狀況
一進入回應碼從301重定向到200,過一小會刷新變成304
一開始進入網頁回應碼是200,過一小會刷新變成304
#啊,我擦,那就沒什麼差別啦,小白不知道這跟我爬不到內容有沒有關係,orz
再補充
#問題不在重定向,而是在於我的正規表示式匹配問題
你都不看官方文件的嗎?
Following redirects