http://www.newrank.cn/public/...
如何模擬搜尋請求得到傳回的json資料
有很多種情況會導致這樣的結果, 比較常見的就是, 请求头的内容没有包含服务器需要信息, 或者是cookies里面的内容, 没有包含服务器需要的信息, 所以被服务器判断为爬虫, 所以无法取得正常的结果. 你可以试下将浏览器的请求头和cookies分别拷贝到你的程序中再去请求, 如果还是不行, 只能用类似fiddler這樣的工具再做細緻的分析了
请求头
cookies
fiddler
有些請求是需要Referer才能請求到資料的,或者是有些是需要驗證cookis 這些你需要查看下之前成功的案例是否有這些條件的限制導致的!
有很多種情況會導致這樣的結果, 比較常見的就是,
请求头
的内容没有包含服务器需要信息, 或者是cookies
里面的内容, 没有包含服务器需要的信息, 所以被服务器判断为爬虫, 所以无法取得正常的结果. 你可以试下将浏览器的请求头
和cookies
分别拷贝到你的程序中再去请求, 如果还是不行, 只能用类似fiddler
這樣的工具再做細緻的分析了有些請求是需要Referer才能請求到資料的,或者是有些是需要驗證cookis 這些你需要查看下之前成功的案例是否有這些條件的限制導致的!