java - リクエストをシミュレートし、戻りデータを取得する

Question

http://www.newrank.cn/public/...

検索リクエストをシミュレートして返された JSON データを取得する方法

データが返されません。この状況を解決する方法

Answer 1

このような結果につながる可能性のある状況はたくさんありますが、より一般的なのは、请求头的内容没有包含服务器需要信息, 或者是cookies里面的内容, 没有包含服务器需要的信息, 所以被服务器判断为爬虫, 所以无法取得正常的结果. 你可以试下将浏览器的请求头和cookies分别拷贝到你的程序中再去请求, 如果还是不行, 只能用类似fiddlerこの種のツールで詳細な分析が行われます

。

Answer 2

一部のリクエストではリファラーがデータをリクエストする必要があるか、一部のリクエストでは Cookie の検証が必要です。以前の成功ケースがこれらの条件によって制限されているかどうかを確認する必要があります。