python爬虫 - Python:网页爬取Ajax地址,结果与浏览器显示的不一致?
黄舟
黄舟 2017-04-18 10:32:19
0
1
532

1.我用在火狐上获取的Ajax地址来爬取统计局的信息:

获取的地址如下;

http://data.stats.gov.cn/easy...{"wdcode":"zb","valuecode":"A0201"}]&dfwds=[{"wdcode":"sj","valuecode":"199807"}]

我的理解是地址中包含了两个参数:"A0201"和"199807"
可以通过改变着两个参数来获取不同表中不同时间的信息
我在浏览器中直接输入地址
参数为"199807"时显示结果为:

参数为"199907"时显示结果为:

证明应该是行得通的

但是当我用这个地址去爬虫时爬下来的结果却不是浏览器上看到的这些数据,应该是爬取到了别的表里的数据,但是我的参数不是已经设置好了吗?在浏览器也证明参数是有效的,但是为什么就是爬不到这些数据?是不是网页缓存方面出现了问题?应该如何解决呢?劳烦大神指教

黄舟
黄舟

人生最曼妙的风景,竟是内心的淡定与从容!

全員に返信(1)
洪涛

サーバーはあなたのCookieを検証してあなたを除外したり、ブラウザからそれをコピーしてCookieを偽造し、それをリクエストヘッダーに含めたりすることができます。

いいねを押す +0
人気のチュートリアル
詳細>
最新のダウンロード
詳細>
ウェブエフェクト
公式サイト
サイト素材
フロントエンドテンプレート