爬虫获取AJax数据问题
Jul 06, 2016 pm 01:52 PM
想写一个爬取花瓣网图片的爬虫。遇到了Ajax获取数据的问题
图片中的请求的URL,Response的文本类型是json
可当我单独访问这个url的时候却是html
求教,怎么获取json数据
回复内容:
想写一个爬取花瓣网图片的爬虫。遇到了Ajax获取数据的问题
图片中的请求的URL,Response的文本类型是json
可当我单独访问这个url的时候却是html
求教,怎么获取json数据
这个是用header来控制的
你把对应的请求头加上就好了。附上我的代码
<code>#coding=utf-8 import requests as RQ hburl = "http://huaban.com/boards/28195582/?ipva9fpx&max=759391397&limit=20&wfl=1" heads = { 'Host':"huaban.com", 'Referer':"{http://huaban.com/boards/28195582/", 'User-Agent':"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.84 Safari/537.36", 'X-Request':"JSON", 'X-Requested-With':"XMLHttpRequest" } print RQ.get(hburl, headers=heads).content</code>
Rerferer是一个常见的用来防止网页被本站之外获取的Header,做爬虫时一定要确保Referer的设置

Article chaud

Outils chauds Tags

Article chaud

Tags d'article chaud

Bloc-notes++7.3.1
Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise
Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1
Puissant environnement de développement intégré PHP

Dreamweaver CS6
Outils de développement Web visuel

SublimeText3 version Mac
Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Sujets chauds

Guide d'installation et de mise à niveau de PHP 8.4 pour Ubuntu et Debian

Comment configurer Visual Studio Code (VS Code) pour le développement PHP

Comment analysez-vous et traitez-vous HTML / XML dans PHP?

Break or Return of Java 8 Stream Forach?
