如何利用python爬虫提交json数据
PHPz
PHPz 2017-04-17 17:32:51
0
3
493

如题,目标是不需要POST的站点,已经按照抓包的结果伪装成了浏览器,似乎还少了点什么,抓包数据里面有发现JSON数据,感觉是因为这个原因,但是我不明白要如何正确提交,所以收到的是乱码字符或者是不完整的页面源码。我用浏览器获取了网页源代码做了比较确实不完整,爬虫只拿到了头部和尾部。不用管AJAX,因为就连摘取到的第一页的内容都是不完整的。

PHPz
PHPz

学习是最好的投资!

모든 응답(3)
黄舟

json 요청을 보고 해당 요청의 데이터를 가져옵니다

伊谢尔伦

제공하신 정보가 너무 적습니다. . .

  1. 무엇을 하고 싶나요? GET 요청을 제출하시나요? (POST가 없는 사이트를 말씀하시는군요.)

  2. 어떤 라이브러리를 사용하시나요? urllib.request?

  3. 어떤 상황에서 문자가 왜곡되어 표시되나요? 어떤 종류의 왜곡된 코드가 있나요? 불완전한 소스 코드는 언제 받나요? 소스 코드가 불완전하다는 것을 어떻게 알 수 있나요?

巴扎黑

크롤링하려는 콘텐츠가 AJAX를 통해 로드되나요? 귀하의 설명에 따르면 원하는 것은 html이 아닌 json에서 찾은 것 같습니다.

최신 다운로드
더>
웹 효과
웹사이트 소스 코드
웹사이트 자료
프론트엔드 템플릿