如题,目标是不需要POST的站点,已经按照抓包的结果伪装成了浏览器,似乎还少了点什么,抓包数据里面有发现JSON数据,感觉是因为这个原因,但是我不明白要如何正确提交,所以收到的是乱码字符或者是不完整的页面源码。我用浏览器获取了网页源代码做了比较确实不完整,爬虫只拿到了头部和尾部。不用管AJAX,因为就连摘取到的第一页的内容都是不完整的。
学习是最好的投资!
去看json的那個請求,直接抓那個請求的資料就可以了
你提供的資訊太少了。 。 。
你到底想幹嘛?是提交GET請求嗎? (你自己說的是沒有POST的站點)
你用的是那個函式庫? urllib.request嗎?
在什麼情況下收到亂碼字元?怎麼個亂碼法?什麼時候收到不完整的源碼?怎麼知道原始碼不完整的?
是不是你要抓取的內容是透過AJAX載入的?看你的描述好像是html中沒有你想要的東西,但你在json裡發現了。
去看json的那個請求,直接抓那個請求的資料就可以了
你提供的資訊太少了。 。 。
你到底想幹嘛?是提交GET請求嗎? (你自己說的是沒有POST的站點)
你用的是那個函式庫? urllib.request嗎?
在什麼情況下收到亂碼字元?怎麼個亂碼法?什麼時候收到不完整的源碼?怎麼知道原始碼不完整的?
是不是你要抓取的內容是透過AJAX載入的?看你的描述好像是html中沒有你想要的東西,但你在json裡發現了。