如题,目标是不需要POST的站点,已经按照抓包的结果伪装成了浏览器,似乎还少了点什么,抓包数据里面有发现JSON数据,感觉是因为这个原因,但是我不明白要如何正确提交,所以收到的是乱码字符或者是不完整的页面源码。我用浏览器获取了网页源代码做了比较确实不完整,爬虫只拿到了头部和尾部。不用管AJAX,因为就连摘取到的第一页的内容都是不完整的。
学习是最好的投资!
json リクエストを見て、そのリクエストのデータを取得するだけです
提供された情報が少なすぎます。 。 。
何をしたいですか? GET リクエストを送信していますか? (POST のないサイトについて話しています)
どのライブラリを使用していますか? URLlib.リクエスト?
どのような状況で文字化けが発生しますか?どのような文字化けコードでしょうか?不完全なソースコードを受け取るのはいつですか?ソースコードが不完全であることはどうやってわかるのでしょうか?
クロールしたいコンテンツは AJAX 経由で読み込まれていますか?あなたの説明から、あなたが望むものはhtmlにはないようですが、jsonで見つかりました。
json リクエストを見て、そのリクエストのデータを取得するだけです
提供された情報が少なすぎます。 。 。
何をしたいですか? GET リクエストを送信していますか? (POST のないサイトについて話しています)
どのライブラリを使用していますか? URLlib.リクエスト?
どのような状況で文字化けが発生しますか?どのような文字化けコードでしょうか?不完全なソースコードを受け取るのはいつですか?ソースコードが不完全であることはどうやってわかるのでしょうか?
クロールしたいコンテンツは AJAX 経由で読み込まれていますか?あなたの説明から、あなたが望むものはhtmlにはないようですが、jsonで見つかりました。