Python - リクエストを使用して [Dajie.com] の求人情報をクロールしましたが、何度も失敗しました。コードのどこが間違っているのかを見つけるのを手伝ってもらえますか?どのように変更すればよいでしょうか?

Question

以前に静的な Web サイトのデータをいくつかクロールしたことがありますが、比較的スムーズでした。今回は ajax に出会い、いくつかのドキュメントを読んだ後、難しくないと感じたので、直接開始しましたが、それでも行き詰まってしまいました。 。 。 。

目標:
Dajie.com の求人情報をクロールします。

処理:
1. ブラウザの検査要素機能を使用して、動的にロードされたデータのアドレス情報を表示します。

＃＃＃２、表示された情報に従ってリクエストのリクエストパラメータを設定します。

リーリー ＃＃＃３、requests.get()にリクエストヘッダー情報を追加します。

リーリー

4, 返されたページの情報を表示します。

リーリー

5, 返された結果が予期した JSON データではないのはなぜですか。 。 。

リーリー

質問:

1、「https://so.dajie.com/job/ajax...」、このページが JSON データ ページではなく開かれるのはなぜですか?以前に見たチュートリアルにあるリンクをクリックすると、データ量が開きます (例: 「https://rate.tmall.com/list_d...」)。

2. リクエストを使用して Ajax データをリクエストするのは初めてなのですが、リクエストするときに他に書くべきことはありますか? ＃＃＃２、リクエストパラメータを色々変更してみたのですが、jsonデータが取得できません、考え方が間違っているのでしょうか？
＃＃＃ありがとう。

Answer 1

リーリー

Cookieを直接入力

リーリー