Python を使用してジョブ分析レポートを実装する方法-Python チュートリアル-php.cn

Python を使用してジョブ分析レポートを実装する方法

WBOY

リリース： 2023-05-01 22:07:22

転載

1322 人が閲覧しました

1. この記事の目的

Ajax リクエストを取得し、JSON の必須フィールドを解析します

データを Excel に保存します

データを MySQL に保存します。簡単分析

2. 分析結果

1. ライブラリの紹介

5都市におけるPythonポジションの平均給与水準

2. ページ構成

クエリを入力します。例として条件は Python です。他の条件はデフォルトでは選択されていません。すべての Python の位置を表示するには、[クエリ] をクリックします。次に、コンソールを開いて [ネットワーク] タブをクリックすると、次のリクエストが表示されます:

Python を使用してジョブ分析レポートを実装する方法

#応答結果から判断すると、このリクエストはまさに必要なものです。後でこのアドレスを直接リクエストすることができます。写真からわかるように、各位置の情報は次の結果になります。

ここで、データをリクエストする場所と結果を取得する場所がわかります。しかし、結果リストの最初のページには 15 個のデータしかありません。他のページのデータを取得するにはどうすればよいでしょうか?

3. リクエストパラメーター

次のようにパラメータータブをクリックします:

3 つのフォームデータが送信されたことがわかりました。kd がキーワードであることは明らかです。 pn は現在のページ番号です。デフォルトで最初に設定するだけなので、心配する必要はありません。残っているのは、30 ページのデータをダウンロードするリクエストを作成することだけです。

4. リクエストの構築とデータの解析

リクエストの構築は非常に簡単ですが、これを行うには引き続きリクエストライブラリを使用します。まず、フォームデータ

data = {&#39;first&#39;: &#39;true&#39;, &#39;pn&#39;: page, &#39;kd&#39;: lang_name}

ログイン後にコピー

を構築し、リクエストを使用して URL アドレスを要求すると、解析された JSON データが完成します。 Lagouではクローラーの制限が厳しいので、ブラウザのヘッダーフィールドを全て追加し、クローラー間隔を長くする必要がありますが、10～20秒後に設定したところ、正常にデータが取得できるようになりました。

import requests

def get_json(url, page, lang_name):
   headers = {
       &#39;Host&#39;: &#39;www.lagou.com&#39;,
       &#39;Connection&#39;: &#39;keep-alive&#39;,
       &#39;Content-Length&#39;: &#39;23&#39;,
       &#39;Origin&#39;: &#39;https://www.lagou.com&#39;,
       &#39;X-Anit-Forge-Code&#39;: &#39;0&#39;,
       &#39;User-Agent&#39;: &#39;Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0&#39;,
       &#39;Content-Type&#39;: &#39;application/x-www-form-urlencoded; charset=UTF-8&#39;,
       &#39;Accept&#39;: &#39;application/json, text/javascript, */*; q=0.01&#39;,
       &#39;X-Requested-With&#39;: &#39;XMLHttpRequest&#39;,
       &#39;X-Anit-Forge-Token&#39;: &#39;None&#39;,
       &#39;Referer&#39;: &#39;https://www.lagou.com/jobs/list_python?city=%E5%85%A8%E5%9B%BD&cl=false&fromSearch=true&labelWords=&suginput=&#39;,
       &#39;Accept-Encoding&#39;: &#39;gzip, deflate, br&#39;,
       &#39;Accept-Language&#39;: &#39;en-US,en;q=0.9,zh-CN;q=0.8,zh;q=0.7&#39;
   }
   data = {&#39;first&#39;: &#39;false&#39;, &#39;pn&#39;: page, &#39;kd&#39;: lang_name}
   json = requests.post(url, data, headers=headers).json()
   list_con = json[&#39;content&#39;][&#39;positionResult&#39;][&#39;result&#39;]
   info_list = []
   for i in list_con:
       info = []
       info.append(i.get(&#39;companyShortName&#39;, &#39;无&#39;))
       info.append(i.get(&#39;companyFullName&#39;, &#39;无&#39;))
       info.append(i.get(&#39;industryField&#39;, &#39;无&#39;))
       info.append(i.get(&#39;companySize&#39;, &#39;无&#39;))
       info.append(i.get(&#39;salary&#39;, &#39;无&#39;))
       info.append(i.get(&#39;city&#39;, &#39;无&#39;))
       info.append(i.get(&#39;education&#39;, &#39;无&#39;))
       info_list.append(info)
   return info_list

ログイン後にコピー

4. すべてのデータを取得する

データの解析方法を理解したので、残っているのはすべてのページを連続的にリクエストすることだけです。30 ページすべてのデータをリクエストする関数を構築します。。

rree

以上がPython を使用してジョブ分析レポートを実装する方法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。