So verwenden Sie Python zum Implementieren von Jobanalyseberichten-Python-Tutorial-php.cn

So verwenden Sie Python zum Implementieren von Jobanalyseberichten

WBOY

Freigeben： 2023-05-01 22:07:22

nach vorne

1265 Leute haben es durchsucht

1. Das Ziel dieses Artikels

Erhalten Sie die Ajax-Anfrage und analysieren Sie die erforderlichen Felder in JSON

Speichern Sie die Daten in Excel

#🎜🎜 #Speichern Sie die Daten zur bequemen Analyse in MySQL in fünf Städten

#🎜 🎜#2. Seitenstruktur

Andere Bedingungen sind standardmäßig nicht ausgewählt und Sie sehen alle Python Dann öffnen wir die Konsole und klicken auf Netzwerk. Die folgende Anfrage ist im Tag zu sehen:

Den Antwortergebnissen nach zu urteilen, ist diese Anfrage genau was wir brauchen. Wir können diese Adresse einfach später direkt anfordern. Wie aus dem Bild ersichtlich ist, handelt es sich bei dem folgenden Ergebnis um die Informationen zu jeder Position.

Hier wissen wir, wo wir Daten anfordern und wo wir die Ergebnisse erhalten. Auf der ersten Seite der Ergebnisliste befinden sich jedoch nur 15 Daten. Wie erhält man die Daten auf anderen Seiten?

3. Parameter anfordern

So verwenden Sie Python zum Implementieren von Jobanalyseberichten Wir klicken auf die Registerkarte „Parameter“ wie folgt:

Es wurde festgestellt, dass drei Formulardaten übermittelt wurden, und Es ist offensichtlich, dass kd das Schlüsselwort ist, nach dem wir gesucht haben, pn ist die aktuelle Seitenzahl. Stellen Sie einfach die Standardeinstellung ein, machen Sie sich darüber keine Sorgen. Jetzt müssen Sie nur noch eine Anfrage zum Herunterladen von 30 Seiten mit Daten erstellen.

4. Erstellen Sie eine Anfrage und analysieren Sie die Daten

Das Erstellen einer Anfrage ist sehr einfach, wir verwenden dazu immer noch die Anfragebibliothek. Zuerst erstellen wir die Formulardaten

data = {&#39;first&#39;: &#39;true&#39;, &#39;pn&#39;: page, &#39;kd&#39;: lang_name}

Nach dem Login kopieren

und verwenden dann Anfragen, um die URL-Adresse anzufordern. Die analysierten JSON-Daten sind fertig. Da Lagou strenge Einschränkungen für Crawler hat, müssen wir alle Header-Felder im Browser hinzufügen und das Crawler-Intervall später auf 10 bis 20 Sekunden einstellen, damit die Daten normal abgerufen werden können.

import requests

def get_json(url, page, lang_name):
   headers = {
       &#39;Host&#39;: &#39;www.lagou.com&#39;,
       &#39;Connection&#39;: &#39;keep-alive&#39;,
       &#39;Content-Length&#39;: &#39;23&#39;,
       &#39;Origin&#39;: &#39;https://www.lagou.com&#39;,
       &#39;X-Anit-Forge-Code&#39;: &#39;0&#39;,
       &#39;User-Agent&#39;: &#39;Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0&#39;,
       &#39;Content-Type&#39;: &#39;application/x-www-form-urlencoded; charset=UTF-8&#39;,
       &#39;Accept&#39;: &#39;application/json, text/javascript, */*; q=0.01&#39;,
       &#39;X-Requested-With&#39;: &#39;XMLHttpRequest&#39;,
       &#39;X-Anit-Forge-Token&#39;: &#39;None&#39;,
       &#39;Referer&#39;: &#39;https://www.lagou.com/jobs/list_python?city=%E5%85%A8%E5%9B%BD&cl=false&fromSearch=true&labelWords=&suginput=&#39;,
       &#39;Accept-Encoding&#39;: &#39;gzip, deflate, br&#39;,
       &#39;Accept-Language&#39;: &#39;en-US,en;q=0.9,zh-CN;q=0.8,zh;q=0.7&#39;
   }
   data = {&#39;first&#39;: &#39;false&#39;, &#39;pn&#39;: page, &#39;kd&#39;: lang_name}
   json = requests.post(url, data, headers=headers).json()
   list_con = json[&#39;content&#39;][&#39;positionResult&#39;][&#39;result&#39;]
   info_list = []
   for i in list_con:
       info = []
       info.append(i.get(&#39;companyShortName&#39;, &#39;无&#39;))
       info.append(i.get(&#39;companyFullName&#39;, &#39;无&#39;))
       info.append(i.get(&#39;industryField&#39;, &#39;无&#39;))
       info.append(i.get(&#39;companySize&#39;, &#39;无&#39;))
       info.append(i.get(&#39;salary&#39;, &#39;无&#39;))
       info.append(i.get(&#39;city&#39;, &#39;无&#39;))
       info.append(i.get(&#39;education&#39;, &#39;无&#39;))
       info_list.append(info)
   return info_list

Nach dem Login kopieren

4. Alle Daten abrufen

Nachdem wir nun verstanden haben, wie die Daten analysiert werden, müssen wir nur noch alle Seiten kontinuierlich anfordern 30 Seiten Daten.

def main():
   lang_name = &#39;python&#39;
   wb = Workbook()
   conn = get_conn()
   for i in [&#39;北京&#39;, &#39;上海&#39;, &#39;广州&#39;, &#39;深圳&#39;, &#39;杭州&#39;]:
       page = 1
       ws1 = wb.active
       ws1.title = lang_name
       url = &#39;https://www.lagou.com/jobs/positionAjax.json?city={}&needAddtionalResult=false&#39;.format(i)
       while page < 31:
           info = get_json(url, page, lang_name)
           page += 1
           import time
           a = random.randint(10, 20)
           time.sleep(a)
           for row in info:
               insert(conn, tuple(row))
               ws1.append(row)
   conn.close()
   wb.save(&#39;{}职位信息.xlsx&#39;.format(lang_name))

if __name__ == &#39;__main__&#39;:
   main()

Nach dem Login kopieren

Das obige ist der detaillierte Inhalt vonSo verwenden Sie Python zum Implementieren von Jobanalyseberichten. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!