Eingehende Analyse der Json-Strukturanalyse von Python Data Mining

Dieser Artikel analysiert und fasst die relevanten Wissenspunkte des Python-Data-Mining und der Json-Strukturanalyse anhand von Beispielen zusammen.

json ist ein leichtes Datenaustauschformat, das auch als Konfigurationsdateiformat

Dateien bezeichnet werden kann in diesem Format kommen wir bei der Datenverarbeitung häufig vor

Python bietet ein integriertes JSON-Modul, das vor der Verwendung nur importiert werden muss

Sie Sie können das JSON-Hilfedokument über die Hilfefunktion anzeigen

Zu den gängigen Methoden von JSON gehören Load, Loads, Dump und Dumps. Dies sind alles Anfänger in Python und ich nicht Machen Sie sie. Zu viele Erklärungen

json kann in Verbindung mit einer Datenbank verwendet werden, was bei der zukünftigen Verarbeitung großer Datenmengen sehr nützlich ist

Jetzt werden wir formell Data Mining zur Verarbeitung verwenden JSON-Dateien

Viele Websites verwenden jetzt Ajax, daher sind viele davon im Allgemeinen XHR-Dateien

Hier möchte ich eine Kartenwebsite zur Demonstration verwenden

Wir verwenden den Browser. Das Debugging hat die entsprechende URL erhalten

https://ditu.amap.com/service/poiInfo?id=B001B0IZY1&query_type=IDQ

Nachfolgend verwenden wir die get-Methode im Anforderungsmodul, um den Browser zu simulieren. Erstellen Sie eine http-Anfrage und geben Sie das Ergebnisobjekt zurück.

Der Code lautet wie folgt

# coding=utf-8
__Author__ = "susmote"

import requests
url = "https://ditu.amap.com/service/poiInfo?id=B001B0IZY1&query_type=IDQ"

resp = requests.get(url)
print(resp.text[0:200])

Der Das Ergebnis der Ausführung im Terminal ist wie folgt

Die Daten wurden abgerufen, aber um die Daten als nächstes verwenden zu können, müssen wir das JSON-Modul verwenden, um die Daten zu analysieren

Der Code lautet wie folgt

import requests
import json

url = "https://ditu.amap.com/service/poiInfo?id=B001B0IZY1&query_type=IDQ"

resp = requests.get(url)

json_dict = json.loads(resp.text)

print(type(json_dict))

print(json_dict.keys())

Lassen Sie uns kurz über den obigen Code sprechen:

Importieren Sie das JSON-Modul Rufen Sie dann die Loads-Methode auf und übergeben Sie den zurückgegebenen Text als Parameter der Methode

Das Ergebnis der Ausführung im Terminal ist wie folgt

Es Es ist ersichtlich, dass das Ergebnis der Konvertierung ein Wörterbuch ist, das der JSON-Zeichenfolge entspricht, da der Typ (json_dict) < class 'dict'> zurückgibt.

Da das Objekt ein Wörterbuch ist, können wir das Wörterbuch aufrufen Methode. Hier rufen wir die Schlüsselmethode auf

Das Ergebnis gibt drei Schlüssel zurück, nämlich Status, SearcOpt , Daten

Lassen Sie uns die Daten im Datenschlüssel überprüfen

import requests
import json

url = "https://ditu.amap.com/service/poiInfo?id=B001B0IZY1&query_type=IDQ"

resp = requests.get(url)

json_dict = json.loads(resp.text)

print(json_dict['data'])

Führen Sie diesen Code im Terminal aus

Sie sehen, dass wir viele Daten benötigen, wie zum Beispiel

werden nicht einzeln markiert. Durch Vergleichen mit denen, die auf der Webseite angezeigt werden, können Sie erkennen, welche nützlich sind.

Als nächstes werden wir nützlich Informationen durch den Code und geben Sie sie klar aus

# coding=utf-8
__Author__ = "susmote"

import requests
import json

url = "https://ditu.amap.com/service/poiInfo?id=B001B0IZY1&query_type=IDQ"

resp = requests.get(url)

json_dict = json.loads(resp.text)

data_dict = json_dict['data']

data_list = data_dict['poi_list']

dis_data = data_list[0]

print('城市： ', dis_data['cityname'])
print('名称： ', dis_data['name'])
print('电话： ', dis_data['tel'])
print('区号： ', dis_data['areacode'])
print('地址： ', dis_data['address'])
print('经度： ', dis_data['longitude'])
print('纬度： ', dis_data['latitude'])

Denn was zurückgegeben wird, ist ein Wörterbuch, durch Recherche darüber Dateistruktur, das Wörterbuch ist mit Listen verschachtelt, und die Listen sind mit Wörterbüchern verschachtelt, und durch schichtweises Aufheben der Verschachtelung werden die Daten erfolgreich abgerufen.

Ich habe die Schritte hier separat aufgelistet, damit Sie es klarer sehen können

Jetzt führen wir das Programm über das Terminal aus, um die gewünschten Informationen zu erhalten

Ist es nicht sehr einfach? Dieses Programm kann als Vorlage verwendet werden . Wenn Sie Informationen von anderen Orten erhalten, müssen Sie nur eine URL ändern

Zum Beispiel die folgenden Beispiele

Peking University

Oder Tencent Tower

Das Data Mining hat kein Ende. Ich hoffe, dass jeder mehr Daten analysiert und die gewünschten Daten findet

Verwandte Empfehlungen:

So verarbeiten Sie Python-Daten numpy.median

Das obige ist der detaillierte Inhalt vonEingehende Analyse der Json-Strukturanalyse von Python Data Mining. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!