Dieser Artikel analysiert und fasst die relevanten Wissenspunkte des Python-Data-Mining und der Json-Strukturanalyse anhand von Beispielen zusammen.
json ist ein leichtes Datenaustauschformat, das auch als Konfigurationsdateiformat
Dateien bezeichnet werden kann in diesem Format kommen wir bei der Datenverarbeitung häufig vor
Python bietet ein integriertes JSON-Modul, das vor der Verwendung nur importiert werden muss
Sie Sie können das JSON-Hilfedokument über die Hilfefunktion anzeigen
Zu den gängigen Methoden von JSON gehören Load, Loads, Dump und Dumps. Dies sind alles Anfänger in Python und ich nicht Machen Sie sie. Zu viele Erklärungen
json kann in Verbindung mit einer Datenbank verwendet werden, was bei der zukünftigen Verarbeitung großer Datenmengen sehr nützlich ist
Jetzt werden wir formell Data Mining zur Verarbeitung verwenden JSON-Dateien
Viele Websites verwenden jetzt Ajax, daher sind viele davon im Allgemeinen XHR-Dateien
Hier möchte ich eine Kartenwebsite zur Demonstration verwenden
Wir verwenden den Browser. Das Debugging hat die entsprechende URL erhalten
https://ditu.amap.com/service/poiInfo?id=B001B0IZY1&query_type=IDQ
Nachfolgend verwenden wir die get-Methode im Anforderungsmodul, um den Browser zu simulieren. Erstellen Sie eine http-Anfrage und geben Sie das Ergebnisobjekt zurück.
Der Code lautet wie folgt
# coding=utf-8 __Author__ = "susmote" import requests url = "https://ditu.amap.com/service/poiInfo?id=B001B0IZY1&query_type=IDQ" resp = requests.get(url) print(resp.text[0:200])
Der Das Ergebnis der Ausführung im Terminal ist wie folgt
Die Daten wurden abgerufen, aber um die Daten als nächstes verwenden zu können, müssen wir das JSON-Modul verwenden, um die Daten zu analysieren
Der Code lautet wie folgt
import requests import json url = "https://ditu.amap.com/service/poiInfo?id=B001B0IZY1&query_type=IDQ" resp = requests.get(url) json_dict = json.loads(resp.text) print(type(json_dict)) print(json_dict.keys())
Lassen Sie uns kurz über den obigen Code sprechen:
Importieren Sie das JSON-Modul Rufen Sie dann die Loads-Methode auf und übergeben Sie den zurückgegebenen Text als Parameter der Methode
Das Ergebnis der Ausführung im Terminal ist wie folgt
Es Es ist ersichtlich, dass das Ergebnis der Konvertierung ein Wörterbuch ist, das der JSON-Zeichenfolge entspricht, da der Typ (json_dict) < class 'dict'> zurückgibt.
Da das Objekt ein Wörterbuch ist, können wir das Wörterbuch aufrufen Methode. Hier rufen wir die Schlüsselmethode auf
Das Ergebnis gibt drei Schlüssel zurück, nämlich Status, SearcOpt , Daten
Lassen Sie uns die Daten im Datenschlüssel überprüfen
import requests import json url = "https://ditu.amap.com/service/poiInfo?id=B001B0IZY1&query_type=IDQ" resp = requests.get(url) json_dict = json.loads(resp.text) print(json_dict['data'])
Führen Sie diesen Code im Terminal aus
Sie sehen, dass wir viele Daten benötigen, wie zum Beispiel
werden nicht einzeln markiert. Durch Vergleichen mit denen, die auf der Webseite angezeigt werden, können Sie erkennen, welche nützlich sind.
Als nächstes werden wir nützlich Informationen durch den Code und geben Sie sie klar aus
# coding=utf-8 __Author__ = "susmote" import requests import json url = "https://ditu.amap.com/service/poiInfo?id=B001B0IZY1&query_type=IDQ" resp = requests.get(url) json_dict = json.loads(resp.text) data_dict = json_dict['data'] data_list = data_dict['poi_list'] dis_data = data_list[0] print('城市： ', dis_data['cityname']) print('名称： ', dis_data['name']) print('电话： ', dis_data['tel']) print('区号： ', dis_data['areacode']) print('地址： ', dis_data['address']) print('经度： ', dis_data['longitude']) print('纬度： ', dis_data['latitude'])
Denn was zurückgegeben wird, ist ein Wörterbuch, durch Recherche darüber Dateistruktur, das Wörterbuch ist mit Listen verschachtelt, und die Listen sind mit Wörterbüchern verschachtelt, und durch schichtweises Aufheben der Verschachtelung werden die Daten erfolgreich abgerufen.
Ich habe die Schritte hier separat aufgelistet, damit Sie es klarer sehen können
Jetzt führen wir das Programm über das Terminal aus, um die gewünschten Informationen zu erhalten
Ist es nicht sehr einfach? Dieses Programm kann als Vorlage verwendet werden . Wenn Sie Informationen von anderen Orten erhalten, müssen Sie nur eine URL ändern
Zum Beispiel die folgenden Beispiele
Peking University
Oder Tencent Tower
Das Data Mining hat kein Ende. Ich hoffe, dass jeder mehr Daten analysiert und die gewünschten Daten findet
Verwandte Empfehlungen:
So verarbeiten Sie Python-Daten numpy.median
Das obige ist der detaillierte Inhalt vonEingehende Analyse der Json-Strukturanalyse von Python Data Mining. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
