Analyse approfondie de l'analyse de la structure Json de l'exploration de données Python

Cet article analyse et résume les points de connaissances pertinents sur l'exploration de données Python et l'analyse de la structure Json à travers des exemples. Les amis qui sont intéressés par cela peuvent s'y référer.

json est un format d'échange de données léger, qui peut également être considéré comme un format de fichier de configuration

Fichiers dans ce format sont ce que l'on rencontre souvent dans le traitement des données

Python fournit un module json intégré, qu'il suffit d'importer avant utilisation

Vous peut consulter le document d'aide json via la fonction d'aide

Les méthodes courantes de json incluent le chargement, les chargements, le dump et les dumps. Ce sont tous des débutants en python et je ne le fais pas. faites-les. Trop d'explications

json peut être utilisé en conjonction avec une base de données, ce qui est très utile lors du traitement de grandes quantités de données à l'avenir

Nous allons maintenant utiliser formellement l'exploration de données pour traiter fichiers json

De nombreux sites Web utilisent désormais Ajax, donc généralement beaucoup d'entre eux sont des fichiers XHR

Ici, je souhaite utiliser un site Web de cartes pour démontrer

Nous utilisons le navigateur Le débogage a obtenu l'url pertinente

https://ditu.amap.com/service/poiInfo?id=B001B0IZY1&query_type=IDQ

Ci-dessous nous utilisons la méthode get dans le module requêtes pour simuler le navigateur Faire une requête http et renvoyer l'objet résultat

Le code est le suivant

# coding=utf-8
__Author__ = "susmote"

import requests
url = "https://ditu.amap.com/service/poiInfo?id=B001B0IZY1&query_type=IDQ"

resp = requests.get(url)
print(resp.text[0:200])

Le le résultat de l'exécution dans le terminal est le suivant

Les données ont été obtenues, mais pour utiliser les données ensuite, nous devons utiliser le module json pour analyser les données

Le code est le suivant

import requests
import json

url = "https://ditu.amap.com/service/poiInfo?id=B001B0IZY1&query_type=IDQ"

resp = requests.get(url)

json_dict = json.loads(resp.text)

print(type(json_dict))

print(json_dict.keys())

Parlons brièvement du code ci-dessus :

Importez le module json , puis appelez la méthodeloads et transmettez le texte renvoyé en paramètre de la méthode

Le résultat de l'exécution dans le terminal est le suivant

Il on voit que le résultat de la conversion est un dictionnaire correspondant à la chaîne json, car le type (json_dict) renvoie < class 'dict'>

Parce que l'objet est un dictionnaire, on peut appeler le dictionnaire Ici, nous appelons la méthode des clés

Le résultat renvoie trois clés, à savoir status, searcOpt , data

Vérifions les données dans la clé de données

import requests
import json

url = "https://ditu.amap.com/service/poiInfo?id=B001B0IZY1&query_type=IDQ"

resp = requests.get(url)

json_dict = json.loads(resp.text)

print(json_dict['data'])

Exécutez ce code dans le terminal

Vous pouvez voir qu'il y a beaucoup de données dont nous avons besoin, telles que

ne sont pas marqués un par un. En les comparant avec ceux affichés sur la page web. En comparant, vous pouvez savoir lesquels sont utiles

Ensuite, nous devenons utiles. informations à travers le code et les afficher clairement

# coding=utf-8
__Author__ = "susmote"

import requests
import json

url = "https://ditu.amap.com/service/poiInfo?id=B001B0IZY1&query_type=IDQ"

resp = requests.get(url)

json_dict = json.loads(resp.text)

data_dict = json_dict['data']

data_list = data_dict['poi_list']

dis_data = data_list[0]

print('城市： ', dis_data['cityname'])
print('名称： ', dis_data['name'])
print('电话： ', dis_data['tel'])
print('区号： ', dis_data['areacode'])
print('地址： ', dis_data['address'])
print('经度： ', dis_data['longitude'])
print('纬度： ', dis_data['latitude'])

Parce que ce qui est renvoyé est un dictionnaire, grâce à la recherche sur le Dans la structure des fichiers, le dictionnaire est imbriqué avec des listes et les listes sont imbriquées avec des dictionnaires. Grâce au désimbrication couche par couche, les données sont obtenues avec succès

J'ai répertorié les étapes séparément ici, vous le verrez donc plus clairement.

Maintenant, nous exécutons le programme via le terminal pour obtenir les informations souhaitées

N'est-ce pas très simple, ce programme peut être utilisé comme modèle ? . Lorsque vous obtenez des informations provenant d'autres endroits, il vous suffit de modifier une URL

Par exemple, les exemples suivants

Université de Pékin

.

Ou Tencent Tower

Il n'y a pas de fin à l'exploration de données, j'espère que tout le monde l'analysera davantage, trouvera les données que vous voulez

Recommandations associées :

Comment traiter les données Python numpy.median

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!