Cet article analyse et résume les points de connaissances pertinents sur l'exploration de données Python et l'analyse de la structure Json à travers des exemples. Les amis qui sont intéressés par cela peuvent s'y référer.
json est un format d'échange de données léger, qui peut également être considéré comme un format de fichier de configuration
Fichiers dans ce format sont ce que l'on rencontre souvent dans le traitement des données
Python fournit un module json intégré, qu'il suffit d'importer avant utilisation
Vous peut consulter le document d'aide json via la fonction d'aide
Les méthodes courantes de json incluent le chargement, les chargements, le dump et les dumps. Ce sont tous des débutants en python et je ne le fais pas. faites-les. Trop d'explications
json peut être utilisé en conjonction avec une base de données, ce qui est très utile lors du traitement de grandes quantités de données à l'avenir
Nous allons maintenant utiliser formellement l'exploration de données pour traiter fichiers json
De nombreux sites Web utilisent désormais Ajax, donc généralement beaucoup d'entre eux sont des fichiers XHR
Ici, je souhaite utiliser un site Web de cartes pour démontrer
Nous utilisons le navigateur Le débogage a obtenu l'url pertinente
https://ditu.amap.com/service/poiInfo?id=B001B0IZY1&query_type=IDQ
Ci-dessous nous utilisons la méthode get dans le module requêtes pour simuler le navigateur Faire une requête http et renvoyer l'objet résultat
Le code est le suivant
# coding=utf-8 __Author__ = "susmote" import requests url = "https://ditu.amap.com/service/poiInfo?id=B001B0IZY1&query_type=IDQ" resp = requests.get(url) print(resp.text[0:200])
Le le résultat de l'exécution dans le terminal est le suivant
Les données ont été obtenues, mais pour utiliser les données ensuite, nous devons utiliser le module json pour analyser les données
Le code est le suivant
import requests import json url = "https://ditu.amap.com/service/poiInfo?id=B001B0IZY1&query_type=IDQ" resp = requests.get(url) json_dict = json.loads(resp.text) print(type(json_dict)) print(json_dict.keys())
Parlons brièvement du code ci-dessus :
Importez le module json , puis appelez la méthodeloads et transmettez le texte renvoyé en paramètre de la méthode
Le résultat de l'exécution dans le terminal est le suivant
Il on voit que le résultat de la conversion est un dictionnaire correspondant à la chaîne json, car le type (json_dict) renvoie < class 'dict'>
Parce que l'objet est un dictionnaire, on peut appeler le dictionnaire Ici, nous appelons la méthode des clés
Le résultat renvoie trois clés, à savoir status, searcOpt , data
Vérifions les données dans la clé de données
import requests import json url = "https://ditu.amap.com/service/poiInfo?id=B001B0IZY1&query_type=IDQ" resp = requests.get(url) json_dict = json.loads(resp.text) print(json_dict['data'])
Exécutez ce code dans le terminal
Vous pouvez voir qu'il y a beaucoup de données dont nous avons besoin, telles que
ne sont pas marqués un par un. En les comparant avec ceux affichés sur la page web. En comparant, vous pouvez savoir lesquels sont utiles
Ensuite, nous devenons utiles. informations à travers le code et les afficher clairement
# coding=utf-8 __Author__ = "susmote" import requests import json url = "https://ditu.amap.com/service/poiInfo?id=B001B0IZY1&query_type=IDQ" resp = requests.get(url) json_dict = json.loads(resp.text) data_dict = json_dict['data'] data_list = data_dict['poi_list'] dis_data = data_list[0] print('城市: ', dis_data['cityname']) print('名称: ', dis_data['name']) print('电话: ', dis_data['tel']) print('区号: ', dis_data['areacode']) print('地址: ', dis_data['address']) print('经度: ', dis_data['longitude']) print('纬度: ', dis_data['latitude'])
Parce que ce qui est renvoyé est un dictionnaire, grâce à la recherche sur le Dans la structure des fichiers, le dictionnaire est imbriqué avec des listes et les listes sont imbriquées avec des dictionnaires. Grâce au désimbrication couche par couche, les données sont obtenues avec succès
J'ai répertorié les étapes séparément ici, vous le verrez donc plus clairement.
Maintenant, nous exécutons le programme via le terminal pour obtenir les informations souhaitées
N'est-ce pas très simple, ce programme peut être utilisé comme modèle ? . Lorsque vous obtenez des informations provenant d'autres endroits, il vous suffit de modifier une URL
Par exemple, les exemples suivants
Université de Pékin
.
Ou Tencent Tower
Il n'y a pas de fin à l'exploration de données, j'espère que tout le monde l'analysera davantage, trouvera les données que vous voulez
Recommandations associées :
Comment traiter les données Python numpy.median
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!