Maison développement back-end Tutoriel Python Outil de traitement de données : techniques efficaces pour lire des fichiers Excel avec des pandas

Outil de traitement de données : techniques efficaces pour lire des fichiers Excel avec des pandas

Jan 19, 2024 am 08:58 AM
excel 数据处理 pandas

Outil de traitement de données : techniques efficaces pour lire des fichiers Excel avec des pandas

Avec la popularité croissante du traitement des données, de plus en plus de personnes s'intéressent à la manière d'utiliser les données efficacement et de les faire fonctionner pour elles-mêmes. Dans le traitement quotidien des données, les tableaux Excel sont sans aucun doute le format de données le plus répandu. Cependant, lorsqu’une grande quantité de données doit être traitée, l’utilisation manuelle d’Excel deviendra évidemment très longue et laborieuse. Par conséquent, cet article présentera un outil de traitement de données efficace - les pandas, et comment utiliser cet outil pour lire rapidement des fichiers Excel et effectuer un traitement de données.

1. Introduction à pandas

pandas est un puissant outil d'analyse de données Python qui fournit un large éventail de fonctions de lecture, de traitement et d'analyse de données. Les principales structures de données des pandas sont DataFrame et Series, qui peuvent lire directement des fichiers dans des formats courants tels qu'Excel et CSV et effectuer diverses opérations de traitement de données. Par conséquent, pandas est largement utilisé dans le domaine du traitement des données et est connu comme l’un des principaux outils d’analyse des données Python.

2. La méthode de base pour lire les fichiers Excel dans les pandas

Dans les pandas, la fonction principale pour lire les fichiers Excel est read_excel, qui peut lire les données du tableau Excel et les convertir en un objet DataFrame. Le code est le suivant :

import pandas as pd
data = pd.read_excel('test.xlsx', sheet_name='Sheet1')
Copier après la connexion

Dans le code ci-dessus, test.xlsx est le nom du fichier Excel à lire, et Sheet1 est le nom de la Feuille à lire. De cette manière, data est un objet DataFrame, qui contient les données du tableau Excel.

3. Techniques efficaces pour lire des fichiers Excel avec des pandas

Bien que la méthode de lecture de base des pandas ait permis de gagner beaucoup de temps par rapport au fonctionnement manuel d'Excel, lors du traitement de grandes quantités de données, nous pouvons optimiser davantage le processus de lecture d'Excel. des dossiers.

1. Utiliser les paramètres skiprows et nrows

Nous pouvons utiliser les paramètres skiprows et nrows pour sauter des lignes dans le tableau et lire un nombre spécifié de lignes. Par exemple, le code suivant peut lire les données de la ligne 2 à la ligne 1001 du tableau :

data = pd.read_excel('test.xlsx', sheet_name='Sheet1', skiprows=1, nrows=1000)
Copier après la connexion

De cette façon, nous ne pouvons lire qu'une partie des données, économisant ainsi du temps de lecture et de la consommation de mémoire.

2. Utilisez le paramètre usecols

Si nous n'avons besoin que de certaines colonnes de données dans le tableau, nous pouvons utiliser le paramètre usecols pour lire uniquement les colonnes spécifiées. Par exemple, le code suivant ne lit que les colonnes A et B du tableau :

data = pd.read_excel('test.xlsx', sheet_name='Sheet1', usecols=['A', 'B'])
Copier après la connexion

De cette façon, nous pouvons nous concentrer sur les colonnes de données qui doivent être traitées et éviter de lire des données inutiles.

3. Utiliser les paramètres chunksize et itérateur

Lorsque le fichier Excel lu est volumineux, nous pouvons utiliser les paramètres chunksize et itérateur pour lire les données en blocs. Par exemple, le code suivant peut lire 1 000 lignes de données à la fois :

for i in pd.read_excel('test.xlsx', sheet_name='Sheet1', chunksize=1000):
    # 处理代码
Copier après la connexion

De cette façon, nous pouvons lire les données bloc par bloc et les traiter par lots pour améliorer l'efficacité du traitement des données.

4. Exemple complet

Ce qui suit est un exemple de code complet permettant aux pandas de lire un fichier Excel. Ce code peut lire toutes les données de la feuille 1 dans test.xlsx, puis calculer la somme des colonnes A et B et afficher le résultat. :

import pandas as pd
data = pd.read_excel('test.xlsx', sheet_name='Sheet1')
result = pd.DataFrame([{'sum_A': data['A'].sum(), 'sum_B': data['B'].sum()}])
result.to_excel('result.xlsx', index=False)
Copier après la connexion

Dans le code ci-dessus, nous avons d'abord lu la feuille 1 de l'intégralité du fichier test.xlsx, puis utilisé la fonction sum pour calculer la somme des colonnes A et B, et stocké le résultat dans un objet DataFrame. Enfin, nous écrivons les résultats dans un nouveau fichier Excel result.xlsx, qui contient une seule ligne de données, la première colonne étant la somme de la colonne A et la deuxième colonne étant la somme de la colonne B.

Résumé

Grâce à l'introduction ci-dessus, nous pouvons voir que l'utilisation de pandas pour lire des fichiers Excel peut considérablement améliorer l'efficacité du traitement des données, et que le processus de lecture et de traitement des données peut être encore optimisé à l'aide de divers paramètres et méthodes avancés fournis. par des pandas. Ainsi, dans le domaine de l’analyse et du traitement des données, l’utilisation de pandas est un outil très efficace et pratique.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Meilleurs paramètres graphiques
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Comment réparer l'audio si vous n'entendez personne
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25: Comment déverrouiller tout dans Myrise
4 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Que dois-je faire si la ligne du cadre disparaît lors de l'impression dans Excel ? Que dois-je faire si la ligne du cadre disparaît lors de l'impression dans Excel ? Mar 21, 2024 am 09:50 AM

Si lors de l'ouverture d'un fichier qui doit être imprimé, nous constatons que la ligne du cadre du tableau a disparu pour une raison quelconque dans l'aperçu avant impression. Lorsque nous rencontrons une telle situation, nous devons la traiter à temps si cela apparaît également dans votre impression. file Si vous avez des questions comme celle-ci, alors rejoignez l'éditeur pour apprendre le cours suivant : Que dois-je faire si la ligne du cadre disparaît lors de l'impression d'un tableau dans Excel ? 1. Ouvrez un fichier à imprimer, comme indiqué dans la figure ci-dessous. 2. Sélectionnez toutes les zones de contenu requises, comme indiqué dans la figure ci-dessous. 3. Cliquez avec le bouton droit de la souris et sélectionnez l'option "Formater les cellules", comme indiqué dans la figure ci-dessous. 4. Cliquez sur l'option « Bordure » en haut de la fenêtre, comme indiqué dans la figure ci-dessous. 5. Sélectionnez le motif de ligne continue fine dans le style de ligne de gauche, comme indiqué dans la figure ci-dessous. 6. Sélectionnez « Bordure extérieure »

Comment filtrer plus de 3 mots-clés en même temps dans Excel Comment filtrer plus de 3 mots-clés en même temps dans Excel Mar 21, 2024 pm 03:16 PM

Excel est souvent utilisé pour traiter les données dans le travail de bureau quotidien et il est souvent nécessaire d'utiliser la fonction « filtre ». Lorsque nous choisissons d'effectuer un « filtrage » dans Excel, nous ne pouvons filtrer que jusqu'à deux conditions pour la même colonne. Alors, savez-vous comment filtrer plus de 3 mots-clés en même temps dans Excel ? Ensuite, laissez-moi vous le démontrer. La première méthode consiste à ajouter progressivement les conditions au filtre. Si vous souhaitez filtrer trois informations éligibles en même temps, vous devez d'abord en filtrer une étape par étape. Au début, vous pouvez d'abord filtrer les employés nommés « Wang » en fonction des conditions. Cliquez ensuite sur [OK], puis cochez [Ajouter la sélection actuelle au filtre] dans les résultats du filtre. Les étapes sont les suivantes. De même, effectuez à nouveau le filtrage séparément

Comment changer le mode de compatibilité des tableaux Excel en mode normal Comment changer le mode de compatibilité des tableaux Excel en mode normal Mar 20, 2024 pm 08:01 PM

Dans notre travail et nos études quotidiens, nous copions les fichiers Excel des autres, les ouvrons pour ajouter du contenu ou les rééditer, puis les enregistrons Parfois, une boîte de dialogue de vérification de compatibilité apparaît, ce qui est très gênant, je ne connais pas Excel. logiciel, peut-il être modifié en mode normal ? Ci-dessous, l'éditeur vous présentera les étapes détaillées pour résoudre ce problème, apprenons ensemble. Enfin, n’oubliez pas de le sauvegarder. 1. Ouvrez une feuille de calcul et affichez un mode de compatibilité supplémentaire dans le nom de la feuille de calcul, comme indiqué sur la figure. 2. Dans cette feuille de calcul, après avoir modifié le contenu et l'avoir enregistré, la boîte de dialogue du vérificateur de compatibilité apparaît toujours. Il est très gênant de voir cette page, comme le montre la figure. 3. Cliquez sur le bouton Office, cliquez sur Enregistrer sous, puis

Comment définir l'exposant dans Excel Comment définir l'exposant dans Excel Mar 20, 2024 pm 04:30 PM

Lors du traitement des données, nous rencontrons parfois des données contenant divers symboles tels que des multiples, des températures, etc. Savez-vous comment définir des exposants dans Excel ? Lorsque nous utilisons Excel pour traiter des données, si nous ne définissons pas d'exposants, il sera plus difficile de saisir une grande partie de nos données. Aujourd'hui, l'éditeur vous proposera la méthode de configuration spécifique de l'exposant Excel. 1. Tout d'abord, ouvrons le document Microsoft Office Excel sur le bureau et sélectionnons le texte qui doit être modifié en exposant, comme indiqué sur la figure. 2. Ensuite, faites un clic droit et sélectionnez l'option "Formater les cellules" dans le menu qui apparaît après avoir cliqué, comme indiqué sur la figure. 3. Ensuite, dans la boîte de dialogue « Formater les cellules » qui apparaît automatiquement

Comment utiliser la fonction iif dans Excel Comment utiliser la fonction iif dans Excel Mar 20, 2024 pm 06:10 PM

La plupart des utilisateurs utilisent Excel pour traiter les données des tableaux. En fait, Excel dispose également d'un programme VBA, à l'exception des experts, peu d'utilisateurs ont utilisé cette fonction. La fonction iif est souvent utilisée lors de l'écriture en VBA. les fonctions des fonctions sont similaires. Laissez-moi vous présenter l'utilisation de la fonction iif. Il existe des fonctions iif dans les instructions SQL et du code VBA dans Excel. La fonction iif est similaire à la fonction IF dans la feuille de calcul Excel. Elle effectue un jugement de valeur vrai et faux et renvoie des résultats différents en fonction des valeurs vraies et fausses calculées logiquement. L'utilisation de la fonction SI est (condition, oui, non). Instruction IF et fonction IIF dans VBA La première instruction IF est une instruction de contrôle qui peut exécuter différentes instructions selon les conditions.

Où définir le mode de lecture Excel Où définir le mode de lecture Excel Mar 21, 2024 am 08:40 AM

Dans l'étude des logiciels, nous sommes habitués à utiliser Excel, non seulement parce qu'il est pratique, mais aussi parce qu'il peut répondre à une variété de formats nécessaires au travail réel, et Excel est très flexible à utiliser, et il existe un mode qui est pratique pour lire. Aujourd'hui, j'ai apporté Pour tout le monde : où définir le mode de lecture Excel. 1. Allumez l'ordinateur, puis ouvrez l'application Excel et recherchez les données cibles. 2. Il existe deux manières de définir le mode de lecture dans Excel. Le premier type : Dans Excel, il existe un grand nombre de méthodes de traitement pratiques distribuées dans la mise en page Excel. Dans le coin inférieur droit d'Excel, il y a un raccourci pour définir le mode de lecture. Recherchez le motif de la croix et cliquez dessus pour accéder au mode de lecture. Il y a une petite marque tridimensionnelle sur le côté droit de la croix. .

Comment insérer des icônes Excel dans les diapositives PPT Comment insérer des icônes Excel dans les diapositives PPT Mar 26, 2024 pm 05:40 PM

1. Ouvrez le PPT et tournez la page jusqu'à la page où vous devez insérer l'icône Excel. Cliquez sur l'onglet Insérer. 2. Cliquez sur [Objet]. 3. La boîte de dialogue suivante apparaîtra. 4. Cliquez sur [Créer à partir d'un fichier], puis cliquez sur [Parcourir]. 5. Sélectionnez le tableau Excel à insérer. 6. Cliquez sur OK et la page suivante apparaîtra. 7. Cochez [Afficher sous forme d'icône]. 8. Cliquez sur OK.

Comment lire des données Excel en HTML Comment lire des données Excel en HTML Mar 27, 2024 pm 05:11 PM

Comment lire des données Excel en HTML : 1. Utilisez la bibliothèque JavaScript pour lire les données Excel ; 2. Utilisez le langage de programmation côté serveur pour lire les données Excel.

See all articles