Introduction :
La fusion de dataframes en fonction d'une condition de jointure et de contraintes de date peut être un tâche courante dans l’analyse des données. Bien que pandas propose diverses options de fusion, l'optimisation des performances en filtrant pendant le processus de fusion peut être avantageuse pour éviter de gérer de grandes trames de données intermédiaires. Cet article traite d'une approche alternative utilisant SQL pour atteindre cette efficacité.
Fusion avec filtrage :
L'extrait de code fourni montre la fusion de deux trames de données A et B à l'aide du pd. fonction merge() et filtrer ensuite les résultats en fonction de la condition de date. Cependant, cette approche peut s'avérer sous-optimale lorsque vous travaillez avec des trames de données volumineuses en raison de la trame de données intermédiaire créée avant le filtrage.
SQL comme alternative :
SQL offre un moyen plus efficace pour effectuer cette fusion avec filtrage au sein de la requête elle-même. En nous connectant à une base de données en mémoire, nous pouvons écrire une requête qui effectue le filtrage des jointures et des dates en une seule étape.
Exemple de code :
Le code suivant démontre l'approche SQL :
<code class="python">import pandas as pd import sqlite3 # Connect to in-memory database conn = sqlite3.connect(':memory:') # Write dataframes to tables terms.to_sql('terms', conn, index=False) presidents.to_sql('presidents', conn, index=False) war_declarations.to_sql('wars', conn, index=False) # SQL query qry = ''' select start_date PresTermStart, end_date PresTermEnd, wars.date WarStart, presidents.name Pres from terms join wars on date between start_date and end_date join presidents on terms.president_id = presidents.president_id ''' # Read SQL query results into dataframe df = pd.read_sql_query(qry, conn)</code>
Résultats :
La trame de données résultante df contient les lignes où les dates dans A correspondent aux conditions de date dans B. Dans cet exemple spécifique , elle renvoie les présidents et les mandats au cours desquels deux guerres ont été déclarées.
Avantages :
Cette approche offre les avantages suivants :
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!