python - 請問如何可以優化提升pandas的read_sql的速度呢？

Question

小弟的需求需要在多個資料庫之間查詢資料並關聯，所以小弟選擇了使用pandas，透過read_sql讀取資料至dataframe加工後直接產生目標資料。但目前遭遇了一個問題：read_sql的速度非常慢，例如，在oracle庫中讀取37W資料量（22個欄位）的表至dataframe耗時需要4分半。程式碼如下：

import pandas as pd
import sqlalchemy as sql
ora_engine=sql.create_engine('oracle://test01:test01@test01db')
ora_df1=pd.read_sql('select * from target_table1',ora_engine)

耗時4分32秒

甚至小弟使用另一個簡單粗暴的方法都會比read_sql快很多。程式碼如下：

import pandas as pd
import sqlalchemy as sql
ora_engine=sql.create_engine('oracle://test01:test01@test01db')
conn=ora_engine.raw_connection()
cursor=conn.cursor()
queryset=cursor.execute('select * from target_table1')
columns=[for i[0] in queryset.description]
df_data=queryset.fetchall()
ora_df1=pd.DataFrame()
ora_df1.columns=columns
ora_df1.append(df_data)

耗時1分31秒

這裡想請教一下各位大大，有什麼方法可以優化提升pandas的read_sql的速度，非常感謝大家~

Answer 1

雷雷