Python用Pandas讀CSV檔案寫到MySQL的方法

高洛峰
發布: 2019-02-23 16:27:47
原創
4989 人瀏覽過

總結一下,自己最近在使用Python讀寫CSV儲存資料庫中遇到的各種問題。

相關mysql影片教學推薦:《mysql教學

#上碼:

reload(sys)
sys.setdefaultencoding('utf-8')
host = '127.0.0.1'
port = 3306
db = 'world'
user = 'root'
password = '123456'

con = MySQLdb.connect(host=host,charset="utf8",port=port,db=db,user=user,passwd=password)
try:
    df = pd.read_sql(sql=r'select * from city', con=con)
    df.to_sql('test',con=con,flavor='mysql')
except Exception as e:
    print(e.message)
登入後複製

不出意外的話會列印出一句:database flavor MySQL is not supported
在stackoverflow上找到了答案:The flavor 'mysql' is deprecated in pandas version 0.19.

我們換個方式:

reload(sys)
sys.setdefaultencoding('utf-8')
host = '127.0.0.1'
port = 3306
db = 'world'
user = 'root'
password = '123456'

engine = create_engine(str(r"mysql+mysqldb://%s:" + '%s' + "@%s/%s") % (user, password, host, db))

try:
    df = pd.read_sql(sql=r'select * from city', con=engine)
    df.to_sql('test',con=engine,if_exists='append',index=False)
except Exception as e:
    print(e.message)
登入後複製

#

engine = create_engine(str(r"mysql+mysqldb://%s:" + '%s' + "@%s/%s") % (user, password, host, db))

try:
    df = pd.read_csv(r'C:\Users\xx\Desktop\data.csv')
    print(df)
    df.to_sql('test', con=engine, if_exists='append', index=False)
except Exception as e:
    print(e.message)
登入後複製
#運行下,ok,可以存入了index參數表示是否把DataFrame的index當成一列來存儲,一般來說是不需要的,所以賦值為False


現在看似問題都解決了,但是還有一個小問題。
假如我有一個含有中文的csv檔(本人Window):
name age class
小明15 一年級

小張18 三年級

df = pd.read_csv(r'C:\Users\xx\Desktop\data.csv',encoding='gbk')
登入後複製
列印處理以後亂碼了。我們在讀csv時候最好指定編碼,我的本地GBK:

engine = create_engine(str(r"mysql+mysqldb://%s:" + '%s' + "@%s/%s?charset=utf8") % (user, password, host, db))
登入後複製
我們可以正常的列印訊息了,但是又報錯了,錯誤如下:

UnicodeEncodeError: 'latin-1' codec can't encode characters in position 0-1: ordinal not in range(256)

還是編碼問題,原因呢,我們存到資料庫時候沒有指定編碼。解決這個問題時候也是被坑了一把,網路上說什麼的都有。過程就不說了,看程式碼:

rrreee

解決了

相關文章:

Python資料分析之真實IP請求Pandas詳解

#透過Python中的pandas函式庫對cdn日誌進行分析詳解

用Python的pandas框架操作Excel檔案中的資料教學

##################################################################################### ## ###

以上是Python用Pandas讀CSV檔案寫到MySQL的方法的詳細內容。更多資訊請關注PHP中文網其他相關文章!

相關標籤:
來源:php.cn
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板
關於我們 免責聲明 Sitemap
PHP中文網:公益線上PHP培訓,幫助PHP學習者快速成長!