Python-解決Cx_Oracle查詢時UnicodeDecodeError的問題

近期在專案中,要對1張100多萬筆記錄的表進行查詢,然後進行一些資料的統計,但是在這個過程中,發現只查詢出來幾條資料就出現了UnicodeDecodeError了。
在這裡,我們使用sqlalchemy庫進行查詢,其內部還是Cx_Oracle來進行對應的操作,使用的Python版本為3.5.0,宿主系統為Windows 2008 Server,然後進行類似如下的操作:

from sqlalchemy import create_engine

engine = create_engine('oracle://demo:123456@192.168.1.202/TEST')
conn = engine.connect()
sql = 'select t.type from TS t'
result = conn.execute(sql)
for row in result:
    print(row['type'])

在這裡,我們先建立1個到資料庫的連接,然後進行對應的查詢操作。很不幸的是,只查詢不到10筆記錄就出現了1個UnicodeDecodeError錯誤了。
本來以為是資料庫的伺服器編碼問題,因此在create_engine函數中追加了encoding參數,將其更改為:

engine = create_engine('oracle://demo:123456@192.168.1.202/TEST',encoding="UTF-8")

而另外1種可用的方式直接在連接路徑中指定編碼,類似如下:

engine = create_engine('oracle://demo:123456@192.168.1.202/TEST?charset=utf-8')

但是問題還是沒有解決。在網上搜索了一下都沒有找到適應的解決方案,突然想起來之前在使用Mysql數據庫(個人喜歡Postgresql多一些)的時候,出現亂碼的時候,我們常常會進行如下的操作:

set names gbk;

我們通過這種方式設定客戶端的編碼,而不是伺服器端的編碼,來解決終端機下出現亂碼的情況(由於Postgresql預設資料庫就是UTF-8因此出現亂碼的可能性較低)。而另外在Linux下安裝Oracle的客戶端時,設定了1個NLS_LANG的環境變數,詳情可以參考Ubuntu14.04安裝Oracle Instant Client這篇文章,當然這篇文章有一些細節的東西沒有介紹。  
一般情況下,我們在cmd中進行如下的設定:

setenv NLS_LANG=SIMPLIFIED CHINESE_CHINA.ZHS16GBK

我們指定Oracle訊息使用的語言為簡體中文,而客戶端的字元集為GBK。
另外,我們還可以執行如下的語句來確保上述的操作是正確的:

SELECT * FROM v$nls_parameters;

由於上述資料庫伺服器是部署在Windows上的,因此其結果自然為GBK,因此如果我們客戶端使用UTF8字元集進行解碼,自然而言會出現解碼的錯誤。  
我們需要注意的是,只有在資料庫伺服器端與客戶端的編碼一致的情況下,我們才能正常的顯示非ASCII編碼,而在sqlalchemy中預設會將查詢的字串強制將其轉換為Unicode。因此類似Python3的如下過程:

>>> a='中国'.encode('gbk')
>>> a
b'\xd6\xd0\xb9\xfa'

而在sqlalchemy中由於強制進行編碼轉換,因此類似執行如下的過程:

>>> a.decode('utf-8')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xd6 in position 0: invalid continuation byte

因此就出現上述的問題了。而正常的情況應該指定其編碼為GBK:

>>> a.decode('gbk')
'中国'

而設定NLS_LANG就是相當於修改上述的編碼為GBK。

更多Python-解決Cx_Oracle查詢時UnicodeDecodeError的問題 相關文章請關注PHP中文網！