Python의 중국어 인코딩 문제 정보

이 기사의 내용은 Python의 중국어 인코딩 문제에 관한 것입니다. 이제 모든 사람과 공유합니다. 도움이 필요한 친구는 그것을 참조할 수 있습니다

1. 1.1 .py 파일의 인코딩

　Python 기본 스크립트 파일은 모두 ANSCII 인코딩됩니다. 파일에 ANSCII 인코딩 범위에 없는 문자가 있는 경우 "인코딩 지침"을 사용하여 이를 수정해야 합니다. 모듈 정의에서 .py 파일에 중국어 문자가 포함되어 있는 경우(엄격히 말하면 anscii가 아닌 문자가 포함되어 있음) 첫 번째 또는 두 번째 줄에 인코딩 문을 지정해야 합니다.

# -*- 코딩=utf -8 -*-또는 #coding=utf-8 gbk, gb2312와 같은 다른 인코딩도 허용됩니다. 그렇지 않으면 유사한 메시지가 나타납니다: SyntaxError: Non-ASCII 문자 '/xe4' in file ChineseTest.py on line 1, 그러나 인코딩은 선언되지 않았습니다. 예외 정보에 대한 자세한 내용은 http://www.pytho를 참조하세요. n.org/peps/pep-0263.html

1.2 Python의 인코딩 및 디코딩

먼저 문자열 유형에 대해 이야기해 보겠습니다. Python에는 두 가지 문자열 유형, 즉 str과 unicode가 있습니다. 둘 다 basestring의 파생 클래스입니다. str 유형은 유니코드의 각 단위가 (적어도) 8비트 바이트임을 나타내는 시퀀스입니다. 따라서

len(u'China')의 값은 2이고 len('ab')의 값도 2입니다.

　 str 문서에는 다음과 같은 문장이 있습니다. 문자열 데이터 유형도 다음과 같이 사용됩니다. 예를 들어 파일에서 읽은 데이터를 보관하기 위해 바이트 배열을 나타냅니다. 즉, 파일의 내용을 읽거나 네트워크에서 내용을 읽을 때 str을 변환하려는 경우 보관된 개체는 str입니다. 특정 인코딩 유형을 사용하려면 str을 유니코드로 변환한 다음 유니코드에서 utf-8, gb2312 등과 같은 특정 인코딩 유형으로 변환해야 합니다.

파이썬에서 제공되는 변환 기능:

unicode에서 gb2312, utf-

# -*- coding=UTF-8 -*-
if __name__ == '__main__': 
   s = u'中国'    
   s_gb = s.encode('gb2312')

utf-8, GBK는 unicode(s,encoding) 또는 s.decode(encoding) 함수를 사용하여 유니코드로 변환됩니다.

# -*- coding=UTF-8 -*-
if __name__ == '__main__':    s = u'中国'
    #s为unicode先转为utf-8
    s_utf8 =  s.encode('UTF-8')
    assert(s_utf8.decode('utf-8') == s)

Ordinary str은 unicode

# -*- coding=UTF-8 -*-
if __name__ == '__main__':    s = '中国'
    su = u'中国''
    #s为unicode先转为utf-8
    #因为s为所在的.py(# -*- coding=UTF-8 -*-)编码为utf-8
    s_unicode =  s.decode('UTF-8')
    assert(s_unicode == su)
    #s转为gb2312,先转为unicode再转为gb2312
    s.decode('utf-8').encode('gb2312')
    #如果直接执行s.encode('gb2312')会发生什么？
    s.encode('gb2312')
 
# -*- coding=UTF-8 -*-
if __name__ == '__main__':    s = '中国'
    #如果直接执行s.encode('gb2312')会发生什么？
    s.encode('gb2312')

로 변환됩니다.

예외가 발생합니다. 여기:

Python은 자동으로 s를 유니코드로 디코딩한 다음 gb2312로 인코딩합니다. 디코딩은 Python에 의해 자동으로 수행되고 디코딩 방법을 지정하지 않기 때문에 Python은 sys.defaultencoding에 지정된 방법을 사용하여 디코딩합니다. 많은 경우 sys.defaultencoding은 ANSCII이며 s가 이 유형이 아니면 오류가 발생합니다.

위 상황을 예로 들어보겠습니다. 내 sys.defaultencoding은 ancii이고 s의 인코딩 방법은 파일의 인코딩 방법인 utf8과 동일하므로 오류가 발생했습니다: UnicodeDecodeError: 'ascii' codec can' t 위치 0의 바이트 0xe4를 디코딩: 범위(128)에 없는 서수

이 경우 오류를 수정하는 두 가지 방법이 있습니다.

하나는 s의 인코딩 방법을 명확하게 나타내는 것입니다.

#! /usr/bin/env python 
# -*- coding: utf-8 -*- 
s = '中文' 
s.decode('utf-8').encode('gb2312')

다른 하나는 sys를 변경하는 것입니다. .defaultencoding 파일의 인코딩 방법

#! /usr/bin/env python 
# -*- coding: utf-8 -*- 
import sys 
reload(sys) # Python2.5 初始化后会删除 sys.setdefaultencoding 这个方法，我们需要重新载入 
sys.setdefaultencoding('utf-8') 
str = '中文' 
str.encode('gb2312')

파일 인코딩 및 인쇄 기능

test.txt 파일을 생성합니다. 파일 형식은 ANSI, 내용은 다음과 같습니다.abc ChinesePython을 사용하여 읽습니다
#coding=gbk
print open("Test .txt").read()
결과: abc Chinese
파일 형식을 UTF-8로 변경:
결과: abc涓枃
분명히 여기서 디코딩이 필요합니다:

# coding=gbk
import codecs
print open("Test.txt").read().decode("utf-8")

결과: abc Chinese
위의 테스트.txt 에디트플러스를 이용해서 편집했는데, 윈도우에 기본으로 제공되는 메모장을 이용해서 편집하고 UTF-8 형식으로 저장했더니

실행시 오류가 발생했습니다:

Traceback (most recent call last):
  File "ChineseTest.py", line 3, in <module>
    print open("Test.txt").read().decode("utf-8")
UnicodeEncodeError: &#39;gbk&#39; codec can&#39;t encode character u&#39;/ufeff&#39; in position 0: illegal multibyte sequence

메모장과 같은 일부 소프트웨어에서는 파일을 저장할 때 UTF-8로 파일을 인코딩할 때 보이지 않는 세 개의 문자(0xEF 0xBB 0xBF 또는 BOM)가 파일 시작 부분에 삽입되는 것으로 나타났습니다.
따라서 Python의 코덱 모듈은 다음 상수를 정의합니다.

# coding=gbk
import codecs
data = open("Test.txt").read()
if data[:3] == codecs.BOM_UTF8:
 data = data[3:]
print data.decode("utf-8")

결과: abc 중국어

(4) 몇 가지 남은 문제

두 번째 부분에서는 유니코드를 사용합니다. str을 유니코드로 변환하는 함수 및 디코드 방법. 이 두 함수의 매개변수가 "gbk"를 사용하는 이유는 무엇입니까? 첫 번째 반응은 코딩 문에 gbk(#coding=gbk)를 사용한다는 것인데, 정말 그럴까요? 소스 파일 수정:

# coding=utf-8
s = "中文"
print unicode(s, "utf-8")

Run, error:

Traceback (most recent call last):
  File "ChineseTest.py", line 3, in <module>
    s = unicode(s, "utf-8")
UnicodeDecodeError: &#39;utf8&#39; codec can&#39;t decode bytes in position 0-1: invalid data

분명히 gbk가 양쪽에서 사용되기 때문에 이전 파일이 정상이라면 여기서는 utf-8을 양쪽에서 일관되게 유지해야 합니다. 정상이며 오류가 보고되지 않습니다.
추가 예, 여기서 변환에 gbk를 계속 사용하는 경우:

# coding=utf-8
s = "中文"
print unicode(s, "gbk")

결과: 중국어

python의 인쇄 원리:

　Python이 print 문을 실행할 때, 단순히 출력을 운영 체제에 전달합니다(fwrite를 사용하여) ( ) 또는 이와 유사한 것) 및 일부 다른 프로그램은 실제로 해당 출력을 화면에 표시하는 일을 담당합니다. 예를 들어 Windows에서는 결과를 표시하는 것이 Windows 콘솔 하위 시스템일 수 있습니다. 다른 곳에 있는 Unix 상자의 Python은 실제로 Windows SSH 클라이언트가 데이터 표시를 담당합니다. Unix의 xterm에서 Python을 실행하는 경우 xterm과 X 서버가 표시를 처리합니다.

　　To print data reliably, you must know the encoding that this display program expects.

简单地说，python中的print直接把字符串传递给操作系统，所以你需要把str解码成与操作系统一致的格式。Windows使用CP936(几乎与gbk相同)，所以这里可以使用gbk。
最后测试：

# coding=utf-8
s = "中文"
rint unicode(s, "cp936")
# 结果：中文

这也可以解释为何如下输出不一致：

>>> s="哈哈"
>>> s'
\xe5\x93\x88\xe5\x93\x88'
>>> print s  #这里为啥就可以呢? 见上文对print的解释
哈哈>>> import sys
>>> sys.getdefaultencoding() '
ascii'
>>> print s.encode('utf8')  # s在encode之前系统默认按ascii模式把s解码为unicode，然后再encode为utf8
Traceback (most recent call last):
File "<stdin>", line 1, in ?
UnicodeDecodeError: &#39;ascii&#39; codec can&#39;t decode byte 0xe5 in position 0: ordinal not in range(128)
>>> print s.decode(&#39;utf-8&#39;).encode(&#39;utf8&#39;)
哈哈
>>>

编码问题测试

使用 chardet 可以很方便的实现字符串/文件的编码检测

例子如下:

>>>
 import
 urllib>>>
 rawdata = urllib.urlopen('http://www.google.cn/').read()>>>
 import
 chardet
>>>
 chardet.detect(rawdata){'confidence': 0.98999999999999999, 'encoding': 'GB2312'}>>>

chardet 下载地址 http://chardet.feedparser.org/

特别提示：

在工作中，经常遇到，读取一个文件，或者是从网页获取一个问题，明明看着是gb2312的编码，可是当使用decode转时，总是出错，这个时候，可以使用decode('gb18030')这个字符集来解决，如果还是有问题，这个时候，一定要注意，decode还有一个参数，比如，若要将某个String对象s从gbk内码转换为UTF-8，可以如下操作
s.decode('gbk').encode('utf-8′)
可是，在实际开发中，我发现，这种办法经常会出现异常：
UnicodeDecodeError: ‘gbk' codec can't decode bytes in position 30664-30665: illegal multibyte sequence
这 是因为遇到了非法字符——尤其是在某些用C/C++编写的程序中，全角空格往往有多种不同的实现方式，比如/xa3/xa0，或者/xa4/x57，这些 字符，看起来都是全角空格，但它们并不是“合法”的全角空格（真正的全角空格是/xa1/xa1），因此在转码的过程中出现了异常。
这样的问题很让人头疼，因为只要字符串中出现了一个非法字符，整个字符串——有时候，就是整篇文章——就都无法转码。
解决办法：

s.decode('gbk', ‘ignore').encode('utf-8′)

因为decode的函数原型是decode([encoding], [errors='strict'])，可以用第二个参数控制错误处理的策略，默认的参数就是strict，代表遇到非法字符时抛出异常； 
如果设置为ignore，则会忽略非法字符； 
如果设置为replace，则会用?取代非法字符； 
如果设置为xmlcharrefreplace，则使用XML的字符引用。 

python文档 

decode( [encoding[, errors]]) 
Decodes the string using the codec registered for encoding. encoding defaults to the default string encoding. errors may be given to set a different error handling scheme. The default is 'strict', meaning that encoding errors raise UnicodeError. Other possible values are 'ignore', 'replace' and any other name registered via codecs.register_error, see section 4.8.1. 
详细出处参考：http://www.jb51.net/article/16104.htm

参考文献

【1】Python编码转换

【2】全角半角转换的Python实现

【3】Python编码实现

위 내용은 Python의 중국어 인코딩 문제 정보의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!