Python 인코딩 처리에서 str과 Unicode의 차이점과 사용법 분석에 대한 자세한 설명
python을 사용하여 중국어를 처리합니다. 파일을 읽을 때 또는 메시지를 읽을 때, 잘못된 문자(문자열가 있는 경우), 파일을 읽고 쓸 때 print), 대부분의 사람들은 왜곡된 문자가 나타나는 이유에 대해 명시적으로 생각하지 않고 디버깅을 위해 인코딩/디코딩을 호출하는 것입니다. 오늘은 인코딩 문제를 처리하는 방법에 대해 논의하겠습니다.
참고: 다음 논의는 Python2에 대한 것입니다.
Traceback (most recent call last): File "<stdin>", line 1, in <module> UnicodeDecodeError: ‘ascii‘ codec can‘t decode byte 0xe6 in position 0: ordinal not in range(128)
우선
일반적인 개념이 있어야 하며
문자 집합을 이해해야 합니다. 문자 인코딩
ASCII | UTF-8 | 등
문자 인코딩 참고 사항: ASCII, 유니코드 및 UTF-8str 및 유니코드
str과 unicode는 모두 base
string의 하위 클래스이므로 문자열인지 확인하는 방법이 있습니다
def is_str(s): return isinstance(s, basestring) str 및 유니코드 변환
str -> decode('the_coding_of_str') -> encode('the_coding_you_want') -> 🎜>차이
str은 유니코드로 인코딩된 바이트 문자열입니다.
다음 바이트로 구성된 선언 방법
Traceback (most recent call last): File "<stdin>", line 1, in <module> File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/encodings/utf_8.py", line 16, in decode return codecs.utf_8_decode(input, errors, True) UnicodeEncodeError: ‘ascii‘ codec can‘t encode characters in position 0-1: ordinal not in range(128)
길이 찾기(바이트 수 반환)
>>> s = ‘中文‘ s = u‘中文‘.encode(‘utf-8‘) >>> type(‘中文‘) <type ‘str‘>
유니코드는 문자로 구성된 실제 문자열입니다
선언 방법
>>> u‘中文‘.encode(‘utf-8‘) ‘\xe4\xb8\xad\xe6\x96\x87‘ >>> len(u‘中文‘.encode(‘utf-8‘)) 6
로직에서 실제로 사용하려는 길이(문자 수 반환)를 찾습니다.
>>> s = u‘中文‘ >>> s = ‘中文‘.decode(‘utf-8‘) >>> s = unicode(‘中文‘, ‘utf-8‘) >>> type(u‘中文‘) <type ‘unicode‘>
결론
str이 여전히 유니코드인 경우 처리해야 할 사항을 이해하고 올바른 처리 방법(str.decode/unicode.encode)을 사용하십시오.
다음 방법은 다음과 같습니다. 유니코드/str인지 확인하려면
>>> u‘中文‘ u‘\u4e2d\u6587‘ >>> len(u‘中文‘) 2
간단한 원칙: str에 대해 인코딩을 사용하지 마십시오. 유니코드에 대해 디코드를 사용하지 마십시오(실제로 str을 인코딩할 수 있습니다. 자세한 내용은 끝을 참조하세요.) , 권장하지 않음)
>>> isinstance(u‘中文‘, unicode) True >>> isinstance(‘中文‘, unicode) False >>> isinstance(‘中文‘, str) True >>> isinstance(u‘中文‘, str) False
다른 인코딩 변환의 경우 유니코드를 중간 인코딩으로 사용
>>> ‘中文‘.encode(‘utf-8‘) Traceback (most recent call last): File "", line 1, in UnicodeDecodeError: ‘ascii‘ codec can‘t decode byte 0xe4 in position 0: ordinal not in range(128) >>> u‘中文‘.decode(‘utf-8‘) Traceback (most recent call last): File "<stdin>", line 1, in <module> File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/encodings/utf_8.py", line 16, in decode return codecs.utf_8_decode(input, errors, True) UnicodeEncodeError: ‘ascii‘ codec can‘t encode characters in position 0-1: ordinal not in range(128)
, IDE 및 콘솔
처리 flow는 이렇게 사용할 수 있습니다. Python을 풀, 입구 및 출구로 생각하십시오
입구에서는 모두 유니코드로 변환되고, 풀의 모든 것은 출구에서 유니코드를 사용하여 처리되며, 그런 다음 대상 인코딩으로 변환합니다(물론 예외가 있으며 처리 로직에서 특정 인코딩을 사용해야 합니다)
파일 외부 입력 인코딩을 읽고 유니코드로 디코딩하여 처리합니다(내부 인코딩, 통합 유니코드) 인코딩은 필요한 대상 인코딩으로 변환되어 대상 출력(파일 또는 콘솔)에 기록됩니다. 인쇄 시 인코딩이 IDE 자체 인코딩과 일치하지 않기 때문에 IDE와 콘솔에서 오류를 보고합니다
출력시 인코딩을 일관된 인코딩으로 변환하면 정상적으로 출력됩니다
#s是code_A的str s.decode(‘code_A‘).encode(‘code_B‘)
권장사항
인코딩 표준화
특정 링크로 인한 코드 깨짐 방지를 위한 인코딩 통일
환경 코딩, IDE/텍스트
에디터, 파일 코딩, 데이터베이스 데이터 테이블 코딩
코드 소스 파일 코딩 확인
매우 중요합니다
py 파일의 기본 인코딩은 ASCII입니다. 소스 코드 파일에서 ASCII가 아닌 문자를 사용하는 경우 파일 헤더에 인코딩 선언을 해야 합니다. 선언하지 않은 경우 ASCII가 아닌 문자를 입력하면 오류가 발생합니다. , 파일의 첫 번째 또는 두 번째 줄에 배치해야 합니다
>>> print u‘中文‘.encode(‘gbk‘) ???? >>> print u‘中文‘.encode(‘utf-8‘) 中文
선언 방법
File "XXX.py", line 3 SyntaxError: Non-ASCII character ‘\xd6‘ in file c.py on line 3, but no encoding declared; see http://www.python.org/peps/pep-0263.html for details
헤더에 코딩=utf-8이 선언된 경우 a = '중국어' 인코딩은 utf-8
헤더가 코딩=gb2312, a = '중국어'로 선언되면 인코딩은 gbk
이므로 모든 소스 파일 헤더가 동일합니다. 프로젝트의 인코딩은 동일하며, 선언된 인코딩은 소스 파일과 동일해야 합니다. 저장된 인코딩은 일관됩니다(에디터 관련)
는 소스 코드에서 처리하기 위해 하드 코딩된 문자열로 사용되며, 균일하게 유니코드를 사용합니다
将其类型和源文件本身的编码隔离开, 独立无依赖方便流程中各个位置处理
if s == u‘中文‘: #而不是 s == ‘中文‘ pass #注意这里 s到这里时,确保转为unicode
以上几步搞定后,你只需要关注两个 unicode和 你设定的编码(一般使用utf-8)
处理顺序
1. Decode early 2. Unicode everywhere 3. Encode later
相关模块及一些方法
获得和设置系统默认编码
>>> import sys >>> sys.getdefaultencoding() ‘ascii‘ >>> reload(sys) <module ‘sys‘ (built-in)> >>> sys.setdefaultencoding(‘utf-8‘) >>> sys.getdefaultencoding() ‘utf-8‘ >>> str.encode(‘other_coding‘)
在python中,直接将某种编码的str进行encode成另一种编码str
#str_A为utf-8 str_A.encode(‘gbk‘) 执行的操作是 str_A.decode(‘sys_codec‘).encode(‘gbk‘) 这里sys_codec即为上一步 sys.getdefaultencoding() 的编码
‘获得和设置系统默认编码‘和这里的str.encode是相关的,但我一般很少这么用,主要是觉得复杂不可控,还是输入明确decode,输出明确encode来得简单些
chardet
文件编码检测,下载
>>> import chardet >>> f = open(‘test.txt‘,‘r‘) >>> result = chardet.detect(f.read()) >>> result {‘confidence‘: 0.99, ‘encoding‘: ‘utf-8‘}
\u字符串转对应unicode字符串
>>> u‘中‘ u‘\u4e2d‘ >>> s = ‘\u4e2d‘ >>> print s.decode(‘unicode_escape‘) 中 >>> a = ‘\\u4fee\\u6539\\u8282\\u70b9\\u72b6\\u6001\\u6210\\u529f‘ >>> a.decode(‘unicode_escape‘) u‘\u4fee\u6539\u8282\u70b9\u72b6\u6001\u6210\u529f‘
위 내용은 Python 인코딩 처리에서 str과 Unicode의 차이점과 사용법 분석에 대한 자세한 설명의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

Video Face Swap
완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!

인기 기사

뜨거운 도구

메모장++7.3.1
사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경

드림위버 CS6
시각적 웹 개발 도구

SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)

뜨거운 주제











Linux 터미널에서 Python 버전을 보려고 할 때 Linux 터미널에서 Python 버전을 볼 때 권한 문제에 대한 솔루션 ... Python을 입력하십시오 ...

10 시간 이내에 컴퓨터 초보자 프로그래밍 기본 사항을 가르치는 방법은 무엇입니까? 컴퓨터 초보자에게 프로그래밍 지식을 가르치는 데 10 시간 밖에 걸리지 않는다면 무엇을 가르치기로 선택 하시겠습니까?

Fiddlerevery Where를 사용할 때 Man-in-the-Middle Reading에 Fiddlereverywhere를 사용할 때 감지되는 방법 ...

Python의 Pandas 라이브러리를 사용할 때는 구조가 다른 두 데이터 프레임 사이에서 전체 열을 복사하는 방법이 일반적인 문제입니다. 두 개의 dats가 있다고 가정 해

Uvicorn은 HTTP 요청을 어떻게 지속적으로 듣습니까? Uvicorn은 ASGI를 기반으로 한 가벼운 웹 서버입니다. 핵심 기능 중 하나는 HTTP 요청을 듣고 진행하는 것입니다 ...

Investing.com의 크롤링 전략 이해 많은 사람들이 종종 Investing.com (https://cn.investing.com/news/latest-news)에서 뉴스 데이터를 크롤링하려고합니다.

파이썬에서 문자열을 통해 객체를 동적으로 생성하고 메소드를 호출하는 방법은 무엇입니까? 특히 구성 또는 실행 해야하는 경우 일반적인 프로그래밍 요구 사항입니다.
