목차
의 하위 클래스이므로 문자열인지 확인하는 방법이 있습니다
다른 인코딩 변환의 경우 유니코드를 중간 인코딩으로 사용
, 파일 코딩, 데이터베이스 데이터 테이블 코딩
백엔드 개발 파이썬 튜토리얼 Python 인코딩 처리에서 str과 Unicode의 차이점과 사용법 분석에 대한 자세한 설명

Python 인코딩 처리에서 str과 Unicode의 차이점과 사용법 분석에 대한 자세한 설명

Mar 16, 2017 pm 04:23 PM

python을 사용하여 중국어를 처리합니다. 파일을 읽을 때 또는 메시지를 읽을 때, 잘못된 문자(문자열가 있는 경우), 파일을 읽고 쓸 때 print), 대부분의 사람들은 왜곡된 문자가 나타나는 이유에 대해 명시적으로 생각하지 않고 디버깅을 위해 인코딩/디코딩을 호출하는 것입니다. 오늘은 인코딩 문제를 처리하는 방법에 대해 논의하겠습니다.

참고: 다음 논의는 Python2에 대한 것입니다.

Traceback (most recent call last): File "<stdin>", line 1, in <module> UnicodeDecodeError: ‘ascii‘ codec can‘t decode byte 0xe6 in position 0: ordinal not in range(128)
로그인 후 복사

우선

일반적인 개념이 있어야 하며

문자 집합

을 이해해야 합니다. 문자 인코딩

ASCII | UTF-8 | 등

문자 인코딩 참고 사항: ASCII, 유니코드 및 UTF-8str 및 유니코드

str과 unicode는 모두 base

string

의 하위 클래스이므로 문자열인지 확인하는 방법이 있습니다

def is_str(s): return isinstance(s, basestring) str 및 유니코드 변환

str -> decode('the_coding_of_str') -> encode('the_coding_you_want') -> 🎜>차이

str은 유니코드로 인코딩된 바이트 문자열입니다.

다음 바이트로 구성된 선언 방법

Traceback (most recent call last): File "<stdin>", line 1, in <module> File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/encodings/utf_8.py", line 16, in decode     return codecs.utf_8_decode(input, errors, True) UnicodeEncodeError: ‘ascii‘ codec can‘t encode characters in position 0-1: ordinal not in range(128)
로그인 후 복사

길이 찾기(바이트 수 반환)

>>> s = ‘中文‘ s = u‘中文‘.encode(‘utf-8‘)  
>>> type(‘中文‘) <type ‘str‘>
로그인 후 복사

유니코드는 문자로 구성된 실제 문자열입니다

선언 방법

>>> u‘中文‘.encode(‘utf-8‘) ‘\xe4\xb8\xad\xe6\x96\x87‘ 
>>> len(u‘中文‘.encode(‘utf-8‘)) 
6
로그인 후 복사

로직에서 실제로 사용하려는 길이(문자 수 반환)를 찾습니다.

>>> s = u‘中文‘ 
>>> s = ‘中文‘.decode(‘utf-8‘) 
>>> s = unicode(‘中文‘, ‘utf-8‘)  
>>> type(u‘中文‘) <type ‘unicode‘>
로그인 후 복사

결론

str이 여전히 유니코드인 경우 처리해야 할 사항을 이해하고 올바른 처리 방법(str.decode/unicode.encode)을 사용하십시오.

다음 방법은 다음과 같습니다. 유니코드/str인지 확인하려면

>>> u‘中文‘ u‘\u4e2d\u6587‘ 
>>> len(u‘中文‘) 
2
로그인 후 복사

간단한 원칙: str에 대해 인코딩을 사용하지 마십시오. 유니코드에 대해 디코드를 사용하지 마십시오(실제로 str을 인코딩할 수 있습니다. 자세한 내용은 끝을 참조하세요.) , 권장하지 않음)

>>> isinstance(u‘中文‘, unicode) True 
>>> isinstance(‘中文‘, unicode) False  
>>> isinstance(‘中文‘, str) True 
>>> isinstance(u‘中文‘, str) False
로그인 후 복사

다른 인코딩 변환의 경우 유니코드를 중간 인코딩으로 사용

>>> ‘中文‘.encode(‘utf-8‘) 
Traceback (most recent call last): File "", line 1, in  UnicodeDecodeError: ‘ascii‘ codec can‘t decode byte 0xe4 in position 0: ordinal not in range(128)  
>>> u‘中文‘.decode(‘utf-8‘) 
Traceback (most recent call last): File "<stdin>", line 1, in <module> File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/encodings/utf_8.py", line 16, in decode     return codecs.utf_8_decode(input, errors, True) UnicodeEncodeError: ‘ascii‘ codec can‘t encode characters in position 0-1: ordinal not in range(128)
로그인 후 복사

파일 처리

, IDE 및 콘솔

처리 flow는 이렇게 사용할 수 있습니다. Python을 풀, 입구 및 출구로 생각하십시오

입구에서는 모두 유니코드로 변환되고, 풀의 모든 것은 출구에서 유니코드를 사용하여 처리되며, 그런 다음 대상 인코딩으로 변환합니다(물론 예외가 있으며 처리 로직에서 특정 인코딩을 사용해야 합니다)

파일 외부 입력 인코딩을 읽고 유니코드로 디코딩하여 처리합니다(내부 인코딩, 통합 유니코드) 인코딩은 필요한 대상 인코딩으로 변환되어 대상 출력(파일 또는 콘솔)에 기록됩니다. 인쇄 시 인코딩이 IDE 자체 인코딩과 일치하지 않기 때문에 IDE와 콘솔에서 오류를 보고합니다

출력시 인코딩을 일관된 인코딩으로 변환하면 정상적으로 출력됩니다

#s是code_A的str s.decode(‘code_A‘).encode(‘code_B‘)
로그인 후 복사

권장사항

인코딩 표준화

특정 링크로 인한 코드 깨짐 방지를 위한 인코딩 통일

환경 코딩, IDE/텍스트

에디터

, 파일 코딩, 데이터베이스 데이터 테이블 코딩

코드 소스 파일 코딩 확인

매우 중요합니다

py 파일의 기본 인코딩은 ASCII입니다. 소스 코드 파일에서 ASCII가 아닌 문자를 사용하는 경우 파일 헤더에 인코딩 선언을 해야 합니다. 선언하지 않은 경우 ASCII가 아닌 문자를 입력하면 오류가 발생합니다. , 파일의 첫 번째 또는 두 번째 줄에 배치해야 합니다

>>> print u‘中文‘.encode(‘gbk‘) ???? 
>>> print u‘中文‘.encode(‘utf-8‘) 中文
로그인 후 복사

선언 방법

File "XXX.py", line 3 SyntaxError: Non-ASCII character ‘\xd6‘ in file c.py on line 3, but no encoding declared; see http://www.python.org/peps/pep-0263.html for details
로그인 후 복사

헤더에 코딩=utf-8이 선언된 경우 a = '중국어' 인코딩은 utf-8

헤더가 코딩=gb2312, a = '중국어'로 선언되면 인코딩은 gbk

이므로 모든 소스 파일 헤더가 동일합니다. 프로젝트의 인코딩은 동일하며, 선언된 인코딩은 소스 파일과 동일해야 합니다. 저장된 인코딩은 일관됩니다(에디터 관련)

는 소스 코드에서 처리하기 위해 하드 코딩된 문자열로 사용되며, 균일하게 유니코드를 사용합니다

将其类型和源文件本身的编码隔离开, 独立无依赖方便流程中各个位置处理

if s == u‘中文‘:  #而不是 s == ‘中文‘     pass #注意这里 s到这里时,确保转为unicode
로그인 후 복사

以上几步搞定后,你只需要关注两个 unicode和 你设定的编码(一般使用utf-8)

处理顺序

1. Decode early 2. Unicode everywhere 3. Encode later 

相关模块及一些方法

获得和设置系统默认编码

>>> import sys 
>>> sys.getdefaultencoding() ‘ascii‘  
>>> reload(sys) <module ‘sys‘ (built-in)> 
>>> sys.setdefaultencoding(‘utf-8‘) 
>>> sys.getdefaultencoding() ‘utf-8‘ 
>>> str.encode(‘other_coding‘)
로그인 후 복사

在python中,直接将某种编码的str进行encode成另一种编码str

#str_A为utf-8 str_A.encode(‘gbk‘)  执行的操作是 str_A.decode(‘sys_codec‘).encode(‘gbk‘) 这里sys_codec即为上一步 sys.getdefaultencoding() 的编码 

‘获得和设置系统默认编码‘和这里的str.encode是相关的,但我一般很少这么用,主要是觉得复杂不可控,还是输入明确decode,输出明确encode来得简单些

chardet

文件编码检测,下载

>>> import chardet 
>>> f = open(‘test.txt‘,‘r‘) 
>>> result = chardet.detect(f.read()) 
>>> result {‘confidence‘: 0.99, ‘encoding‘: ‘utf-8‘}
로그인 후 복사

\u字符串转对应unicode字符串

>>> u‘中‘ u‘\u4e2d‘  
>>> s = ‘\u4e2d‘ 
>>> print s.decode(‘unicode_escape‘) 中  
>>> a = ‘\\u4fee\\u6539\\u8282\\u70b9\\u72b6\\u6001\\u6210\\u529f‘ 
>>> a.decode(‘unicode_escape‘) u‘\u4fee\u6539\u8282\u70b9\u72b6\u6001\u6210\u529f‘
로그인 후 복사

위 내용은 Python 인코딩 처리에서 str과 Unicode의 차이점과 사용법 분석에 대한 자세한 설명의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

뜨거운 도구

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

Python을 사용하여 텍스트 파일의 ZIPF 배포를 찾는 방법 Python을 사용하여 텍스트 파일의 ZIPF 배포를 찾는 방법 Mar 05, 2025 am 09:58 AM

이 튜토리얼은 Python을 사용하여 Zipf의 법칙의 통계 개념을 처리하는 방법을 보여주고 법을 처리 할 때 Python의 읽기 및 대형 텍스트 파일을 정렬하는 효율성을 보여줍니다. ZIPF 분포라는 용어가 무엇을 의미하는지 궁금 할 것입니다. 이 용어를 이해하려면 먼저 Zipf의 법칙을 정의해야합니다. 걱정하지 마세요. 지침을 단순화하려고 노력할 것입니다. Zipf의 법칙 Zipf의 법칙은 단순히 : 큰 자연어 코퍼스에서 가장 자주 발생하는 단어는 두 번째 빈번한 단어, 세 번째 빈번한 단어보다 세 번, 네 번째 빈번한 단어 등 4 배나 자주 발생합니다. 예를 살펴 보겠습니다. 미국 영어로 브라운 코퍼스를 보면 가장 빈번한 단어는 "TH입니다.

HTML을 구문 분석하기 위해 아름다운 수프를 어떻게 사용합니까? HTML을 구문 분석하기 위해 아름다운 수프를 어떻게 사용합니까? Mar 10, 2025 pm 06:54 PM

이 기사에서는 HTML을 구문 분석하기 위해 파이썬 라이브러리 인 아름다운 수프를 사용하는 방법을 설명합니다. 데이터 추출, 다양한 HTML 구조 및 오류 처리 및 대안 (SEL과 같은 Find (), find_all (), select () 및 get_text ()와 같은 일반적인 방법을 자세히 설명합니다.

파이썬의 이미지 필터링 파이썬의 이미지 필터링 Mar 03, 2025 am 09:44 AM

시끄러운 이미지를 다루는 것은 특히 휴대폰 또는 저해상도 카메라 사진에서 일반적인 문제입니다. 이 튜토리얼은 OpenCV를 사용 하여이 문제를 해결하기 위해 Python의 이미지 필터링 기술을 탐구합니다. 이미지 필터링 : 강력한 도구 이미지 필터

Tensorflow 또는 Pytorch로 딥 러닝을 수행하는 방법은 무엇입니까? Tensorflow 또는 Pytorch로 딥 러닝을 수행하는 방법은 무엇입니까? Mar 10, 2025 pm 06:52 PM

이 기사는 딥 러닝을 위해 텐서 플로와 Pytorch를 비교합니다. 데이터 준비, 모델 구축, 교육, 평가 및 배포와 관련된 단계에 대해 자세히 설명합니다. 프레임 워크, 특히 계산 포도와 관련하여 주요 차이점

파이썬의 병렬 및 동시 프로그래밍 소개 파이썬의 병렬 및 동시 프로그래밍 소개 Mar 03, 2025 am 10:32 AM

데이터 과학 및 처리가 가장 좋아하는 Python은 고성능 컴퓨팅을위한 풍부한 생태계를 제공합니다. 그러나 Python의 병렬 프로그래밍은 독특한 과제를 제시합니다. 이 튜토리얼은 이러한 과제를 탐구하며 전 세계 해석에 중점을 둡니다.

파이썬에서 자신의 데이터 구조를 구현하는 방법 파이썬에서 자신의 데이터 구조를 구현하는 방법 Mar 03, 2025 am 09:28 AM

이 튜토리얼은 Python 3에서 사용자 정의 파이프 라인 데이터 구조를 작성하여 클래스 및 작업자 과부하를 활용하여 향상된 기능을 보여줍니다. 파이프 라인의 유연성은 일련의 기능을 데이터 세트, GE에 적용하는 능력에 있습니다.

파이썬 객체의 직렬화 및 사제화 : 1 부 파이썬 객체의 직렬화 및 사제화 : 1 부 Mar 08, 2025 am 09:39 AM

파이썬 객체의 직렬화 및 사막화는 사소한 프로그램의 주요 측면입니다. 무언가를 Python 파일에 저장하면 구성 파일을 읽거나 HTTP 요청에 응답하는 경우 객체 직렬화 및 사태화를 수행합니다. 어떤 의미에서, 직렬화와 사제화는 세계에서 가장 지루한 것들입니다. 이 모든 형식과 프로토콜에 대해 누가 걱정합니까? 일부 파이썬 객체를 지속하거나 스트리밍하여 나중에 완전히 검색하려고합니다. 이것은 세상을 개념적 차원에서 볼 수있는 좋은 방법입니다. 그러나 실제 수준에서 선택한 직렬화 체계, 형식 또는 프로토콜은 속도, 보안, 유지 보수 상태 및 프로그램의 기타 측면을 결정할 수 있습니다.

파이썬의 수학 모듈 : 통계 파이썬의 수학 모듈 : 통계 Mar 09, 2025 am 11:40 AM

Python의 통계 모듈은 강력한 데이터 통계 분석 기능을 제공하여 생물 통계 및 비즈니스 분석과 같은 데이터의 전반적인 특성을 빠르게 이해할 수 있도록 도와줍니다. 데이터 포인트를 하나씩 보는 대신 평균 또는 분산과 같은 통계를보고 무시할 수있는 원래 데이터에서 트렌드와 기능을 발견하고 대형 데이터 세트를보다 쉽고 효과적으로 비교하십시오. 이 튜토리얼은 평균을 계산하고 데이터 세트의 분산 정도를 측정하는 방법을 설명합니다. 달리 명시되지 않는 한,이 모듈의 모든 함수는 단순히 평균을 합산하는 대신 평균 () 함수의 계산을 지원합니다. 부동 소수점 번호도 사용할 수 있습니다. 무작위로 가져옵니다 수입 통계 Fracti에서

See all articles