Python 인코딩 처리에서 str과 Unicode의 차이점과 사용법 분석에 대한 자세한 설명
python을 사용하여 중국어를 처리합니다. 파일을 읽을 때 또는 메시지를 읽을 때, 잘못된 문자(문자열가 있는 경우), 파일을 읽고 쓸 때 print), 대부분의 사람들은 왜곡된 문자가 나타나는 이유에 대해 명시적으로 생각하지 않고 디버깅을 위해 인코딩/디코딩을 호출하는 것입니다. 오늘은 인코딩 문제를 처리하는 방법에 대해 논의하겠습니다.
참고: 다음 논의는 Python2에 대한 것입니다.
Traceback (most recent call last): File "<stdin>", line 1, in <module> UnicodeDecodeError: ‘ascii‘ codec can‘t decode byte 0xe6 in position 0: ordinal not in range(128)
우선
일반적인 개념이 있어야 하며
문자 집합을 이해해야 합니다. 문자 인코딩
ASCII | UTF-8 | 등
문자 인코딩 참고 사항: ASCII, 유니코드 및 UTF-8str 및 유니코드
str과 unicode는 모두 base
string의 하위 클래스이므로 문자열인지 확인하는 방법이 있습니다
def is_str(s): return isinstance(s, basestring) str 및 유니코드 변환
str -> decode('the_coding_of_str') -> encode('the_coding_you_want') -> 🎜>차이
str은 유니코드로 인코딩된 바이트 문자열입니다.
다음 바이트로 구성된 선언 방법
Traceback (most recent call last): File "<stdin>", line 1, in <module> File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/encodings/utf_8.py", line 16, in decode return codecs.utf_8_decode(input, errors, True) UnicodeEncodeError: ‘ascii‘ codec can‘t encode characters in position 0-1: ordinal not in range(128)
길이 찾기(바이트 수 반환)
>>> s = ‘中文‘ s = u‘中文‘.encode(‘utf-8‘) >>> type(‘中文‘) <type ‘str‘>
유니코드는 문자로 구성된 실제 문자열입니다
선언 방법
>>> u‘中文‘.encode(‘utf-8‘) ‘\xe4\xb8\xad\xe6\x96\x87‘ >>> len(u‘中文‘.encode(‘utf-8‘)) 6
로직에서 실제로 사용하려는 길이(문자 수 반환)를 찾습니다.
>>> s = u‘中文‘ >>> s = ‘中文‘.decode(‘utf-8‘) >>> s = unicode(‘中文‘, ‘utf-8‘) >>> type(u‘中文‘) <type ‘unicode‘>
결론
str이 여전히 유니코드인 경우 처리해야 할 사항을 이해하고 올바른 처리 방법(str.decode/unicode.encode)을 사용하십시오.
다음 방법은 다음과 같습니다. 유니코드/str인지 확인하려면
>>> u‘中文‘ u‘\u4e2d\u6587‘ >>> len(u‘中文‘) 2
간단한 원칙: str에 대해 인코딩을 사용하지 마십시오. 유니코드에 대해 디코드를 사용하지 마십시오(실제로 str을 인코딩할 수 있습니다. 자세한 내용은 끝을 참조하세요.) , 권장하지 않음)
>>> isinstance(u‘中文‘, unicode) True >>> isinstance(‘中文‘, unicode) False >>> isinstance(‘中文‘, str) True >>> isinstance(u‘中文‘, str) False
다른 인코딩 변환의 경우 유니코드를 중간 인코딩으로 사용
>>> ‘中文‘.encode(‘utf-8‘) Traceback (most recent call last): File "", line 1, in UnicodeDecodeError: ‘ascii‘ codec can‘t decode byte 0xe4 in position 0: ordinal not in range(128) >>> u‘中文‘.decode(‘utf-8‘) Traceback (most recent call last): File "<stdin>", line 1, in <module> File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/encodings/utf_8.py", line 16, in decode return codecs.utf_8_decode(input, errors, True) UnicodeEncodeError: ‘ascii‘ codec can‘t encode characters in position 0-1: ordinal not in range(128)
, IDE 및 콘솔
처리 flow는 이렇게 사용할 수 있습니다. Python을 풀, 입구 및 출구로 생각하십시오
입구에서는 모두 유니코드로 변환되고, 풀의 모든 것은 출구에서 유니코드를 사용하여 처리되며, 그런 다음 대상 인코딩으로 변환합니다(물론 예외가 있으며 처리 로직에서 특정 인코딩을 사용해야 합니다)
파일 외부 입력 인코딩을 읽고 유니코드로 디코딩하여 처리합니다(내부 인코딩, 통합 유니코드) 인코딩은 필요한 대상 인코딩으로 변환되어 대상 출력(파일 또는 콘솔)에 기록됩니다. 인쇄 시 인코딩이 IDE 자체 인코딩과 일치하지 않기 때문에 IDE와 콘솔에서 오류를 보고합니다
출력시 인코딩을 일관된 인코딩으로 변환하면 정상적으로 출력됩니다
#s是code_A的str s.decode(‘code_A‘).encode(‘code_B‘)
권장사항
인코딩 표준화
특정 링크로 인한 코드 깨짐 방지를 위한 인코딩 통일
환경 코딩, IDE/텍스트
에디터, 파일 코딩, 데이터베이스 데이터 테이블 코딩
코드 소스 파일 코딩 확인
매우 중요합니다
py 파일의 기본 인코딩은 ASCII입니다. 소스 코드 파일에서 ASCII가 아닌 문자를 사용하는 경우 파일 헤더에 인코딩 선언을 해야 합니다. 선언하지 않은 경우 ASCII가 아닌 문자를 입력하면 오류가 발생합니다. , 파일의 첫 번째 또는 두 번째 줄에 배치해야 합니다
>>> print u‘中文‘.encode(‘gbk‘) ???? >>> print u‘中文‘.encode(‘utf-8‘) 中文
선언 방법
File "XXX.py", line 3 SyntaxError: Non-ASCII character ‘\xd6‘ in file c.py on line 3, but no encoding declared; see http://www.python.org/peps/pep-0263.html for details
헤더에 코딩=utf-8이 선언된 경우 a = '중국어' 인코딩은 utf-8
헤더가 코딩=gb2312, a = '중국어'로 선언되면 인코딩은 gbk
이므로 모든 소스 파일 헤더가 동일합니다. 프로젝트의 인코딩은 동일하며, 선언된 인코딩은 소스 파일과 동일해야 합니다. 저장된 인코딩은 일관됩니다(에디터 관련)
는 소스 코드에서 처리하기 위해 하드 코딩된 문자열로 사용되며, 균일하게 유니코드를 사용합니다
将其类型和源文件本身的编码隔离开, 独立无依赖方便流程中各个位置处理
if s == u‘中文‘: #而不是 s == ‘中文‘ pass #注意这里 s到这里时,确保转为unicode
以上几步搞定后,你只需要关注两个 unicode和 你设定的编码(一般使用utf-8)
处理顺序
1. Decode early 2. Unicode everywhere 3. Encode later
相关模块及一些方法
获得和设置系统默认编码
>>> import sys >>> sys.getdefaultencoding() ‘ascii‘ >>> reload(sys) <module ‘sys‘ (built-in)> >>> sys.setdefaultencoding(‘utf-8‘) >>> sys.getdefaultencoding() ‘utf-8‘ >>> str.encode(‘other_coding‘)
在python中,直接将某种编码的str进行encode成另一种编码str
#str_A为utf-8 str_A.encode(‘gbk‘) 执行的操作是 str_A.decode(‘sys_codec‘).encode(‘gbk‘) 这里sys_codec即为上一步 sys.getdefaultencoding() 的编码
‘获得和设置系统默认编码‘和这里的str.encode是相关的,但我一般很少这么用,主要是觉得复杂不可控,还是输入明确decode,输出明确encode来得简单些
chardet
文件编码检测,下载
>>> import chardet >>> f = open(‘test.txt‘,‘r‘) >>> result = chardet.detect(f.read()) >>> result {‘confidence‘: 0.99, ‘encoding‘: ‘utf-8‘}
\u字符串转对应unicode字符串
>>> u‘中‘ u‘\u4e2d‘ >>> s = ‘\u4e2d‘ >>> print s.decode(‘unicode_escape‘) 中 >>> a = ‘\\u4fee\\u6539\\u8282\\u70b9\\u72b6\\u6001\\u6210\\u529f‘ >>> a.decode(‘unicode_escape‘) u‘\u4fee\u6539\u8282\u70b9\u72b6\u6001\u6210\u529f‘
위 내용은 Python 인코딩 처리에서 str과 Unicode의 차이점과 사용법 분석에 대한 자세한 설명의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

AI Hentai Generator
AI Hentai를 무료로 생성하십시오.

인기 기사

뜨거운 도구

메모장++7.3.1
사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경

드림위버 CS6
시각적 웹 개발 도구

SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)

뜨거운 주제











이 튜토리얼은 Python을 사용하여 Zipf의 법칙의 통계 개념을 처리하는 방법을 보여주고 법을 처리 할 때 Python의 읽기 및 대형 텍스트 파일을 정렬하는 효율성을 보여줍니다. ZIPF 분포라는 용어가 무엇을 의미하는지 궁금 할 것입니다. 이 용어를 이해하려면 먼저 Zipf의 법칙을 정의해야합니다. 걱정하지 마세요. 지침을 단순화하려고 노력할 것입니다. Zipf의 법칙 Zipf의 법칙은 단순히 : 큰 자연어 코퍼스에서 가장 자주 발생하는 단어는 두 번째 빈번한 단어, 세 번째 빈번한 단어보다 세 번, 네 번째 빈번한 단어 등 4 배나 자주 발생합니다. 예를 살펴 보겠습니다. 미국 영어로 브라운 코퍼스를 보면 가장 빈번한 단어는 "TH입니다.

이 기사에서는 HTML을 구문 분석하기 위해 파이썬 라이브러리 인 아름다운 수프를 사용하는 방법을 설명합니다. 데이터 추출, 다양한 HTML 구조 및 오류 처리 및 대안 (SEL과 같은 Find (), find_all (), select () 및 get_text ()와 같은 일반적인 방법을 자세히 설명합니다.

시끄러운 이미지를 다루는 것은 특히 휴대폰 또는 저해상도 카메라 사진에서 일반적인 문제입니다. 이 튜토리얼은 OpenCV를 사용 하여이 문제를 해결하기 위해 Python의 이미지 필터링 기술을 탐구합니다. 이미지 필터링 : 강력한 도구 이미지 필터

이 기사는 딥 러닝을 위해 텐서 플로와 Pytorch를 비교합니다. 데이터 준비, 모델 구축, 교육, 평가 및 배포와 관련된 단계에 대해 자세히 설명합니다. 프레임 워크, 특히 계산 포도와 관련하여 주요 차이점

데이터 과학 및 처리가 가장 좋아하는 Python은 고성능 컴퓨팅을위한 풍부한 생태계를 제공합니다. 그러나 Python의 병렬 프로그래밍은 독특한 과제를 제시합니다. 이 튜토리얼은 이러한 과제를 탐구하며 전 세계 해석에 중점을 둡니다.

이 튜토리얼은 Python 3에서 사용자 정의 파이프 라인 데이터 구조를 작성하여 클래스 및 작업자 과부하를 활용하여 향상된 기능을 보여줍니다. 파이프 라인의 유연성은 일련의 기능을 데이터 세트, GE에 적용하는 능력에 있습니다.

파이썬 객체의 직렬화 및 사막화는 사소한 프로그램의 주요 측면입니다. 무언가를 Python 파일에 저장하면 구성 파일을 읽거나 HTTP 요청에 응답하는 경우 객체 직렬화 및 사태화를 수행합니다. 어떤 의미에서, 직렬화와 사제화는 세계에서 가장 지루한 것들입니다. 이 모든 형식과 프로토콜에 대해 누가 걱정합니까? 일부 파이썬 객체를 지속하거나 스트리밍하여 나중에 완전히 검색하려고합니다. 이것은 세상을 개념적 차원에서 볼 수있는 좋은 방법입니다. 그러나 실제 수준에서 선택한 직렬화 체계, 형식 또는 프로토콜은 속도, 보안, 유지 보수 상태 및 프로그램의 기타 측면을 결정할 수 있습니다.

Python의 통계 모듈은 강력한 데이터 통계 분석 기능을 제공하여 생물 통계 및 비즈니스 분석과 같은 데이터의 전반적인 특성을 빠르게 이해할 수 있도록 도와줍니다. 데이터 포인트를 하나씩 보는 대신 평균 또는 분산과 같은 통계를보고 무시할 수있는 원래 데이터에서 트렌드와 기능을 발견하고 대형 데이터 세트를보다 쉽고 효과적으로 비교하십시오. 이 튜토리얼은 평균을 계산하고 데이터 세트의 분산 정도를 측정하는 방법을 설명합니다. 달리 명시되지 않는 한,이 모듈의 모든 함수는 단순히 평균을 합산하는 대신 평균 () 함수의 계산을 지원합니다. 부동 소수점 번호도 사용할 수 있습니다. 무작위로 가져옵니다 수입 통계 Fracti에서
