Python 기본 - 문자 인코딩 학습

머리말

　문자 인코딩은 잘못되기 매우 쉽습니다. 몇 가지 단어를 염두에 두어야 합니다:

　1. 저장하는 데 어떤 인코딩을 사용하고, 열려면 어떤 인코딩을 사용해야 합니까?

　2. 프로그램은 먼저 파일을 메모리로 읽어들이는 것입니다

　 3. 유니코드는 상위 인코딩이며 다른 인코딩 형식으로만 인코딩 및 디코딩될 수 있습니다

　 UTF-8, GBK는 하위 8 인코딩이며 유니코드로만 디코딩될 수 있습니다

1. 문자 인코딩이란

우리는 컴퓨터가 바이너리만 인식할 수 있다는 것을 알고 있으며, 우리가 일반적으로 작성하는 코드는 컴퓨터에서 인식되려면 바이너리로 변환되어야 합니다. 그렇다면 우리가 쓰는 문자를 바이너리로 어떻게 변환합니까? 이 프로세스는 실제로 우리가 쓰는 문자를 특정 숫자에 일대일로 대응시키는 표준을 사용합니다. 이 표준을 문자 인코딩이라고 합니다.

　 문자 ------ (문자 인코딩) -------> 숫자

2. 문자 인코딩의 개발 역사

1. ASCII 코드

컴퓨터는 미국에서 시작되었습니다. 미국, 캐릭터 코딩 역시 미국에서 유래됐다. 그러나 미국인이 사용하는 문자에는 26개의 문자와 일부 특수 기호만 있습니다. 중국과 달리 초등학생들은 수천 개의 한자를 알아야 한다. 따라서 미국 사람들은 문자 인코딩으로 ASCII 코드(American Standard Code for Information Interchange)를 사용합니다. 1Bytes=8bit는 2의 8승이 가능하며, 이는 256개의 서로 다른 변경 사항입니다. 비트, 즉 127자를 사용했는데 이는 미국 국민에게는 충분합니다(물론 비용상의 이유로). 나중에 라틴어가 8위로 편성되어 이제 아스키 코드가 꽉 차서 영어권 국가들과 라틴 국가들이 즐겁게 놀 수 있게 되었습니다.

　2.GBK

현재 중국의 기술은 미제국만큼 좋지는 않지만 긍정적인 마음을 가지고 있습니다. 그래서 1980년 국가표준국에서 중국어에 사용되는 문자 인코딩을 발행했습니다. ->GBK는 한자를 나타내기 위해 2바이트를 사용하므로 2의 16승, 즉 65536개의 조합이 있어 한자에는 충분합니다.

동시에 다른 나라에서도 일본의 Shift_JIS, 한국의 Euc-kr 등 자체 국가 문자 인코딩 표준을 발표했습니다.

　 3. 유니코드

있다고 합니다. 수많은 문자 인코딩 전성기였습니다. 수백 개가 있고 서로를 지원하지 않습니다. 모든 국가의 사람들이 매우 강인한 것 같지만 이것이 세계의 상호 운용성에 도움이 되지 않기 때문에 유니코드가 탄생했습니다. . 1994년 국제표준화기구(International Organization for Standardization)는 2바이트를 사용하여 문자를 표현하고 65,536개의 조합을 갖는 유니버설 코드(Universal Code)로 알려진 유니코드를 출시했는데, 이는 이미 전 세계 대부분의 언어를 포괄할 수 있습니다.

　4.utf-8

원래 1바이트로 표현할 수 있었던 영어가 이제는 2바이트를 사용해야 하므로 저장공간이 두 배로 늘어나는 문제가 있습니다. 완벽해서 영어 문자에는 1바이트, 중국어에는 3바이트만 사용하는 UTF-8이 만들어졌습니다.

5. 유니코드의 모든 문자는 2바이트로 간단하고 조잡합니다. 문자를 숫자로 빠르게 변환하지만 저장 공간을 많이 차지합니다.

utf-8은 다양한 길이를 사용하여 다양한 문자를 나타냅니다. 돈 공간을 절약하지만 디스크 I/O 또는 네트워크 I/O 지연이 UTF-8의 변환 효율보다 훨씬 크기 때문에 돈 공간을 절약하지만 변환 효율은 유니 코드 CCOTZ CCOINT 的 GERS 8만큼 빠르지 않습니다. 네트워크 전송 시 대역폭을 최대한 절약해야 합니다

3. Python 인터프리터 실행 첫 번째 단계: python 인터프리터가 시작되면 텍스트 편집기를 시작하는 것과 같습니다

두 번째 단계: Python 인터프리터가 작동합니다. t.py 파일을 열고 t.py 파일의 내용을 하드 디스크에서 메모리로 읽는 텍스트 편집기로 사용합니다. 세 번째 단계: Python 인터프리터는 방금 메모리에 로드된 t.py의 코드를 해석하고 실행합니다. 두 번째 단계에서는 t.py 파일이 저장될 때 문자 인코딩을 갖습니다. Python 인터프리터가 파일을 열 때에도 동일한 인코딩 방법을 지정해야 합니다(Python2의 기본 인코딩 방법은 ASCII이며 기본 인코딩 방법은 다음과 같습니다). Python3의 인코딩 형식은 utf-8입니다.) 저장된 파일의 인코딩 형식이 Python 인터프리터의 기본 인코딩 방법과 다른 경우 Python 인터프리터가 사용하지 않도록 파일 시작 부분에 #을 써야 합니다. 기본 인코딩 방법을 사용하여 파일을 읽지만 헤더 파일에 지정된 방법을 사용하여 파일을 읽으면 오류가 발생하지 않습니다. 　

　세 번째 단계: 메모리에 로드된 코드(기본적으로 유니코드)를 읽은 후 실행합니다. 실행 중에 변수 정의와 같은 작업이 발생하면 메모리에 새로운 메모리 공간이 열립니다. . 이때 새로 열리는 메모리 공간은 반드시 유니코드일 필요는 없습니다. 사용자는 변수 정의 시 인코딩 방법을 지정할 수 있습니다. 정의 시 열리는 메모리 공간은 단지 공간일 뿐이며 어떤 인코딩 형식으로든 코드를 저장할 수 있습니다. Python3을 예로 들어보겠습니다

　　

　　

IV.인코딩 및 디코딩

파일을 저장하는 것은 메모리에 있는 파일을 하드 디스크에 저장하는 것입니다

　파일을 읽는 것은 하드 디스크에 있는 파일을 읽는 것입니다. 메모리에

　

　Unicode 상위 인코딩인 utf-8, GBK이며, 하위 인코딩을 다른 인코딩으로 변환하려면 먼저 상위 인코딩으로 변환한 후 사용해야 합니다. 상위 인코딩에서 다른 하위 인코딩으로 변환

디코딩은 하위 인코딩에서 변환되는 디코딩입니다. 상위 코드가 되는 과정 유니코드

　인코딩은 인코딩이며, 유니코드를 다른 인코딩으로 변환하는 과정입니다

　로 앞에서 언급했듯이 파일을 메모리로 읽어오면 유니코드 인코딩이 됩니다(물론 이는 기본 상황이며 지침에 따라 변경될 수도 있습니다). 하드 디스크에서 파일을 읽는 프로세스는 utf- 8 in the hard disk into Unicode

파일을 저장할 때 메모리에 있는 파일을 하드디스크에 저장하는 과정입니다. 하드디스크의 인코딩 방식은 utf-8이며, utf-8로 인코딩해야 합니다. 유니코드를 utf -8

5. Python2와 Python3의 차이점

　1. Python2의 기본 인코딩 방법은 utf-8에 저장된 파일을 열 때 오류가 보고됩니다. utf-8

　 Python2에서는 str이 바이트로 인식되므로 Python2의 str은 실제로 인코딩된 결과로 앞에 u를 추가하는 것입니다. str, 먼저 유니코드로 변환한 다음 바이트로 인코딩합니다

　문자열 유형에는 str과 유니코드 두 가지가 있는데, str은 앞에 'u'를 추가하면 유니코드로 변환할 수 있습니다

　 2. 파이썬의 기본 인코딩 방법 3은 utf-8이므로 utf-8로 저장된 파일을 직접 열 수 있습니다

Python3의 str은 유니코드로 인식됩니다

　Python3에는 두 가지 문자열 유형(bytes 및 str)도 있지만 bytes는 bytes이고 str은 unicode

　

6. 터미널로 인쇄

　우선 Windows 터미널의 기본 인코딩 방식은 GBK라는 점을 아셔야 합니다

터미널도 애플리케이션이고 메모리에서 실행되기 때문에 인쇄하는 과정은 print()는 메모리에서 메모리로 이동합니다. 따라서 유니코드의 경우 어떻게 인쇄하든 오류가 발생하지 않습니다. 그러나 Python2에서는 'u'가 포함된 문자열을 제외하고 다른 문자열은 바이트입니다. 이때 터미널에서는 GBK 인코딩을 사용합니다. 지정된 utf-8 또는 기본 Ascii 코드인 경우 터미널에서 인쇄할 때 오류가 발생합니다.

현재 제가 알고 있는 내용입니다. 앞으로 오류나 불분명한 표현이 있다는 것을 알게 되면 수정하겠습니다. 아아, 문자 인코딩은 함정

위 내용은 Python 기본 - 문자 인코딩 학습의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!