python中的编码知识整理汇总
问题
在平时工作中，遇到了这样的错误：
UnicodeDecodeError: 'ascii' codec can't decode byte
想必大家也都碰到过，很常见 。于是决定对python的编码做一个整理和学习。
基础知识
在python2.x中，有两种数据类型，unicode和str，这两个都是basestring的子类
>>> a = '中' >>> type(a) <type 'str'> >>> isinstance(a,basestring) True >>> a = u'中' >>> type(a) <type 'unicode'> >>> isinstance(a,basestring) True
两者的区别，概括来讲，str是字节串，由unicode经过编码(encode)后的字节组成的（好比与python3.x的byte）；unicode是对象，才是真正意义上的字符串，由字符组成
>>> a='中文' >>> len(a) 6 >>> repr(a) "'\\xe4\\xb8\\xad\\xe6\\x96\\x87'" >>> b=u'中文' >>> len(b) 2 >>> repr(b) "u'\\u4e2d\\u6587'"
控制台和脚本
在linux下的python控制台执行以下命令，所得的结果和执行脚本是不同的
>>> a = u'中文'
>>> repr(a)
"u'\\xe4\\xb8\\xad\\xe6\\x96\\x87'"
>>> b = unicode('中文','utf-8')b)
>>> repr(b)
"u'\\u4e2d\\u6587'"
可以看到，u'中文'初始化的对象a不是我们所期望的，那究竟是什么原因呢？
将python看成是一根管子，管子里头处理的中间过程都是使用unicode的。入口处，全部转成unicode；出口处，再转成目标编码(当然，有例外，处理逻辑中要用到具体编码的情况)。
在控制台执行命令a = u'中文'，可以将解释为命令，a = ‘中文'.decode(encode)，从而到到unicode对象a。那么这里的encode是什么呢？对于控制台来说，就是标准输入，即sys.stdin.encoding
>>> sys.stdin.encoding 'ISO-8859-1'
我的这边控制台默认的编码是ISO-8859-1，故a = u'中文' <=> a = '中文'.decode('ISO-8859-1')
这里的'中文'是控制台理解的，即使根据终端编码方式编码后的字节码，对于utf-8编码的终端，'中文'='\\xe4\\xb8\\xad\\xe6\\x96\\x87'
>>> a='中文'.decode('ISO-8859-1')
>>> repr(a)
"u'\\xe4\\xb8\\xad\\xe6\\x96\\x87'"
那如何修改此编码值呢，设置为什么呢？在linux环境中设置环境变量方法如下，具体设置什么只要与终端编码方式一直即可
export PYTHONIOENCODING=UTF-8
总结
重新回到最初的那个问题，造成问题的原因是没有搞清楚unicode和str的区别，将两者进行了混用。
>>> a = '中文'
>>> a.encode('gbk')
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'ascii' codec can't decode byte 0xe4 in position 0: ordinal not in range(128)
以上的对象a其实是str，即字节码，若终端是utf-8编码的话，那么a就是用utf-8 encode的字节码。a.encode('gbk') 等价于a.decode(encoding).encode('gbk')，即先将字节码解码为unicode字符，然后再encode为字节码。unicode对象作为中转站。那么这里的encoding是什么呢？
>>> import sys >>> sys.getdefaultencoding() 'ascii'
默认是ascii，这正是错误为什么报无法用ascii解码的原因
>>> reload(sys)
<module 'sys' (built-in)>
>>> sys.setdefaultencoding('utf-8')
>>> a = '中文'
>>> repr(a)
"'\\xe4\\xb8\\xad\\xe6\\x96\\x87'"
>>> a.encode('gbk')
'\xd6\xd0\xce\xc4'
将默认编码改为utf-8，即可。不鼓励对str使用encode方法，因为其中隐式对str进行了解码。decode只对str，encode只对unicode，一切decode/encode都显示指定编码方式。
Outils d'IA chauds
Undresser.AI Undress
Application basée sur l'IA pour créer des photos de nu réalistes
AI Clothes Remover
Outil d'IA en ligne pour supprimer les vêtements des photos.
Undress AI Tool
Images de déshabillage gratuites
Clothoff.io
Dissolvant de vêtements AI
AI Hentai Generator
Générez AI Hentai gratuitement.
Article chaud
Outils chauds
Bloc-notes++7.3.1
Éditeur de code facile à utiliser et gratuit
SublimeText3 version chinoise
Version chinoise, très simple à utiliser
Envoyer Studio 13.0.1
Puissant environnement de développement intégré PHP
Dreamweaver CS6
Outils de développement Web visuel
SublimeText3 version Mac
Logiciel d'édition de code au niveau de Dieu (SublimeText3)
Sujets chauds
Comment utiliser Python pour trouver la distribution ZIPF d'un fichier texte
Mar 05, 2025 am 09:58 AM
Ce tutoriel montre comment utiliser Python pour traiter le concept statistique de la loi de Zipf et démontre l'efficacité de la lecture et du tri de Python de gros fichiers texte lors du traitement de la loi. Vous vous demandez peut-être ce que signifie le terme distribution ZIPF. Pour comprendre ce terme, nous devons d'abord définir la loi de Zipf. Ne vous inquiétez pas, je vais essayer de simplifier les instructions. La loi de Zipf La loi de Zipf signifie simplement: dans un grand corpus en langage naturel, les mots les plus fréquents apparaissent environ deux fois plus fréquemment que les deuxième mots fréquents, trois fois comme les troisième mots fréquents, quatre fois comme quatrième mots fréquents, etc. Regardons un exemple. Si vous regardez le corpus brun en anglais américain, vous remarquerez que le mot le plus fréquent est "th
Comment utiliser la belle soupe pour analyser HTML?
Mar 10, 2025 pm 06:54 PM
Cet article explique comment utiliser la belle soupe, une bibliothèque Python, pour analyser HTML. Il détaille des méthodes courantes comme find (), find_all (), select () et get_text () pour l'extraction des données, la gestion de diverses structures et erreurs HTML et alternatives (Sel
Filtrage d'image en python
Mar 03, 2025 am 09:44 AM
Traiter avec des images bruyantes est un problème courant, en particulier avec des photos de téléphones portables ou de caméras basse résolution. Ce tutoriel explore les techniques de filtrage d'images dans Python à l'aide d'OpenCV pour résoudre ce problème. Filtrage d'image: un outil puissant Filtre d'image
Comment travailler avec des documents PDF à l'aide de Python
Mar 02, 2025 am 09:54 AM
Les fichiers PDF sont populaires pour leur compatibilité multiplateforme, avec du contenu et de la mise en page cohérents sur les systèmes d'exploitation, les appareils de lecture et les logiciels. Cependant, contrairement aux fichiers de texte brut de traitement Python, les fichiers PDF sont des fichiers binaires avec des structures plus complexes et contiennent des éléments tels que des polices, des couleurs et des images. Heureusement, il n'est pas difficile de traiter les fichiers PDF avec les modules externes de Python. Cet article utilisera le module PYPDF2 pour montrer comment ouvrir un fichier PDF, imprimer une page et extraire du texte. Pour la création et l'édition des fichiers PDF, veuillez vous référer à un autre tutoriel de moi. Préparation Le noyau réside dans l'utilisation du module externe PYPDF2. Tout d'abord, l'installez en utilisant PIP: pip is p
Comment se cacher en utilisant Redis dans les applications Django
Mar 02, 2025 am 10:10 AM
Ce tutoriel montre comment tirer parti de la mise en cache Redis pour augmenter les performances des applications Python, en particulier dans un cadre Django. Nous couvrirons l'installation redis, la configuration de Django et les comparaisons de performances pour mettre en évidence le bien
Comment effectuer l'apprentissage en profondeur avec TensorFlow ou Pytorch?
Mar 10, 2025 pm 06:52 PM
Cet article compare TensorFlow et Pytorch pour l'apprentissage en profondeur. Il détaille les étapes impliquées: préparation des données, construction de modèles, formation, évaluation et déploiement. Différences clés entre les cadres, en particulier en ce qui concerne le raisin informatique
Comment implémenter votre propre structure de données dans Python
Mar 03, 2025 am 09:28 AM
Ce didacticiel montre la création d'une structure de données de pipeline personnalisée dans Python 3, en tirant parti des classes et de la surcharge de l'opérateur pour une fonctionnalité améliorée. La flexibilité du pipeline réside dans sa capacité à appliquer une série de fonctions à un ensemble de données, GE
Introduction à la programmation parallèle et simultanée dans Python
Mar 03, 2025 am 10:32 AM
Python, un favori pour la science et le traitement des données, propose un écosystème riche pour l'informatique haute performance. Cependant, la programmation parallèle dans Python présente des défis uniques. Ce tutoriel explore ces défis, en se concentrant sur l'interprète mondial
