méthode de conversion d'encodage de magie noire python

Cet article présente principalement la conversion d'encodage de python magie noire et analyse la méthode de conversion d'encodage python. Les amis intéressés peuvent se référer à

Nous utilisons d'autres langages lorsque la bibliothèque effectue l'encodage. conversion, il n'y a généralement que deux (ou trois) façons de gérer les caractères qui ne peuvent pas être compris :

• Lance une exception

• est remplacé par le caractère alternatif

• sauter
  

Cependant, dans le monde réel complexe, en raison de divers manques de fiabilité, il y aura toujours des facteurs discordants dans les textes que nous traitons, tels que l'encodage mixte. Dans ce cas, on revient à l’approche ci-dessus.

Alors la question est : existe-t-il une meilleure méthode en python ?

La réponse est oui !

Le processus de conversion d'encodage de Python est en fait une conversion en deux étapes :

source -> unicode -> dest

Convertissez d'abord la chaîne à partir de l'encodage d'origine Convertir en Unicode. Convertissez ensuite l'Unicode en codage cible.

Dans la première étape, nous utilisons généralement le decode() ou unicode() ces deux fonctions Fait.
Dans la deuxième étape, nous utilisons la fonction encode() pour terminer.

La magie noire dont nous parlons ici se réalise dans la première étape. Les fonctions

decode et unicode ont un paramètre facultatif appelé erreurs. Jetez un œil à la description officielle :

• des erreurs peuvent être données pour définir une erreur différente
  

• schéma de gestion par défaut est « strict », ce qui signifie que les erreurs d'encodage surviennent
  

• un UnicodeDecodeError. Les autres valeurs possibles sont 'ignorer' et 'remplacer'
  

• ainsi que toute autre. nom enregistré avec les codecs . register_error qui est
  

• capable de gérer les UnicodeDecodeErrors.
  

Ce paramètre a généralement trois valeurs :

• valeur stricte par défaut. Si une erreur d'encodage se produit, UnicodeDecodeError est renvoyé.

• ignorer le saut.

• remplacer Remplacer par ?

D'accord, avez-vous vu la dernière phrase ? Le spectacle est lancé !

Le codec du module a une fonction appelée register_error. Sa fonction permet aux utilisateurs d'enregistrer des méthodes personnalisées de gestion des erreurs.
Utilisé pour gérer UnicodeDecodeError.

Jetons un coup d'œil au prototype de la fonction :

codecs.register_error(name, error_handler)

name : Le nom du gestionnaire d'erreurs . Utilisé pour renseigner le paramètre d'erreur de la fonction de décodage.
error_handler : fonction de traitement. Cette fonction accepte un paramètre d'exception.
Renvoie un tuple. Le tuple a 2 éléments. Le premier est la chaîne corrigée des erreurs, et le second est la position de départ pour continuer le décodage

Avec les concepts de base ci-dessus. Jetons un coup d'œil à l'implémentation spécifique :

def cjk_error(e):
  if not isinstance(e, UnicodeDecodeError):
    raise TypeError("don't know how to handle %r" % exc) 
  if exc.end + 1 > len(exc.object): 
    raise TypeError('unknown codec ,the object too short!') 
  ch1 = ord(exc.object[exc.start:exc.end]) 
  newpos = exc.end + 1 
  ch2 = ord(exc.object[exc.start + 1:newpos]) 
  sk = exc.object[exc.start:newpos] 
  if 0x81<=ch1<=0xFE and (0x40<=ch2<=0x7E or 0x7E<=ch2<=0xFE): # GBK 
    return (unicode(sk,&#39;cp936&#39;), newpos) 
  if 0x81<=ch1<=0xFE and (0x40<=ch2<=0x7E or 0xA1<=ch2<=0xFE): # BIG5 
    return (unicode(sk,&#39;big5&#39;), newpos) 
  raise TypeError(&#39;unknown codec !&#39;) 
codecs.register_error("cjk_replace", cjk_replace)

Ce qui précède est ce que j'ai copié sur Internet . Au début, je pensais que c'était très bon, mais plus tard, j'ai découvert que c'était un algorithme très irréfléchi.
Par exemple, utf8 et gbk ont ​​une intersection dans les deux premiers octets. Lorsqu'une chaîne UTF8 est décodée avec le codage gbk, l'erreur se produit à partir du troisième octet (les deux premiers octets peuvent également correspondre à un caractère chinois dans la plage de codage gbk).
Par exemple :

a = "你"              # utf8编码：'\xe4\xbd\xa0'
c = unicode(a[:2],'gbk')  # 正常返回
c = unicode(a, 'gbk')    # UnicodeDecodeError 。错误发生在第三个字节

Donc pour cette situation, nous avons apporté les améliorations suivantes :

import codec

def cjk_replace(e):
  if not isinstance(e, UnicodeDecodeError):
    raise TypeError("invalid exception type %s" e)

  src = e.encoding
  if src in ('gbk','gb18030', 'big5'):
    beg = e.start - 2
    if beg >= 0:
      try:
        return unicode(e.object[beg:e.end], 'utf8'), e.end + 1
      except:
        pass

  if exc.end + 1 > len(exc.object):
    raise TypeError('unknown codec ,the object too short!')
  ch1 = ord(exc.object[exc.start:exc.end])
  newpos = exc.end + 1
  ch2 = ord(exc.object[exc.start + 1:newpos])
  sk = exc.object[exc.start:newpos]

  if src != &#39;gbk&#39; and 0x81<=ch1<=0xFE and (0x40<=ch2<=0x7E or 0x7E<=ch2<=0xFE): # GBK
    return (unicode(sk,&#39;cp936&#39;), newpos)
  if src != &#39;big5&#39; and 0x81<=ch1<=0xFE and (0x40<=ch2<=0x7E or 0xA1<=ch2<=0xFE): # BIG5
    return (unicode(sk,&#39;big5&#39;), newpos)
  raise TypeError(&#39;unknown codec !&#39;)

codecs.register_error("cjk_replace", cjk_replace)

Bien entendu, cette logique n’est en réalité pas assez rigoureuse. Même s'il est un peu réaliste de traiter cette anomalie du codage mixte.
Mais puisque python offre de telles capacités, tout le monde peut discuter ensemble, comment pouvons-nous faire mieux ?

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!