Comment gérer l'encodage UTF8 en Python lors de la lecture de fichiers CSV ?

Lecture d'un fichier CSV UTF8 avec Python

Les fichiers CSV, couramment utilisés pour l'échange de données, contiennent souvent des caractères accentués qui nécessitent un encodage UTF8 pour préserver leur intégrité. Le csvreader Python, cependant, ne prend en charge que les données ASCII.

Problème

Lors de la tentative de lecture d'un fichier CSV UTF8 avec des caractères français ou espagnols accentués, malgré l'utilisation de code pour gérer l'encodage UTF8, l'exception suivante a été rencontré :

UnicodeDecodeError: 'ascii' codec can't decode byte 0xc3 in position 68: ordinal not in range(128)

Solution

La solution réside dans la compréhension du but de la méthode d'encodage. Il convertit les chaînes Unicode en chaînes d'octets, et non l'inverse. En utilisant correctement le module codecs et spécifiquement codecs.open pour gérer les fichiers texte UTF8, le code peut être simplifié :

<code class="python">import csv

def unicode_csv_reader(utf8_data, dialect=csv.excel, **kwargs):
    csv_reader = csv.reader(utf8_data, dialect=dialect, **kwargs)
    for row in csv_reader:
        yield [unicode(cell, 'utf-8') for cell in row]

filename = 'da.csv'
reader = unicode_csv_reader(open(filename))
for field1, field2, field3 in reader:
  print field1, field2, field3 </code>

Remarque

Si les données d'entrée ne sont pas en UTF8, comme ISO-8859-1, le code nécessite un transcodage :

<code class="python">line.decode('whateverweirdcodec').encode('utf-8')</code>

Cependant, cela est souvent inutile car csv peut gérer directement les chaînes d'octets codées ISO-8859-*.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!