Comment normaliser la saisie de texte en ASCII en Python à l'aide de la fonction strings.Map ?

Normalisation de la saisie de texte en ASCII : une voie à suivre en Python

Lors de la construction d'outils de traitement de texte, la gestion des caractères non-ASCII peut être un facteur important défi. Par exemple, les guillemets bouclés présentent une source courante de divergence. L'échange de ces caractères avec leurs homologues ASCII standard est une étape cruciale vers la normalisation des données pour une meilleure analyse de texte.

Dans la bibliothèque standard Python, la fonction strings.Map apparaît comme une solution puissante pour la substitution de caractères. Contrairement à une fonction générique « ToAscii », Map offre une approche personnalisable, permettant aux utilisateurs de définir une fonction de mappage personnalisée qui convertit les runes en leur équivalent ASCII souhaité.

Pour démontrer cette approche, considérons un exemple de texte contenant à la fois des runes bouclées. et des guillemets droits :

data = "Hello “Frank” or ‹François› as you like to be ‘called’"

En utilisant la fonction strings.Map, nous pouvons définir une fonction de mappage personnalisée, normalize, qui remplace les guillemets bouclés par leurs homologues ASCII :

<code class="python">func normalize(in rune) rune {
    switch in {
    case '“', '‹', '”', '›':
        return '"'
    case '‘', '’':
        return '\''
    }
    return in
}</code>

Appliquer ceci La fonction aux données d'entrée donne un texte normalisé :

cleanedData := strings.Map(normalize, data)
fmt.Printf("Cleaned: %s\n", cleanedData)

Sortie :

Cleaned: Hello "Frank" or "François" as you like to be 'called'

En utilisant la fonction strings.Map et une fonction de mappage personnalisée, nous avons effectivement normalisé la saisie de texte, remplacer les caractères non-ASCII par leurs équivalents ASCII. Cette approche garantit la compatibilité avec les applications en aval qui nécessitent un formatage de texte standardisé.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!