Calcul du score BLEU pour la traduction automatique neuronale à l'aide de Python

En utilisant la traduction automatique neuronale en NMT ou NLP, nous pouvons traduire du texte d'une langue donnée vers une langue cible. Pour évaluer la qualité de la traduction, nous avons utilisé les scores des étudiants BLEU ou Bilingual Assessment en Python.

Le score BLEU fonctionne en comparant les phrases traduites automatiquement aux phrases traduites par l'homme, toutes deux utilisant des n-grammes. De plus, à mesure que la durée de la peine augmente, le score BLEU diminue. Généralement, les scores BLEU vont de 0 à 1, les valeurs plus élevées indiquant une meilleure qualité. Cependant, obtenir des scores parfaits est très rare. Notez que l'évaluation est effectuée sur la base de la correspondance des sous-chaînes, elle ne prend pas en compte d'autres aspects du langage tels que la cohérence, le temps et la grammaire.

Formule

BLEU = BP * exp(1/n * sum_{i=1}^{n} log(p_i))

Ici, chaque terme a la signification suivante -

• BP est une pénalité de brièveté. Il ajuste le score BLEU en fonction de la longueur des deux textes. Sa formule est -

BP = min(1, exp(1 - (r / c)))

• n est l'ordre maximum de correspondance n-gramme

• p_i est le score de précision

Algorithme

• Étape 1 - Importez la bibliothèque de jeux de données.

• Étape 2 - Utilisez la fonction load_metric avec bleu comme paramètre.

• Étape 3 - Faites une liste basée sur les mots de la chaîne traduite.

• Étape 4 - Répétez l'étape 3 avec les mots de la chaîne de sortie souhaitée.

• Étape 5 - Utilisez bleu.compute pour trouver la valeur bleu.

Exemple 1

Dans cet exemple, nous utiliserons la bibliothèque NLTK de Python pour calculer le score BLEU pour la traduction automatique d'une phrase allemande vers l'anglais.

• Texte source (anglais) - Il pleut aujourd'hui

• Texte traduit automatiquement – ​​Il pleut aujourd'hui

• Texte obligatoire - Il pleut aujourd'hui, il pleut aujourd'hui

Bien que nous puissions constater que la traduction n'a pas été effectuée correctement, nous pouvons avoir une meilleure idée de la qualité de la traduction en recherchant la partition bleue.

Exemple

#import the libraries
from datasets import load_metric
  
#use the load_metric function
bleu = load_metric("bleu")

#setup the predicted string
predictions = [["it", "rain", "today"]]

#setup the desired string
references = [
   [["it", "is", "raining", "today"], 
   ["it", "was", "raining", "today"]]
]

#print the values
print(bleu.compute(predictions=predictions, references=references))

Sortie

{'bleu': 0.0, 'precisions': [0.6666666666666666, 0.0, 0.0, 0.0], 'brevity_penalty': 0.7165313105737893, 'length_ratio': 0.75, 'translation_length': 3, 'reference_length': 4}

Vous pouvez voir que la traduction n'est pas très bonne, donc le score bleu est de 0.

Exemple 2

Dans cet exemple, nous calculerons à nouveau le score BLEU. Mais cette fois, nous traduirons automatiquement une phrase française vers l’anglais.

• Texte source (allemand) - Nous partons en voyage

• Texte traduit automatiquement - Nous partons en voyage

• Texte obligatoire - Nous allons voyager, nous allons voyager

Vous pouvez constater que cette fois le texte traduit est plus proche du texte souhaité. Vérifions son score BLEU.

Exemple

#import the libraries
from datasets import load_metric
  
#use the load_metric function
bleu = load_metric("bleu")

#steup the predicted string
predictions = [["we", "going", "on", "a", "trip"]]

#steup the desired string
references = [
   [["we", "are", "going", "on", "a", "trip"], 
   ["we", "were", "going", "on", "a", "trip"]]
]

#print the values
print(bleu.compute(predictions=predictions, references=references))

Sortie

{'bleu': 0.5789300674674098, 'precisions': [1.0, 0.75, 0.6666666666666666, 0.5], 'brevity_penalty': 0.8187307530779819, 'length_ratio': 0.8333333333333334, 'translation_length': 5, 'reference_length': 6}

Vous pouvez voir que la traduction terminée cette fois est très proche du résultat souhaité, donc le score bleu est également supérieur à 0,5.

Conclusion

BLEU Score est un excellent outil pour vérifier l'efficacité de votre modèle de traduction afin que vous puissiez l'améliorer davantage et produire de meilleurs résultats. Bien que le score BLEU puisse être utilisé pour se faire une idée approximative d’un modèle, il se limite à un vocabulaire précis et ignore souvent les nuances du langage. C'est pourquoi les scores BLEU sont rarement compatibles avec le jugement humain. Mais vous pouvez certainement essayer des alternatives comme le score ROUGE, la métrique METEOR et la métrique CIDEr.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!