使用 NMT 或 NLP 中的神經機器翻譯，我們可以將文字從給定語言翻譯為目標語言。為了評估翻譯的執行情況，我們使用 Python 中的 BLEU 或雙語評估學生分數。
BLEU 分數的工作原理是將機器翻譯的句子與人工翻譯的句子進行比較，兩者都採用 n 元語法。此外，隨著句子長度的增加，BLEU 分數下降。一般來說，BLEU 分數的範圍是 0 到 1，數值越高表示品質越好。然而，獲得滿分的情況非常罕見。請注意，評估是在子串匹配的基礎上完成的，它沒有考慮語言的其他方面，如連貫性、時態和語法等。
BLEU = BP * exp(1/n * sum_{i=1}^{n} log(p_i))
這裡，各個術語具有以下含義 -
BP 是簡潔懲罰。它根據兩個文本的長度調整 BLEU 分數。其公式為 -
BP = min(1, exp(1 - (r / c)))
n是n-gram匹配的最大階數
p_i 是精確度分數
第 1 步 - 匯入資料集庫。
步驟 2 - 使用 load_metric 函數並以 bleu 作為參數。
第 3 步 - 根據翻譯後的字串的單字列出清單。
步驟 4 - 使用所需輸出字串的單字重複步驟 3。
步驟 5 - 使用 bleu.compute 尋找 bleu 值。
在這個範例中，我們將使用 Python 的 NLTK 函式庫來計算將德文句子機器翻譯成英文的 BLEU 分數。
原文（英文）- 今天下雨
機器翻譯文字 - 今天下雨
所需文字 - 今天下雨，今天下雨
雖然我們可以看到翻譯沒有正確完成，但我們可以透過尋找藍色分數來更好地了解翻譯品質。
#import the libraries
from datasets import load_metric
#use the load_metric function
bleu = load_metric("bleu")
#setup the predicted string
predictions = [["it", "rain", "today"]]
#setup the desired string
references = [
[["it", "is", "raining", "today"],
["it", "was", "raining", "today"]]
]
#print the values
print(bleu.compute(predictions=predictions, references=references))
{'bleu': 0.0, 'precisions': [0.6666666666666666, 0.0, 0.0, 0.0], 'brevity_penalty': 0.7165313105737893, 'length_ratio': 0.75, 'translation_length': 3, 'reference_length': 4}
您可以看到，翻譯效果不是很好，因此，藍色分數為 0。
在此範例中，我們將再次計算 BLEU 分數。但這一次，我們將把一個法文句子機器翻譯成英文。
原始文字（德語）- 我們要去旅行
#機器翻譯的文字 - 我們要去旅行
所需文字 - 我們要去旅行，我們要去旅行
您可以看到，這次翻譯的文字更接近所需的文字。讓我們檢查一下它的 BLEU 分數。
#import the libraries
from datasets import load_metric
#use the load_metric function
bleu = load_metric("bleu")
#steup the predicted string
predictions = [["we", "going", "on", "a", "trip"]]
#steup the desired string
references = [
[["we", "are", "going", "on", "a", "trip"],
["we", "were", "going", "on", "a", "trip"]]
]
#print the values
print(bleu.compute(predictions=predictions, references=references))
{'bleu': 0.5789300674674098, 'precisions': [1.0, 0.75, 0.6666666666666666, 0.5], 'brevity_penalty': 0.8187307530779819, 'length_ratio': 0.8333333333333334, 'translation_length': 5, 'reference_length': 6}
您可以看到，這次完成的翻譯非常接近所需的輸出，因此藍色分數也高於 0.5。
BLEU Score 是一個很棒的工具，可以檢查翻譯模型的效率，從而進一步改進它以產生更好的結果。儘管 BLEU 分數可用於粗略了解模型，但它僅限於特定詞彙，並且通常忽略語言的細微差別。這就是 BLEU 分數與人類判斷很少協調的原因。但您絕對可以嘗試一些替代方案，例如 ROUGE 分數、METEOR 指標和 CIDEr 指標。
以上是使用Python計算神經機器翻譯的BLEU分數的詳細內容。更多資訊請關注PHP中文網其他相關文章！
