鵝廠搞了個150多人的“翻譯公司”,從老闆到員工都是AI智能體#!
主營事業是翻譯網路小說,品質極高,參與評價的讀者認為比真人翻譯得還要好#。
而且比起僱用真人,用它來翻譯文學作品,成本降低了近80倍。
ATransAgents公司,每個職位都配備了30個不同的職工,能夠根據語言、體裁和目標受眾適配不同的翻譯風格。
相較於傳統的翻譯,產出的譯文更加靈活多樣,也更符合目標語言的表達習慣#,文學性也更強。
所以,TransAgents雖然在以相似度為基礎的自動評估中“失敗”,卻贏得了讀者和專業人士的大力肯定。
這樣的表現甚至讓人感嘆說,或許人類對人工智慧生成的內容更加青睞的時代,就要來了。
仍有人表示,TransAgents是證明自己錯看了人工智慧的另一個證據——本以為由於模型限制,小說的翻譯對AI會極其困難,結果AI智能體將這個任務完成得非常好。
所以,TransAgents到底有沒有那麼神呢?
為了評估TransAgents的翻譯質量,作者選擇了WMT2023資料集,需要對其進行篇章級的文學翻譯。
此資料集從12部網路小說中各截取了20個連續的章節,涉及以下八種類型:
起初,作者使用d-BLEU進行了自動評估,該方法會與參考樣本進行相似度計算,相似度越高得分也就越高。
具體到本項目當中,參考樣本一共有兩組,樣本一是人工給出的翻譯結果,樣本二是對網絡中的雙語文本進行對齊後得到。
結果,TransAgents的得分並不理想,只有25分,連SOTA的一半都不到。
但這並不表示TransAgents的翻譯品質不行,而是因為用相似度來衡量文學作品翻譯的表現,本身就有失偏頗。
文學翻譯不是逐字對照,而是需要在語意、語氣、風格等方面進行創造性的轉換,這些轉換可能導致譯文與參考譯文在表面上差異較大,相似度不高自然就不意外了。
所以,作者乾脆直接讓真人(至少10人)來評價翻譯的質量,順便也讓GPT-4(0125-Preview)來看了看,在TransAgents、GPT -4(1106-Preview)和真人當中,誰的翻譯最好。
評測者會看到同一段原文的不同翻譯,其中真人只看譯文,GPT-4則是原文譯文都看。
結果,真人評測者有超過一半都認為TransAgents比人類翻譯得更好,8.4%認為兩者品質相當,GPT-4也認為TransAgents比自己(和人類)的翻譯品質高。
除了這些大眾評審之外,兩位專業的翻譯也認為,雖然人工翻譯更忠於原文,但TransAgents給予的翻譯明顯更有文學色彩,更簡潔、在遣詞用句上體現了語言天賦和深厚的文學表現。
MATTR和MTLD測試指標也證明了這一點,尤其是在MTLD上,TransAgents的語言多樣性比真人和GPT-4高出了三分之一左右。
在作者展示的案例中,TransAgents會根據目標語言的習慣對翻譯內容做出調整,真人(Ref1)和GPT-4雖然翻的也沒錯,但相較之下不如TransAgents符合語言習慣。
另外在前後一致性#上,TransAgents也超過了單純使用GPT-4,對相同的原文保持使用一樣的譯本。
當然,也不是說所有類型它都擅長,在前面提到的8種類型中,TransAgents在遊戲、科幻愛情等類型上的表現突出,而在恐怖驚悚等類型上就比較平庸了。
同時作者也發現,TransAgents在翻譯時並非“照單全收”,而是會出現一定程度的遺漏現象。
不過從測驗中未看過原文的讀者給予的分數來看,這樣的遺漏似乎沒有影響到他們的閱讀經驗。
所以,這家「翻譯公司」是如何運作的呢?
在這個公司當中,不同的智能體分別扮演著CEO、初/高級編輯、真·翻譯、本地化專家和校對(Proofreader )這些不同的職位,除CEO外每個職位各有30人,每個人擅長的領域也有所不同,另外還有一個Ghost Agent。
這些智能體由GPT-4-Turbo驅動,每個角色都包含姓名、年齡、職位、工作年限及掌握的語言等多維度的設定。
接到「客戶」的翻譯要求後,CEO會綜合分析原文和目標語言、體裁、目標受眾等訊息,從幾位高階編輯中選擇擅長領域最匹配的一位。
此時,Ghost Agent會對CEO的選擇進行評估,告知其人選是否合適,從而減少選擇失當的現象。
被選定的高級編輯會與CEO合作,再次結合任務需求和個人特點,從公司人才庫中進一步選擇初級編輯、翻譯、本地化專家和校對等團隊成員。
團隊組成好後,首先由初級編輯逐章節識別所有潛在的關鍵術語,生成初始術語表,交由高級編輯審查,刪除其中的通用術語,產生修訂後的術語表,反覆迭代直到不需要進一步修改。
然後,結合術語在不同情境下的意義,高階編輯會將術語表中的關鍵術語翻譯為目標語言。
有了術語表後,初級編輯會為每一章生成詳細的章節摘要,盡可能保留關鍵信息和細節,然後還是讓高級編輯來審查,並刪除冗餘或不必要的信息,讓章節摘要更加簡潔扼要。
接著,高級編輯根據修訂後的章節摘要編寫全書的摘要,概括主要情節、人物和主題,並隨機選擇書中的一章,分析其語氣、風格和目標受眾,制定翻譯風格指南。
翻譯風格指南會寄給專案團隊所有成員,以確保譯文風格的一致性。
根據風格指南,公司中的真·譯員會逐章節進行初步翻譯,把初稿交給初級編輯審查,檢查是否遵循翻譯風格指南,並提出改進意見。
在此基礎之上,高級編輯會評估經過修改的譯文質量,決定是否需要進一步修改,譯者、初級編輯和高級編輯反覆迭代,直到譯文質量滿足要求。
但此時得到的翻譯文字並不是終稿,還要交給在地化專家進行調整。專家會辨識可能需要文化調適的內容,如慣用語、隱喻等等,並對這些內容進行調整,使其在保留原文意圖的基礎之上更貼近目標語言和文化。
調整後的文本會讓初級編輯和高級編輯再次審查,確保譯文在文化適應性和忠實度之間取得平衡。
這之後,還有校對人員再次檢查語法、拼字、標點和格式錯誤,如果有修改,還要再讓編輯進一步審核。
這些流程都走完後,高級編輯會進行最後的終審,重點關注相鄰章節之間的連貫性,確保情節、人物、主題等元素在全書範圍內保持一致,一旦發現問題則發回給前面的團隊成員進行修改,直到形成最終的譯本。
如果客戶對譯本有修改意見,則會再次由資深編輯牽頭,組織相關人員進行修改,直到定稿。
不僅是在工作流程上極為嚴格規範,在客戶對譯本滿意後,資深編輯還會組織專案團隊「開會」進行專案總結,分享經驗教訓。
過程中累積的有價值的術語、翻譯技巧、文化調適策略等知識會被整理歸納,上傳至公司的知識庫,供後續項目參考。
TransAgents已經不是第一個由智能體組成的「公司」了,去年就有來自清華的「遊戲公司」ChatDev爆紅網絡,背後所運用的核心技術就是多智能體。
如果把視線放寬,不只看“公司”,還有斯坦福的AI小鎮、清華的AI狼人殺遊戲,都在使用多智能體進行著真實人類社會的模擬。
總之隨著大模型研究的深入,智能體和群體智能實驗已成AI研究最熱門方向之一,而且從這次的TransAgents來看,多智能體協同已經開始顯現出了實際效益。
(順便提一句,有網友發現,從史丹佛小鎮到ChatDev,再到這次的TransAgents,多智能體研究的作者是真的喜歡《星露穀物語》式的繪畫風格。語言中獨特的表達消失。
更有甚者,已經跳出TransAgents本身,想到Ilya對大規模Agent合作的恐懼了… 那麼你認為在群體智慧這條路上還能創造出什麼新奇的成果呢?歡迎在留言區曬出你的腦洞。論文網址:https://arxiv.org/abs/2405.11804
以上是鵝廠造了個AI翻譯公司:專攻網路小說,自動適配語言風格,真人和GPT-4看了都說好的詳細內容。更多資訊請關注PHP中文網其他相關文章!