大羊駝、羊駝、小羊駝和ChatGPT比差在哪裡？七個類ChatGPT大模型測評

大型語言模型（LLM）正在風靡全球，它們的一個重要應用就是聊天，並在問答、客服和其他許多方面都有應用。然而，聊天機器人是出了名的難以評估。究竟這些模型在什麼情況下最好用，我們目前尚不明晰。因此，LLM 的測評非常重要。

先前一位名叫Marco Tulio Ribeiro 的Medium 部落客在一些複雜任務上對Vicuna-13B、MPT-7b-Chat 和ChatGPT 3.5 進行了 測試。結果表明，Vicuna 對於許多任務來說是 ChatGPT (3.5) 的可行替代品，而 MPT 還沒有準備好在現實世界中使用。

近日，CMU 副教授 Graham Neubig 對已有七種聊天機器人進行了詳細測評，並製作了一個實現自動比較的開源工具，最後形成了一份測評報告。

在這份報告中，評估者展示了一些聊天機器人的初步評估、比較結果，目的是讓人們更容易了解最近出現的所有開源模型以及基於API 的模型現狀。

具體來說，評測者創建了一個新的開源工具包 ——Zeno Build，用於評估 LLM。該工具包結合了：（1）透過 Hugging Face 或線上 API 使用開源 LLM 的統一介面；（2）使用 Zeno 瀏覽和分析結果的線上介面，以及（3）使用 Critique 對文字進行 SOTA 評估的指標。

# 具體結果參加：https://zeno-ml-chatbot-report.hf .space/

以下是評估結果總結：

• 評估者評估了7 種語言模型：GPT- 2、LLaMa、Alpaca、Vicuna、MPT-Chat、Cohere Command 和ChatGPT (gpt-3.5-turbo)；
• 這些模型是根據它們在客戶服務資料集上創建類似人類的回應的能力進行評估的；
• ChatGPT 拔得頭籌，但開源模型Vicuna 也很有競爭力；
• ##評估者發現，使用具有較長上下文視窗的chat-tuned 模型非常重要；
• #在對話的前幾個回合，prompt 工程對於提升模型對話的表現非常有用，但在有更在多上下文的後期回合中，效果就不那麼明顯了；
• 即使是像ChatGPT 這樣強大的模型也存在很多明顯的問題，比如出現幻覺、未能探求更多訊息、給予重複內容等。

以下是評測的詳細資訊。

設定

模型概況

評量者#使用的是DSTC11 客戶服務資料集。 DSTC11 是一個對話系統技術挑戰賽的資料集，旨在支援更具資訊性和吸引力的任務導向對話，透過利用評論貼文中的主觀知識來實現。

DSTC11 資料集包含多個子任務，如多輪對話、多領域對話等等。例如，其中一個子任務是基於電影評論的多輪對話，其中用戶和系統之間的對話旨在幫助用戶找到適合他們口味的電影。

他們測試了以下 7 個模型：#

• GPT-2：2019 年的經典語言模型。評估者把它當作一個基準加入，看看最近語言建模的進展對建立更好的聊天模型有多大影響。
• LLaMa：最初由 Meta AI 訓練的語言模型，使用的是直接的語言建模目標。測試中使用的是7B 版本的模型，以下開源模型採用的也是同等規模版本；
• #Alpaca：基於LLaMa 的模型，但進行了指令調優；
• Vicuna：一個基於LLaMa 的模型，為基於聊天機器人的應用做了進一步的明確調整；
• MPT-Chat：一個以類似於Vicuna 的方式從頭開始訓練的模型，它有一個更商業化的許可；
• Cohere Command：Cohere 推出的一個基於API 的模型，進行了指令遵循方面的微調；
• ChatGPT（gpt-3.5-turbo）：標準的API 為基礎的聊天模型，由OpenAI 研發。

對於所有的模型，測評者使用了預設的參數設定。其中包括溫度（temperature）為 0.3，上下文視窗（context window）為 4 個先前的對話輪次，以及一個標準的 prompt：「You are a chatbot tasked with making small-talk with people」。

評估指標

評估者根據這些模型的輸出與人類客服反應的相似程度來評估這些模型。這是用Critique 工具箱提供的指標完成的：

• chrf：測量字串的重疊度；
• ##BERTScore：衡量兩個語篇之間嵌入重疊的程度；
• UniEval Coherence：預測輸出與前一個聊天回合的連貫性如何。

他們也測量了長度比，用輸出的長度除以黃金標準的人類回覆的長度，以此衡量聊天機器人是否囉嗦。

更進一步的分析

為了更深入地挖掘結果，評估者使用了Zeno 的分析介面，特別是使用了它的報告產生器，根據對話中的位置（開始、早期、中期和後期）和人類回應的黃金標準長度（短、中、長）對例子進行細分，使用其探索界面來查看自動評分不佳的例子，並更了解每個模型的失敗之處。

結果

模型的整體表現如何？

根據所有這些指標，gpt-3.5-turbo 是明顯的贏家；Vicuna 是開源的贏家；GPT-2 和LLaMa 不是很好，表明了直接在聊天中訓練的重要性。

這些排名也與lmsys chat arena 的排名大致相符，lmsys chat arena 使用人類A/B 測試來比較模型，但Zeno Build 的結果是在沒有任何人類評分的情況下獲得的。

關於輸出長度，gpt3.5-turbo 比其他模型的輸出要冗長得多，而且看起來，在聊天方向進行調優的模型一般都會給出冗長的輸出。

#黃金標準回應長度的準確度

接下來，評估者使用Zeno report UI 進行深入挖掘。首先，他們按照人類回應的長度將準確性分別進行了測量。他們將回覆分為短（≤35 個字元）、中等（36-70 個字元）和長（≥71 個字元）三個類別，並對它們的準確性進行了單獨的評估。

gpt-3.5-turbo 和 Vicuna 即使在更長的對話輪次中也能保持準確性，而其他模型的準確性則有所下降。

接下來的問題是上下文視窗大小有多重要？測評者用 Vicuna 進行了實驗，上下文視窗的範圍是 1-4 個之前的語篇。當他們增加上下文視窗時，模型效能上升，表明更大的上下文視窗很重要。

評估結果顯示，較長的脈絡在對話的中間和後期尤其重要，因為這些位置的回覆沒有那麼多的模板，更多的是依賴之前所說的內容。

當試圖產生黃金標準較短的輸出（可能是因為有更多的歧義） ，更多的上下文尤其重要。

#prompt 有多重要？

評估者嘗試了5 個不同的prompt，其中4 個是通用的，另一個是專門為保險領域的客服聊天任務量身定制的：

• 標準的：「你是一個聊天機器人，負責與人閒聊。」
• 的：「你是一個善良、友善的聊天機器人，你的任務是用一種讓人感到愉快的方式與人閒聊。」
• 有禮貌的：「你是一個非常有禮貌的聊天機器人，說話非常正式，盡量避免在回答中犯任何錯誤。」
• 憤世嫉俗的：「你是一個憤世嫉俗的聊天機器人，對世界有著非常黑暗的看法，通常喜歡指出任何可能存在的問題。」
• 保險業專用的：「你是Rivertown 保險服務台的工作人員，主要幫助解決保險索賠問題。」

總的來說，利用這些prompt，評估者並沒有測出不同prompt 導致的顯著差異，但「憤世嫉俗」的聊天機器人稍微差一點，而量身定制的「保險」聊天機器人整體上稍微好一點。

在對話的第一個回合中，不同prompt 帶來的差異尤其明顯，這表明當沒有其他上下文可以利用時，prompt 是最重要的。

發現的錯誤以及可能的緩解措施

最後，評估者使用Zeno 的exploration UI ，試圖通過gpt-3.5 -turbo 找出可能的錯誤。具體來說，他們查看了所有 chrf 較低（

#Probe 的失敗##

有時模型無法在實際需要時Probe（探測）更多信息，例如模型在處理號碼這一事件中尚未完善（電話號碼必須是11 位數字，模型給出的數字長度與答案不匹配）。這時可以透過修改 prompt 來緩解，以提醒模型某些資訊所需的長度。

內容重複

#有時，同樣的內容會重複多次，例如聊天機器人在這裡說了兩次「謝謝」。

回答合理，但與人類方式不同

##有時候，這種反應是合理的，只是與人類的反應不同。

以上就是評測結果。最後，測評者希望這份報告對研究者有幫助！如果你繼續想嘗試其他模型、資料集、prompt 或其他超參數設置，可以跳到 zeno-build 儲存庫上的聊天機器人範例進行嘗試。 #

以上是大羊駝、羊駝、小羊駝和ChatGPT比差在哪裡？七個類ChatGPT大模型測評的詳細內容。更多資訊請關注PHP中文網其他相關文章！