GPT-4不服被Bard反超：最新模型已入場

「大模型排位賽」權威榜單Chatbot Arena刷新：

GoogleBard超越GPT-4，排名位居第二，僅次於GPT-4 Turbo。

然鵝，眾多網友對此表示「不服」、「不公平」。

原來，GoogleAI掌門人Jeff Dean透露，Bard效能大幅提升，是因為搭載了新版大機型－Gemini Pro-scale。

這也意味著，打「排位賽」的Bard具備了連網功能。

網友的質疑正是圍繞著這一點：

在同一個排行榜上混合在線和離線大模型，是極易引起誤會的。

Hugging Face的「首席羊駝官」Omar Sanseviero也表示：

##既然如此…我也可以向lmsys提交具有搜尋功能的Mixtral嗎？

面對種種質疑聲，Imsys官方做出了回應，其中指出：

Arena排行榜是即時的，大家如有疑問，可在Arena中直接比較模型並投票；
• 投票數據公開透明，還會即將發布關於用戶提示多樣性和投票質量的研究以及相應的數據集；

對於網友們最關心的被Bard超越的GPT-4是不聯網版本的問題，Imsys表示「如果即時數據的存取能夠提升用戶體驗，排行榜將予以體現」。

並且直接@了OpenAI和Bing以及微軟高管Mikhail Parakhin，表示非常樂意在競技場中加入GPT-4聯網版或Bing Copilot。

最新消息是，OpenAI的最新模型gpt-4-0125-preview現已入駐競技場，等待用戶參與投票。

Bard超越GPT-4是怎麼回事？

Chatbot Arena是一個大模型權威名單，由UC柏克萊研究人員主導的Imsys（Large Model Systems Organization）組織創建。

此排行榜採用匿名1V1battle的投票規則，基於Elo評級系統排名。

具體來說，投票頁面如下，兩個模型Model A和B都匿名，用戶在提出多個問題後對模型的回答打分，總共有四個選項：A更好、B更好、A和B一樣好，A和B都不好。

值得一提的是，如果在問答過程中，模型身分洩露，那麼該投票作廢。

根據目前榜單，競技場中有56個大模型：

先前GPT-4憑藉著“遙遙領先」的評分，長期霸榜，然而新版Bard發布後，直接超越GPT-4的兩個版本衝到了第二名，和第一名的GPT-4 Turbo只差34分：

更詳細一點，在所有沒有平手的Model A對B的對決中，Model A獲勝的比例如下：

還有每一對模型組合的單挑次數

（無平手）：

此外，Chatbot Arena排行榜也使用自助法對Elo評分估計進行1000次隨機抽樣，從而評估信賴區間等。

單一模型相對於其他所有模型的平均勝率如下：

不過值得注意的是，Arena排行榜是即時的，Bard目前雖然排名第二，但總共只有3000多票。

相對而言，GPT-4 Turbo的票數已經達到了30000 ，被超越的兩個版本的票數也都是Bard的數倍。

而現在GPT-4最新版本已入場（雖然還沒有在排行榜上更新），後續結果還要再坐等一波～

#參考連結：https://twitter.com/lmsysorg/status/1752035632489300239。

以上是GPT-4不服被Bard反超：最新模型已入場的詳細內容。更多資訊請關注PHP中文網其他相關文章！