Google PaLM 2訓練所用文字資料量是初代的近5倍

5月17日訊息，Google上週在2023年I/O開發者大會上推出最新大型語言模式PaLM 2。公司內部文件顯示，2022年起訓練新模型所使用的文字資料量幾乎是前一代的5倍。

據悉，Google最新發布的PaLM 2能夠執行更高階的程式設計、運算和創意寫作任務。內部文件透露，用於訓練PaLM 2的token數量有3.6兆個。

所謂的token就是字串，人們會將訓練模型所用文字中的句子、段落進行切分，其中的每個字串通常被稱為token。這是訓練大型語言模型的重要組成部分，能教導模型預測序列中接下來會出現哪個單字。

Google於2022年發布的上一代大型語言模型PaLM在訓練中使用了7800億個token。

儘管Google一直熱衷於展示其在人工智慧技術領域的實力，說明如何將人工智慧嵌入到搜尋引擎、電子郵件、文字處理和電子表格中，但一直不願公佈訓練資料的規模或其他細節。微軟支援的OpenAI也對最新發表的GPT-4大型語言模型細節保密。

兩家公司都表示，不透露這些資訊的原因是人工智慧產業存在激烈競爭。 Google和OpenAI都想要吸引那些希望使用聊天機器人而不是傳統搜尋引擎搜尋資訊的用戶。

但隨著人工智慧領域競爭的白熱化，研究界要求提高透明度。

自從推出PaLM 2以來，Google一直表示，新模型比之前的大型語言模型更小，這意味著該公司技術在完成更複雜任務時能變得更有效率。參數（parameters）通常用於說明語言模型的複雜性。根據內部文件，PaLM 2接受了3,400億個參數的訓練，初代的PaLM接受了5,400億個參數的訓練。

Google沒有立即發表評論。

Google在一篇關於PaLM 2的部落格文章中表示，新模型使用了一種名為“計算最優縮放”（compute-optimal scaling）的“新技術”，能使得PaLM 2“更有效率，整體效能更好，例如推理更快、服務參數更少，服務成本也更低。」

在發布PaLM 2時，Google透露新模型接受了100種語言的訓練，並能勝任各種各樣的任務。包括Google試驗性聊天機器人Bard在內的25項功能和產品用的都是PaLM 2。 PaLM 2依參數規模有四個不同的版本，從小到大依序是Gecko（壁虎）、Otter（水獺）、Bison（野牛）和Unicorn（獨角獸）。

根據Google公開披露的信息，PaLM 2比任何現有模型都更強大。 Facebook在今年2月宣布推出名為LLaMA的大型語言模型，在訓練中使用了1.4兆個token。 OpenAI在發布GPT-3時披露了相關訓練規模，當時公司表示，這個模型接受了3000億個token的訓練。今年3月份，OpenAI發布新模型GPT-4，並表示在許多專業測試中表現出「人類水平」。

根據最新文件，Google兩年前推出的語言模型接受了1.5兆個token的訓練。

隨著新的生成式人工智慧應用迅速成為科技業主流，圍繞底層技術的爭議也越來越激烈。

今年2月份，Google研究部門高級科學家埃爾·馬赫迪·埃爾·馬哈迪(El Mahdi El Mhamdi)因公司缺乏透明度而辭職。週二，OpenAI執行長薩姆·奧爾特曼（Sam Altman）在美國參議院司法小組委員會關於隱私和技術的聽證會上出庭作證，也同意用新系統來應對人工智慧。

「對於一項非常新的技術，我們需要一個新的框架，」奧爾特曼說，「當然，像我們這種公司對自己推出的工具負有很大責任。」

以上是Google PaLM 2訓練所用文字資料量是初代的近5倍的詳細內容。更多資訊請關注PHP中文網其他相關文章！