譯者| 布加迪
已審校| 重樓
#。 #在AI領域，科技巨擘們一直在競相建構越來越龐大的語言模型，如今出現了一個令人驚訝的新趨勢：小##就是大。隨著大語言模型（LLM）方面的進展出現了停滯的跡象，研究人員和開發人員日益開始將注意力轉向小語言模型（SLM）#。這種緊湊、高效、適應性強的AI模型正在挑戰「 #越大越好」這個觀念，有望改變我們對待AI開發的方式。
LLM是否開始停滯？
Vellum#和HuggingFace最近發布的效能比較結果表明，LLM之間的效能差距正在迅速縮小。這個趨勢在多項選擇題、推理和數學問題等特定任務中體現得#特別 #;在這些任務中，各大模型之間的效能差異很小。 例如在多項選擇題中，Claude 3 Opus、##GPT-4和
Gemini Ultra
的#準確率#都在83%#以上，而在推理任務中，Claude 3 Opus、GPT-4和Gemini 1.5 Pro的準確率超過92%。 有意思#的是，#較小的模型（例如Mixtral 8x7B#和Llama 2 - 70B）在某些方面也顯示出
了讓人驚訝
的結果，例如推理和多項選擇題； 在這些方面，小模型的表現勝過一些大模型。這表明模型的大小可能不是決定效能的唯一因素，而架構、訓練資料和微調技術等其他方面可能發揮重要作用。 Uber AI前負責人、《重啟人工智慧》（Rebooting AI）一書的作者Gary Marcus表示：「如果看一下最近發表的十幾篇文章，它們大體上
都與
GPT-4處於同一個水準。 ##AI。 Marcus週四接受了IT外媒《VentureBeat》#的採訪。 「其中一些比GPT-4好一點，但沒有大的飛躍。
，一年多的時間裡#並沒有任何大的飛躍。 ”隨著性能差距繼續縮小，更多的模型顯示出相當有競爭力的結果，這引發了LLM是否真的開始#停滯的問題。如果這種趨勢持續下去，可能會對語言模型的未來開發和部署產生重大影響，#人們關注的重心可能會由一味增加模型大小轉向
###探索更有效######、######更專######門化### ###的######架構######上。 ############
LLM方法的缺點
#雖然不可否認##LLM #功能強大，但也有明顯的缺點。首先，訓練LLM需要大量的數據，需要數十億甚至數萬億個參數。這使得訓練過程極其耗費資源，訓練和運行LLM所需的算力 和能耗也是驚人的。這導致了成本高企，使得小組織或個人很難參與核心LLM開發。在去年麻省理工學院組織的一次活動上，OpenAI執行長##Sam Altman表示，訓練GPT-4的成本至少為1億美元。
處理LLM所
所需的工具和技術的複雜性也將一條陡峭的學習曲線擺在開發人員的面前，進一步限制了可訪問性。從模型訓練到建置和部署，開發人員面臨的週期很長，這減慢了開發和試驗的速度。劍橋大學最近的一篇論文顯示，公司部署單單一個機器學習模型就可能要花90天或更長的#。
LLM的另一個重要問題是
它們傾向於產生幻覺—#生成看似合理但實際上並不真實的輸出。這源自於LLM被訓練成基於訓練資料中的模式來預測下一個最有可能的單字的方式，而不是#真正了解訊息。 因此，LLM可以自信地做出虛假陳述，編造事實或以荒謬的方式組合不相關的概念。偵測與減輕這種幻覺現象#是發展可靠的語言模型##面對#的老大難問題。
Marcus警告：「如果你用LLM來解決重大問題，你不想侮辱客戶#、得到錯誤的醫療訊息，或用它來駕駛汽車。解釋和調試，解釋和調試對於對
模型的輸出建立信任#至關重要。訓練資料和演算法中的偏差可能導致不公平、不準確甚至有害的輸出。正如我們在GoogleGemini#中看到，使LLM「# 安全」而可靠的技術也會降低其效能。此外，LLM的集中性質引發了對權力和控制權集中在少數大型科技公司手中的擔憂。 小語言模型（SLM）登場
這時候小語言模型登場了。
SLM是LLM的精簡版，參數更少，設計更簡單。 它們所需的資料和訓練時間更短，只需幾分鐘或幾個小時，而LLM需要幾天。這使得SLM部署在本地或小型設備上來得更高效更簡單。 SLM的主要優點之一是它們適合特定的應用環境。 由於
它們關注的範圍更狹小，需要更少的數據，所以比大型通用模型更容易針對特定領域或任務進行微調。這種客製化使公司能夠創建對其特定需求而言非常有有效的SLM，例如情緒分析、命名實體辨識或特定領域的問題回答。與使用通用模型相比，SLM的專門化特性可以提升其在這些目標應用環境的效能和效率。
SLM的另一個好處是有望增強隱私和安全性。使用更小的程式碼庫和更簡單的架構，SLM更容易審計，並且不太可能出現意外漏洞。這使得它們對於處理敏感資料的應用環境相當有吸引力，例如在醫療保健或金融領域，資料外洩可能釀成嚴重後果。此外，SLM的運算需求減少，使得它們更適合在本地設備或本地伺服器上運行，而不是依賴雲端基礎設施。這種本地處理可以進一步提高資料安全性，並降低資料在傳輸過程中暴露的風險。
與LLM#相比，SLM在特定領域內更不容易出現未被發現的幻覺。 SLM通常使用預期領域或應用環境特有的更狹窄、更有針對性的資料集進行訓練，這有助於模型學習與其任務最相關的模式、詞彙表和資訊。這就降低了產生不相關、意外或不一致輸出的可能性。 由於使用更少的參數和更精簡的架構，SLM不太容易捕獲和放大訓練資料中的雜訊音或錯誤。
AI初創公司HuggingFace的執行長Clem Delangue表示，高達99%的用例可以使用SLM來解決，並預測2024年將會是SLM元年。 HuggingFace的平台使開發人員能夠建立、訓練和部署機器學習模型，該公司今年稍早宣布與Google建立策略合作夥伴關係。兩家公司隨後將HuggingFace整合到Google的Vertex AI中，讓開發人員可以透過GoogleVertex Model Garden快速部署數千個模型。
GoogleGemma受到追捧
#在最初將LLM方面的優勢拱手讓給OpenAI之後，Google#正積極抓住SLM機會。早在2月份，Google就推出了Gemma，這是一系列新的小語言模型，旨在提高效率和用戶友善性。與其他SLM一樣，Gemma型號可以在各種普通設備上運行，例如智慧型手機、平板電腦或筆記型電腦，不需要特殊的硬體或全面的最佳化。
自Gemma發布以來，經過訓練的模型上個月在HuggingFace上的下載量已經超過40萬次，而且已湧現出了幾個令人興奮的項目。比如說，Cerule是一個功能強大的圖像和語言模型，它結合了Gemma 2B和Google的SigLIP，#使用大量的圖像和文字資料集進行了訓練。 Cerule利用高效的資料選擇技術，可以在不需要大量資料或運算的情況下實現高效能。這意味著Cerule可能非常適合新興的邊緣運算用例。
另一個例子是CodeGemma，它是Gemma的專門版，專注於編程和數學推理。 CodeGemma為各種編程相關的活動提供了三種不同的模型，使高階程式設計##工具對開發人員來說更容易存取、更有效率。
小語言模型的巨大潛力
隨著AI社群繼續探索小語言模型的潛力，更快的開發週期、更高的效率以及能夠根據特定需求自訂模型等優點變得越來越明顯。 SLM有望透過帶來具有成本效益、具有針對性的解決方案，普及AI訪問，並推動產業創新。在邊緣部署SLM為金融、娛樂、汽車系統、教育、電子商務和醫療保健等行業領域的即時、個人化和安全的應用系統帶來了新的可能性。
透過在本地處理資料並減少對雲端基礎設施的依賴，結合SLM的邊緣運算可以縮短回應時間、增強資料隱私和改進使用者體驗。這種去中心化的AI方法有望#改變企業與科技進行#互動的方式，在真實世界中創造更個人化更直覺的體驗。由於LLM面臨與運算資源相關的挑戰，可能遇到效能瓶頸，因此，LLM的興起有望使##AI生態系統繼續以驚人的步伐發展。
原文標題：#Why small language models are the next big thing in AI#，作者：James Thomason
