為何說小語言模式是AI界的下一大熱門?
譯者| 布加迪
已審校| 重樓
#。 #在AI領域,科技巨擘們一直在競相建構越來越龐大的語言模型,如今出現了一個令人驚訝的新趨勢:小##就是大。隨著大語言模型(LLM)方面的進展出現了停滯的跡象,研究人員和開發人員日益開始將注意力轉向小語言模型(SLM)#。這種緊湊、高效、適應性強的AI模型正在挑戰「 #越大越好」這個觀念,有望改變我們對待AI開發的方式。
LLM是否開始停滯?
Vellum#和HuggingFace最近發布的效能比較結果表明,LLM之間的效能差距正在迅速縮小。這個趨勢在多項選擇題、推理和數學問題等特定任務中體現得#特別 #;在這些任務中,各大模型之間的效能差異很小。 例如在多項選擇題中,Claude 3 Opus、##GPT-4和
Gemini Ultra的#準確率#都在83%#以上,而在推理任務中,Claude 3 Opus、GPT-4和Gemini 1.5 Pro的準確率超過92%。 有意思#的是,#較小的模型(例如Mixtral 8x7B#和Llama 2 - 70B)在某些方面也顯示出
了讓人驚訝的結果,例如推理和多項選擇題; 在這些方面,小模型的表現勝過一些大模型。這表明模型的大小可能不是決定效能的唯一因素,而架構、訓練資料和微調技術等其他方面可能發揮重要作用。 Uber AI前負責人、《重啟人工智慧》(Rebooting AI)一書的作者Gary Marcus表示:「如果看一下最近發表的十幾篇文章,它們大體上
都與GPT-4處於同一個水準。 ##AI。 Marcus週四接受了IT外媒《VentureBeat》#的採訪。 「其中一些比GPT-4好一點,但沒有大的飛躍。
,一年多的時間裡#並沒有任何大的飛躍。 ”隨著性能差距繼續縮小,更多的模型顯示出相當有競爭力的結果,這引發了LLM是否真的開始#停滯的問題。如果這種趨勢持續下去,可能會對語言模型的未來開發和部署產生重大影響,#人們關注的重心可能會由一味增加模型大小轉向
###探索更有效######、######更專######門化### ###的######架構######上。 ############LLM方法的缺點
#雖然不可否認##LLM #功能強大,但也有明顯的缺點。首先,訓練LLM需要大量的數據,需要數十億甚至數萬億個參數。這使得訓練過程極其耗費資源,訓練和運行LLM所需的算力 和能耗也是驚人的。這導致了成本高企,使得小組織或個人很難參與核心LLM開發。在去年麻省理工學院組織的一次活動上,OpenAI執行長##Sam Altman表示,訓練GPT-4的成本至少為1億美元。
處理LLM所所需的工具和技術的複雜性也將一條陡峭的學習曲線擺在開發人員的面前,進一步限制了可訪問性。從模型訓練到建置和部署,開發人員面臨的週期很長,這減慢了開發和試驗的速度。劍橋大學最近的一篇論文顯示,公司部署單單一個機器學習模型就可能要花90天或更長的#。
LLM的另一個重要問題是它們傾向於產生幻覺—#生成看似合理但實際上並不真實的輸出。這源自於LLM被訓練成基於訓練資料中的模式來預測下一個最有可能的單字的方式,而不是#真正了解訊息。 因此,LLM可以自信地做出虛假陳述,編造事實或以荒謬的方式組合不相關的概念。偵測與減輕這種幻覺現象#是發展可靠的語言模型##面對#的老大難問題。
Marcus警告:「如果你用LLM來解決重大問題,你不想侮辱客戶#、得到錯誤的醫療訊息,或用它來駕駛汽車。解釋和調試,解釋和調試對於對
模型的輸出建立信任#至關重要。訓練資料和演算法中的偏差可能導致不公平、不準確甚至有害的輸出。正如我們在GoogleGemini#中看到,使LLM「# 安全」而可靠的技術也會降低其效能。此外,LLM的集中性質引發了對權力和控制權集中在少數大型科技公司手中的擔憂。 小語言模型(SLM)登場
這時候小語言模型登場了。
SLM是LLM的精簡版,參數更少,設計更簡單。 它們所需的資料和訓練時間更短,只需幾分鐘或幾個小時,而LLM需要幾天。這使得SLM部署在本地或小型設備上來得更高效更簡單。 SLM的主要優點之一是它們適合特定的應用環境。 由於
它們關注的範圍更狹小,需要更少的數據,所以比大型通用模型更容易針對特定領域或任務進行微調。這種客製化使公司能夠創建對其特定需求而言非常有有效的SLM,例如情緒分析、命名實體辨識或特定領域的問題回答。與使用通用模型相比,SLM的專門化特性可以提升其在這些目標應用環境的效能和效率。
SLM的另一個好處是有望增強隱私和安全性。使用更小的程式碼庫和更簡單的架構,SLM更容易審計,並且不太可能出現意外漏洞。這使得它們對於處理敏感資料的應用環境相當有吸引力,例如在醫療保健或金融領域,資料外洩可能釀成嚴重後果。此外,SLM的運算需求減少,使得它們更適合在本地設備或本地伺服器上運行,而不是依賴雲端基礎設施。這種本地處理可以進一步提高資料安全性,並降低資料在傳輸過程中暴露的風險。
與LLM#相比,SLM在特定領域內更不容易出現未被發現的幻覺。 SLM通常使用預期領域或應用環境特有的更狹窄、更有針對性的資料集進行訓練,這有助於模型學習與其任務最相關的模式、詞彙表和資訊。這就降低了產生不相關、意外或不一致輸出的可能性。 由於使用更少的參數和更精簡的架構,SLM不太容易捕獲和放大訓練資料中的雜訊音或錯誤。
AI初創公司HuggingFace的執行長Clem Delangue表示,高達99%的用例可以使用SLM來解決,並預測2024年將會是SLM元年。 HuggingFace的平台使開發人員能夠建立、訓練和部署機器學習模型,該公司今年稍早宣布與Google建立策略合作夥伴關係。兩家公司隨後將HuggingFace整合到Google的Vertex AI中,讓開發人員可以透過GoogleVertex Model Garden快速部署數千個模型。
GoogleGemma受到追捧
#在最初將LLM方面的優勢拱手讓給OpenAI之後,Google#正積極抓住SLM機會。早在2月份,Google就推出了Gemma,這是一系列新的小語言模型,旨在提高效率和用戶友善性。與其他SLM一樣,Gemma型號可以在各種普通設備上運行,例如智慧型手機、平板電腦或筆記型電腦,不需要特殊的硬體或全面的最佳化。
自Gemma發布以來,經過訓練的模型上個月在HuggingFace上的下載量已經超過40萬次,而且已湧現出了幾個令人興奮的項目。比如說,Cerule是一個功能強大的圖像和語言模型,它結合了Gemma 2B和Google的SigLIP,#使用大量的圖像和文字資料集進行了訓練。 Cerule利用高效的資料選擇技術,可以在不需要大量資料或運算的情況下實現高效能。這意味著Cerule可能非常適合新興的邊緣運算用例。
另一個例子是CodeGemma,它是Gemma的專門版,專注於編程和數學推理。 CodeGemma為各種編程相關的活動提供了三種不同的模型,使高階程式設計##工具對開發人員來說更容易存取、更有效率。
小語言模型的巨大潛力
隨著AI社群繼續探索小語言模型的潛力,更快的開發週期、更高的效率以及能夠根據特定需求自訂模型等優點變得越來越明顯。 SLM有望透過帶來具有成本效益、具有針對性的解決方案,普及AI訪問,並推動產業創新。在邊緣部署SLM為金融、娛樂、汽車系統、教育、電子商務和醫療保健等行業領域的即時、個人化和安全的應用系統帶來了新的可能性。
透過在本地處理資料並減少對雲端基礎設施的依賴,結合SLM的邊緣運算可以縮短回應時間、增強資料隱私和改進使用者體驗。這種去中心化的AI方法有望#改變企業與科技進行#互動的方式,在真實世界中創造更個人化更直覺的體驗。由於LLM面臨與運算資源相關的挑戰,可能遇到效能瓶頸,因此,LLM的興起有望使##AI生態系統繼續以驚人的步伐發展。
原文標題:#Why small language models are the next big thing in AI#,作者:James Thomason
以上是為何說小語言模式是AI界的下一大熱門?的詳細內容。更多資訊請關注PHP中文網其他相關文章!

熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

Video Face Swap
使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

熱工具

記事本++7.3.1
好用且免費的程式碼編輯器

SublimeText3漢化版
中文版,非常好用

禪工作室 13.0.1
強大的PHP整合開發環境

Dreamweaver CS6
視覺化網頁開發工具

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

本站6月27日訊息,剪映是由位元組跳動旗下臉萌科技開發的一款影片剪輯軟體,依託於抖音平台且基本面向該平台用戶製作短影片內容,並相容於iOS、安卓、Windows 、MacOS等作業系統。剪映官方宣布會員體系升級,推出全新SVIP,包含多種AI黑科技,例如智慧翻譯、智慧劃重點、智慧包裝、數位人合成等。價格方面,剪映SVIP月費79元,年費599元(本站註:折合每月49.9元),連續包月則為59元每月,連續包年為499元每年(折合每月41.6元) 。此外,剪映官方也表示,為提升用戶體驗,向已訂閱了原版VIP

譯者|布加迪審校|重樓本文介紹如何使用GroqLPU推理引擎在JanAI和VSCode中產生超快速反應。每個人都致力於建立更好的大語言模型(LLM),例如Groq專注於AI的基礎設施方面。這些大模型的快速響應是確保這些大模型更快捷響應的關鍵。本教學將介紹GroqLPU解析引擎以及如何在筆記型電腦上使用API和JanAI本地存取它。本文也將把它整合到VSCode中,以幫助我們產生程式碼、重構程式碼、輸入文件並產生測試單元。本文將免費創建我們自己的人工智慧程式設計助理。 GroqLPU推理引擎簡介Groq

透過將檢索增強生成和語意記憶納入AI編碼助手,提升開發人員的生產力、效率和準確性。譯自EnhancingAICodingAssistantswithContextUsingRAGandSEM-RAG,作者JanakiramMSV。雖然基本AI程式設計助理自然有幫助,但由於依賴對軟體語言和編寫軟體最常見模式的整體理解,因此常常無法提供最相關和正確的程式碼建議。這些編碼助手產生的代碼適合解決他們負責解決的問題,但通常不符合各個團隊的編碼標準、慣例和風格。這通常會導致需要修改或完善其建議,以便將程式碼接受到應

想了解更多AIGC的內容,請造訪:51CTOAI.x社群https://www.51cto.com/aigc/譯者|晶顏審校|重樓不同於網路上隨處可見的傳統問題庫,這些問題需要跳脫常規思維。大語言模型(LLM)在數據科學、生成式人工智慧(GenAI)和人工智慧領域越來越重要。這些複雜的演算法提升了人類的技能,並在許多產業中推動了效率和創新性的提升,成為企業保持競爭力的關鍵。 LLM的應用範圍非常廣泛,它可以用於自然語言處理、文字生成、語音辨識和推薦系統等領域。透過學習大量的數據,LLM能夠產生文本

大型語言模型(LLM)是在龐大的文字資料庫上訓練的,在那裡它們獲得了大量的實際知識。這些知識嵌入到它們的參數中,然後可以在需要時使用。這些模型的知識在訓練結束時被「具體化」。在預訓練結束時,模型實際上停止學習。對模型進行對齊或進行指令調優,讓模型學習如何充分利用這些知識,以及如何更自然地回應使用者的問題。但是有時模型知識是不夠的,儘管模型可以透過RAG存取外部內容,但透過微調使用模型適應新的領域被認為是有益的。這種微調是使用人工標註者或其他llm創建的輸入進行的,模型會遇到額外的實際知識並將其整合

機器學習是人工智慧的重要分支,它賦予電腦從數據中學習的能力,並能夠在無需明確編程的情況下改進自身能力。機器學習在各個領域都有廣泛的應用,從影像辨識和自然語言處理到推薦系統和詐欺偵測,它正在改變我們的生活方式。機器學習領域存在著多種不同的方法和理論,其中最具影響力的五種方法被稱為「機器學習五大派」。這五大派分別為符號派、聯結派、進化派、貝葉斯派和類推學派。 1.符號學派符號學(Symbolism),又稱符號主義,強調利用符號進行邏輯推理和表達知識。該學派認為學習是一種逆向演繹的過程,透過現有的

編輯|ScienceAI問答(QA)資料集在推動自然語言處理(NLP)研究中發揮著至關重要的作用。高品質QA資料集不僅可以用於微調模型,也可以有效評估大語言模型(LLM)的能力,尤其是針對科學知識的理解和推理能力。儘管目前已有許多科學QA數據集,涵蓋了醫學、化學、生物等領域,但這些數據集仍有一些不足之處。其一,資料形式較為單一,大多數為多項選擇題(multiple-choicequestions),它們易於進行評估,但限制了模型的答案選擇範圍,無法充分測試模型的科學問題解答能力。相比之下,開放式問答

本文將第二屆OpenHarmony技術大會上展示的《在OpenHarmony本地部署大語言模型》成果開源,開源位址:https://gitee.com/openharmony-sig/tpc_c_cplusplus/blob/master/thirdparty/InferLLM/docs/ hap_integrate.md。實作思路與步驟移植輕量級LLM模型推理架構InferLLM到OpenHarmony標準系統,編譯出能在OpenHarmony運作的二進位產物。 InferLLM是個簡單又有效率的L
