深入探討模型、資料與架構:一份詳盡的54頁高效能大語言模型綜述
大規模語言模型(LLMs)在許多重要任務中展現出了引人注目的能力,包括自然語言理解、語言生成和複雜推理,並對社會產生了深遠的影響。然而,這些出色的能力卻需要大量的訓練資源(如左圖)和較長的推理時間(如右圖)。因此,研究人員需要開發有效的技術手段來解決它們的效率問題。
此外,從圖的右邊還可以看出,一些高效率的LLMs(Language Models)如Mistral-7B,已經成功應用於LLMs的設計和部署。這些高效的LLMs在保持與LLaMA1-33B相近的準確性的同時,能夠大大減少推理記憶體使用和降低推理延遲。這顯示已經有一些可行的高效方法成功地應用於LLMs的設計和使用。
在本篇綜述中,來自俄亥俄州立大學、帝國學院、密西根州立大學、密西根大學、亞馬遜、Google、Boson AI、微軟亞研院的研究者提供了對高效LLMs 研究的系統性全面調查。他們將現有優化 LLMs 效率的技術分成了三個類別,包括以模型為中心、以數據為中心和以框架為中心,總結並討論了當下最前沿的相關技術。
- #論文:https://arxiv.org/abs/2312.03863
- GitHub: https://github.com/AIoT-MLSys-Lab/Efficient-LLMs-Survey
##為了方便整理綜述中所涉及的論文,並保持更新,研究者創建了一個GitHub 倉庫,並積極維護。他們希望這個倉庫能夠幫助研究人員和從業者有系統地了解高效 LLMs 的研究和發展,並激發他們為這個重要而令人興奮的領域做出貢獻。
倉庫的網址是https://github.com/AIoT-MLSys-Lab/Efficient-LLMs-Survey。在這個倉庫中,你可以找到關於高效能低功耗機器學習系統的調查的相關內容。這個倉庫提供了一些研究論文、程式碼和文檔,幫助人們更好地了解和探索高效低功耗的機器學習系統。如果你對這個領域感興趣,可以透過造訪這個倉庫來獲取更多的資訊。
以模型為中心
以模型為中心的方法專注於演算法層面和系統層面的高效技術,其中模型本身是焦點。由於 LLMs 具有數十億甚至數萬億的參數,與規模較小的模型相比,它們具有諸如湧現等獨特的特徵,因此需要開發新的技術來優化 LLMs 的效率。本文詳細討論了五類以模型為中心的方法,包括模型壓縮、高效預訓練、高效微調、高效推理和高效模型架構設計。
1. 壓縮模型 在機器學習領域,模型的大小通常是重要的考量。大型的模型往往需要更多的儲存空間和運算資源,而且在行動裝置上運行時可能會遇到限制。因此,壓縮模型是常用的技術,可以減少模型的大小
模型壓縮技術主要分為四類:量化、參數剪枝、低秩估計和知識蒸餾(參見下圖),其中量化會把模型的權重或者激活值從高精度壓縮到低精度,參數剪枝會搜索並刪除模型權重中較為冗餘的部分,低秩估計會將模型的權重矩陣轉換為若干低秩小矩陣的乘積,知識蒸餾則是直接用大模型來訓練小模型,使得小模型在做某些任務的時候具有取代大模型的能力。
2. 高效能預訓練
#預訓練LLMs 的成本非常昂貴。高效預訓練旨在提高效率並降低 LLMs 預訓練過程的成本。高效能預訓練又可分為混合精度加速、模型縮放、初始化技術、最佳化策略和系統層級的加速。
混合精度加速透過使用低精度權重計算梯度、權重和激活值,然後在將其轉換回高精度並應用於更新原始權重,從而提高預訓練的效率。模型縮放透過使用小型模型的參數來擴展到大型模型,加速預訓練的收斂並降低訓練成本。初始化技術透過設計模型的初始化取值來加快模型的收斂速度。最佳化策略是重在設計輕量的最佳化器來降低模型訓練過程中的記憶體消耗,系統層級的加速則是透過分散式等技術來從系統層面加速模型的預訓練。
3. 高效能微調
高效能微調旨在提高LLMs 微調過程的效率。常見的高效微調技術分為了兩類,一類是基於參數高效的微調,一類是基於記憶體高效的微調。
基於參數高效能微調(PEFT)的目標是透過凍結整個 LLM 主幹,僅更新一小組額外的參數,將 LLM 調整到下游任務。在論文中,我們又將 PEFT 詳細分成了基於適配器的微調、低秩適配、前綴微調和提示詞微調。
基於記憶體的高效微調則是重在降低整個 LLM 微調過程中的記憶體消耗,例如減少最佳化器狀態和啟動值等消耗的記憶體。
4. 高效能推理
高效推理旨在提高LLMs 推理過程的效率。研究者將常見的高效推理技術分成了兩大類,一類是演算法層級的推理加速,一類是系統層級的推理加速。
演算法層級的推理加速又可以分成兩類:投機解碼和 KV - 快取最佳化。投機解碼透過使用較小的草稿模型並行計算令牌,為較大目標模型建立猜測性前綴,從而加速取樣過程。 KV - 快取最佳化指的是最佳化在 LLMs 推理過程中 Key-Value(KV)對的重複計算。
系統層級的推理加速則是在指定硬體上最佳化記憶體存取次數,增大演算法並行量等來加速 LLM 的推理。
5. 高效能模型架構設計
對LLMs 進行高效架構設計是指透過策略性優化模型結構和計算過程,以提高效能和可擴展性,同時最小化資源消耗。我們將高效率的模型架構設計依據模型的種類分成了四大類:高效注意力模組、混合專家模型、長文本大模型以及可取代 transformer 的架構。
高效注意力模組旨在優化注意力模組中的複雜計算及記憶體佔用,混合專家模型(MoE)則是透過將LLMs 的某些模組的推理決策使用多個小的專家模型來替代從而達到整體的稀疏化,長文本大模型是專門設計來高效處理超長文本的LLMs, 可替代transformer 的架構則是透過重新設計模型架構,來降低模型的複雜度並達到後transformer 架構相當的推理能力。
以資料為中心
#以資料為中心方法著重於資料的品質和結構在提高LLMs 效率方面的作用。研究者在本文中詳細討論了兩類以資料為中心的方法,包括資料選擇和提示詞工程。
1. 資料選擇
#LLMs 的資料選擇旨在對預訓練/微調數據進行清洗和選擇,例如移除冗餘和無效數據,達到加快訓練過程的目的。
2. 提示字工程
#提示字工程透過設計有效的輸入(提示字)來引導LLMs產生期望的輸出,它的高效之處在於可以透過設計提示詞,來達到和經過將繁瑣的微調相當的模型表現。研究者將常見的的提示詞工程技術分成了三大類:少樣本的提示詞工程、提示詞壓縮和提示詞生成。
少樣本的提示詞工程透過向 LLM 提供有限的範例集以引導其對需要執行的任務進行理解。提示詞壓縮是透過壓縮冗長的提示輸入或學習和使用提示表示,加速 LLMs 對輸入的處理。提示詞產生旨在自動建立有效的提示,引導模型產生具體且相關的回應,而不是使用手動標註的資料。
以框架為中心
研究者調查了近來較為流行的高效LLMs 框架,並列舉了它們所能優化的高效任務,包括預訓練、微調和推理(如下圖)。
總結
#在這份調查中,研究者為大家提供了一份關於高效LLMs 的系統性回顧,這是一個致力於使LLMs 更加民主化的重要研究領域。他們一開始就解釋了為什麼需要高效 LLMs。在一個有序的框架下,本文分別從以模型的中心、以資料的中心和以框架為中心的角度分別調查了 LLMs 的演算法層面和系統層面的高效技術。
研究者相信,在 LLMs 和以 LLMs 為導向的系統中,效率將發揮越來越重要的作用。他們希望這份調查能幫助研究人員和實踐者迅速進入這一領域,並成為激發新的高效 LLMs 研究的催化劑。
以上是深入探討模型、資料與架構:一份詳盡的54頁高效能大語言模型綜述的詳細內容。更多資訊請關注PHP中文網其他相關文章!

熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

Video Face Swap
使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

熱工具

記事本++7.3.1
好用且免費的程式碼編輯器

SublimeText3漢化版
中文版,非常好用

禪工作室 13.0.1
強大的PHP整合開發環境

Dreamweaver CS6
視覺化網頁開發工具

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

DMA在C 中是指DirectMemoryAccess,直接內存訪問技術,允許硬件設備直接與內存進行數據傳輸,不需要CPU干預。 1)DMA操作高度依賴於硬件設備和驅動程序,實現方式因係統而異。 2)直接訪問內存可能帶來安全風險,需確保代碼的正確性和安全性。 3)DMA可提高性能,但使用不當可能導致系統性能下降。通過實踐和學習,可以掌握DMA的使用技巧,在高速數據傳輸和實時信號處理等場景中發揮其最大效能。

使用C 中的chrono庫可以讓你更加精確地控制時間和時間間隔,讓我們來探討一下這個庫的魅力所在吧。 C 的chrono庫是標準庫的一部分,它提供了一種現代化的方式來處理時間和時間間隔。對於那些曾經飽受time.h和ctime折磨的程序員來說,chrono無疑是一個福音。它不僅提高了代碼的可讀性和可維護性,還提供了更高的精度和靈活性。讓我們從基礎開始,chrono庫主要包括以下幾個關鍵組件:std::chrono::system_clock:表示系統時鐘,用於獲取當前時間。 std::chron

交易所內置量化工具包括:1. Binance(幣安):提供Binance Futures量化模塊,低手續費,支持AI輔助交易。 2. OKX(歐易):支持多賬戶管理和智能訂單路由,提供機構級風控。獨立量化策略平台有:3. 3Commas:拖拽式策略生成器,適用於多平台對沖套利。 4. Quadency:專業級算法策略庫,支持自定義風險閾值。 5. Pionex:內置16 預設策略,低交易手續費。垂直領域工具包括:6. Cryptohopper:雲端量化平台,支持150 技術指標。 7. Bitsgap:

在C 中處理高DPI顯示可以通過以下步驟實現:1)理解DPI和縮放,使用操作系統API獲取DPI信息並調整圖形輸出;2)處理跨平台兼容性,使用如SDL或Qt的跨平台圖形庫;3)進行性能優化,通過緩存、硬件加速和動態調整細節級別來提升性能;4)解決常見問題,如模糊文本和界面元素過小,通過正確應用DPI縮放來解決。

C 在實時操作系統(RTOS)編程中表現出色,提供了高效的執行效率和精確的時間管理。 1)C 通過直接操作硬件資源和高效的內存管理滿足RTOS的需求。 2)利用面向對象特性,C 可以設計靈活的任務調度系統。 3)C 支持高效的中斷處理,但需避免動態內存分配和異常處理以保證實時性。 4)模板編程和內聯函數有助於性能優化。 5)實際應用中,C 可用於實現高效的日誌系統。

在C 中測量線程性能可以使用標準庫中的計時工具、性能分析工具和自定義計時器。 1.使用庫測量執行時間。 2.使用gprof進行性能分析,步驟包括編譯時添加-pg選項、運行程序生成gmon.out文件、生成性能報告。 3.使用Valgrind的Callgrind模塊進行更詳細的分析,步驟包括運行程序生成callgrind.out文件、使用kcachegrind查看結果。 4.自定義計時器可靈活測量特定代碼段的執行時間。這些方法幫助全面了解線程性能,並優化代碼。

C 中使用字符串流的主要步驟和注意事項如下:1.創建輸出字符串流並轉換數據,如將整數轉換為字符串。 2.應用於復雜數據結構的序列化,如將vector轉換為字符串。 3.注意性能問題,避免在處理大量數據時頻繁使用字符串流,可考慮使用std::string的append方法。 4.注意內存管理,避免頻繁創建和銷毀字符串流對象,可以重用或使用std::stringstream。

MySQL批量插入数据的高效方法包括:1.使用INSERTINTO...VALUES语法,2.利用LOADDATAINFILE命令,3.使用事务处理,4.调整批量大小,5.禁用索引,6.使用INSERTIGNORE或INSERT...ONDUPLICATEKEYUPDATE,这些方法能显著提升数据库操作效率。
