螞蟻集團發布新演算法,可加快大型模型推理速度2-6倍
近日,螞蟻集團開源了一套新演算法,可幫助大模型在推理時,提速2至6倍,引起業界關注。
圖:新演算法在不同開源大模型上的提速表現。
這套新演算法名為Lookahead推理加速框架,能做到效果無損,即插即用,演算法已在螞蟻大量場景進行了落地,大幅降低了推理耗時。
以Llama2-7B-chat模型和Dolly資料集為例,我們進行了實測,並發現token生成速度從48.2個/秒提升到112.9個/秒,提速了2.34倍。在螞蟻內部的RAG(檢索增強生成)資料集上,百靈大模型AntGLM 10B版本的加速比達到了5.36。同時,顯存增加和記憶體消耗幾乎可以忽略不計。
目前的大型模型通常是基於自迴歸解碼,每次只產生一個token。這種方式不僅浪費了GPU的平行處理能力,也導致使用者體驗延遲過高,影響了流暢度。為了改善這個問題,可以嘗試採用平行解碼方式,同時產生多個token,以提高效率和使用者體驗。
舉個例子,原來的token產生過程可以比喻為早期中文輸入法的方式,使用者需要一個字一個字地敲擊鍵盤來輸入文字。然而,採用了螞蟻的加速演算法後,token生成的過程就像是現代聯想輸入法,可以透過聯想功能直接跳出整句話。這樣的改進大大提高了輸入速度和效率。
業內先前已經湧現了一些最佳化演算法,主要專注於產生更優質的草稿(即猜測生成token序列)的方法。然而,經過實務驗證,一旦草稿的長度超過30個token,端到端推理的效率就無法再進一步提高。很明顯,這個長度並沒有充分發揮GPU的運算能力。
為了進一步提升硬體效能,螞蟻Lookahead推理加速演算法採用了多分支的策略。這意味著草稿序列不再只有一條分支,而是包含多個並行的分支,這些分支可以同時進行驗證。這樣一來,在保持前向過程的耗時基本不變的情況下,可以增加一次前向過程產生的token個數。
螞蟻Lookahead推理加速演算法透過利用trie樹儲存和檢索token序列,以及合併多條草稿中相同的父節點,進一步提高了計算效率。為了提高易用性,演算法的trie樹構建不依賴額外的草稿模型,而是只利用推理過程中的prompt和產生的回答進行動態構建,從而降低了用戶的存取成本。
此演算法現已在GitHub上開源(https://www.php.cn/link/51200d29d1fc15f5a71c1dab4bb54f7c),相關論文公佈在ARXIV(https://www .php.cn/link/24a29a235c0678859695b10896513b3d)。
公開資訊顯示,螞蟻集團基於豐富的業務場景需求,在人工智慧方向持續投入,佈局了包括大模型、知識圖譜、運籌優化、圖學習、可信AI等技術領域。
以上是螞蟻集團發布新演算法,可加快大型模型推理速度2-6倍的詳細內容。更多資訊請關注PHP中文網其他相關文章!

熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

Video Face Swap
使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

熱工具

記事本++7.3.1
好用且免費的程式碼編輯器

SublimeText3漢化版
中文版,非常好用

禪工作室 13.0.1
強大的PHP整合開發環境

Dreamweaver CS6
視覺化網頁開發工具

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

但可能打不過公園裡的老大爺?巴黎奧運正在如火如荼地進行中,乒乓球項目備受關注。同時,機器人打乒乓球也取得了新突破。剛剛,DeepMind提出了第一個在競技乒乓球比賽中達到人類業餘選手等級的學習型機器人智能體。論文地址:https://arxiv.org/pdf/2408.03906DeepMind這個機器人打乒乓球什麼程度呢?大概和人類業餘選手不相上下:正手反手都會:對手採用多種打法,機器人也能招架得住:接不同旋轉的發球:不過,比賽激烈程度似乎不如公園老大爺對戰。對機器人來說,乒乓球運動

8月21日,2024世界機器人大會在北京隆重召開。商湯科技旗下家用機器人品牌「元蘿蔔SenseRobot」家族全系產品集體亮相,並最新發布元蘿蔔AI下棋機器人-國際象棋專業版(以下簡稱「元蘿蔔國象機器人」),成為全球首個走進家庭的西洋棋機器人。作為元蘿蔔的第三款下棋機器人產品,全新的國象機器人在AI和工程機械方面進行了大量專項技術升級和創新,首次在家用機器人上實現了透過機械爪拾取立體棋子,並進行人機對弈、人人對弈、記譜複盤等功能,

開學將至,該收心的不只即將開啟新學期的同學,可能還有AI大模型。前段時間,Reddit擠滿了吐槽Claude越來越懶的網友。 「它的水平下降了很多,經常停頓,甚至輸出也變得很短。在發布的第一周,它可以一次性翻譯整整4頁文稿,現在連半頁都輸出不了!」https:// www.reddit.com/r/ClaudeAI/comments/1by8rw8/something_just_feels_wrong_with_claude_in_the/在一個名為“對Claude徹底失望了的帖子裡”,滿滿地

在北京舉行的世界機器人大會上,人形機器人的展示成為了現場絕對的焦點,在星塵智能的展台上,由於AI機器人助理S1在一個展區上演揚琴、武術、書法三台大戲,能文能武,吸引了大量專業觀眾和媒體的駐足。在有彈性的琴弦上優雅的演奏,讓S1展現出速度、力度、精準度兼具的精細操作與絕對掌控。央視新聞對「書法」背後的模仿學習和智慧控制進行了專題報道,公司創始人來傑解釋到,絲滑動作的背後,是硬體側追求最好力控和最仿人身體指標(速度、負載等),而是在AI側則採集人的真實動作數據,讓機器人遇強則強,快速學習進化。而敏捷

本屆ACL大會,投稿者「收穫滿滿」。為期六天的ACL2024正在泰國曼谷舉辦。 ACL是計算語言學和自然語言處理領域的頂級國際會議,由國際計算語言學協會組織,每年舉辦一次。一直以來,ACL在NLP領域的學術影響力都名列第一,它也是CCF-A類推薦會議。今年的ACL大會已是第62屆,接收了400餘篇NLP領域的前沿工作。昨天下午,大會公佈了最佳論文等獎項。此次,最佳論文獎7篇(兩篇未公開)、最佳主題論文獎1篇、傑出論文獎35篇。大會也評出了資源論文獎(ResourceAward)3篇、社會影響力獎(

視覺與機器人學習的深度融合。當兩隻機器手絲滑地互相合作疊衣服、倒茶、將鞋子打包時,加上最近老上頭條的1X人形機器人NEO,你可能會產生一種感覺:我們似乎開始進入機器人時代了。事實上,這些絲滑動作正是先進機器人技術+精妙框架設計+多模態大模型的產物。我們知道,有用的機器人往往需要與環境進行複雜精妙的交互,而環境則可被表示成空間域和時間域上的限制。舉個例子,如果要讓機器人倒茶,那麼機器人首先需要抓住茶壺手柄並使之保持直立,不潑灑出茶水,然後平穩移動,一直到讓壺口與杯口對齊,之後以一定角度傾斜茶壺。這

會議簡介隨著科技的快速發展,人工智慧成為了推動社會進步的重要力量。在這個時代,我們有幸見證並參與分散式人工智慧(DistributedArtificialIntelligence,DAI)的創新與應用。分散式人工智慧是人工智慧領域的重要分支,這幾年引起了越來越多的關注。基於大型語言模型(LLM)的智能體(Agent)異軍突起,透過結合大模型的強大語言理解和生成能力,展現了在自然語言互動、知識推理、任務規劃等方面的巨大潛力。 AIAgent正在接棒大語言模型,成為目前AI圈的熱門話題。 Au

今天下午,鸿蒙智行正式迎来了新品牌与新车。8月6日,华为举行鸿蒙智行享界S9及华为全场景新品发布会,带来了全景智慧旗舰轿车享界S9、问界新M7Pro和华为novaFlip、MatePadPro12.2英寸、全新MatePadAir、华为毕昇激光打印机X1系列、FreeBuds6i、WATCHFIT3和智慧屏S5Pro等多款全场景智慧新品,从智慧出行、智慧办公到智能穿戴,华为全场景智慧生态持续构建,为消费者带来万物互联的智慧体验。鸿蒙智行:深度赋能,推动智能汽车产业升级华为联合中国汽车产业伙伴,为
