首頁 科技週邊 人工智慧 重磅發布,「類腦科學」或是人工智慧大語言模型算力消耗與上下文長度問題最優解!

重磅發布,「類腦科學」或是人工智慧大語言模型算力消耗與上下文長度問題最優解!

Oct 20, 2023 pm 05:25 PM

在一場科幻與科學的盛會上,科幻突然照進了現實。

近日,在深圳先進院,深圳理工大學教育基金會和科學與幻想成長基金開辦了一場以科幻和AI湧現為背景的活動。一個來自深圳名為陸兮科技的團隊,首次公開發布了他們的人工智慧大語言模型---NLM(Neuromorphic Generative Pre-trained Language Model),一個不基於Transformer的大語言模型。

與國內外眾多的大模型不同的是,該團隊以類腦科學與類腦智能為核心,同時融合循環神經網路的特性,以大腦的高效運算特性為啟發開發大語言模型。

重磅發布,「類腦科學」或是人工智慧大語言模型算力消耗與上下文長度問題最優解!

更驚人的是,該模型在同級參數下的算力消耗為Transformer架構的1/22;在上下文長度問題上,NLM也交出了滿分答案:上下文長度視窗可以實現無限增長,無論是開源LLM的2k限制,又或其他32k,100k的上下文長度限制都不在話下。

什麼是類腦運算?

類腦運算是一種模仿人腦結構和功能的運算模式,它在架構、設計原理和資訊處理方式上模擬人腦的神經網路連結。這種計算不僅僅是簡單地嘗試模擬生物神經網路的表面特徵,而是深入到如何模擬生物神經網路的基本構造方式——即透過神經元和突觸的大規模互聯來處理和儲存序列資訊。

與傳統的基於規則的演算法不同,類腦計算依賴大量的互聯神經網路自主學習和提取訊息,就像人類大腦一樣。這種方法讓計算系統從經驗中學習、適應新情況、理解複雜的模式,並能進行高階決策和預測。

由於其高度的適應性和平行處理能力,類腦運算系統在處理大數據、影像和語音辨識、自然語言處理等領域表現出了極高的效率和準確性。這些系統不僅能快速處理複雜多變的信息,而且在能耗和運算資源上遠低於傳統的運算架構,因為它們不需要進行大量的預先編程和資料輸入。

總的來說,類腦運算開啟了一種全新的計算範式。它超越了傳統的人工神經網絡,朝向著能夠自我學習、自我組織、甚至具有一定自我意識的高階智慧系統邁進。

類別腦大模型的先進性

在活動上,陸兮團隊的周芃博士詳細解釋了類腦大模型的實現機制。

作為新一代的神經網路模型,又稱為類腦神經網絡,它突破了前兩代神經網路的缺點。

-第一代神經網路(又稱:MLP多層感知機),在傳輸訊號上為0和1,無法處理過於複雜的任務,算力開銷也不多。

-第二代神經網絡,也就是人工神經網絡,將傳輸訊號變為了[0-1]的連續區間,有了足夠的複雜度,但是算力開銷也飆升。

- 第三代神經網絡,也就是類腦神經網絡,將訊號變成了脈衝序列,擁有足夠複雜度的同時,也將算力開銷變得可控。這種脈衝序列是模仿神經結構中的動力學特性得以實現的。同時,序列意味著時間,第三代神經網路可以有效的將訊息中的時間資訊融合和輸出。

-相較於前兩代神經網絡,它更有效地處理有時間維度的序列訊息,更有效地認識真實世界。

重磅發布,「類腦科學」或是人工智慧大語言模型算力消耗與上下文長度問題最優解!

基於類腦演算法的大模型,在推理時的原理也和Transformer迥然不同。在推理過程中,Transformer模型和類腦模型的運作機制有顯著差異。每當Transformer模型進行推理時,其將會綜合考慮全部的上下文資訊以產生下一個token。這項操作可以類比為在聊天過程中,每當我們說出一個字時,都需要回想當天所有的經驗。這也是目前大型模型在參數持續成長的同時,其計算成本隨之上升的主因。

相對而言,類腦模型在推理時只需要依賴其內部狀態和一個token。這可以比喻為,我們在說話時脫口而出下一個字是什麼,而不必具體回憶之前的所有情境,說話內容也與之前的經歷有內在關聯。此種機制是NLM能大幅減少算力開銷的關鍵,使其能更接近人類大腦的運作方式,並因此顯著提高了其效能。

重磅發布,「類腦科學」或是人工智慧大語言模型算力消耗與上下文長度問題最優解!

同樣因為腦啟發的特性,上下文長度有限也不再是令人困擾的問題。使用第三代神經網路的NLM大模型由於處理下一個token時所需的算力並不跟上下文長度相關,所以不存在上下文長度的瓶頸。公開可用的Transformer架構的大語言模型上下文長度僅100k,向上增加上下文長度不僅是算力開銷的問題,更是「能不能」的問題。

NLM無限長度的上下文將可以打開大語言模型應用的想像力之門,無論是研究複雜的財報、閱讀數十萬字的小說,亦或是透過長度無限的上下文來使大模型「更懂你”,都可以成為現實。

陸兮團隊眼中的AI

在這次活動上,陸兮科技的創辦人CTO週芃博士闡釋了團隊在當下的使命-賦智萬物。

一個人工智慧時代,需要人工智慧處處普及,正如網路和電力已經在我們的身邊處處可見。目前的人工智慧在能力上雖然令人驚嘆,但其運作成本卻為企業和消費者帶來巨大負擔。絕大多數手機、手錶、平板和筆記型電腦在當前技術下無法完整、系統化、高效、高品質地運行生成式人工智慧大語言模型,研發大模型應用的門檻也讓許多有志於此的優秀開發者望而卻步。

在活動現場,陸兮科技向觀眾展示瞭如何在一台普通安卓手機的離線模式下使用“NLM-GPT”大模型完成工作與生活中常見的各項任務,將活動推向了高潮。

- 參與展示的手機搭載了市面上常見的晶片架構,與C端市場常見安卓機型的效能相仿。在手機處於飛行模式、未連接網路的前提下,陸兮科技展示了「NLM- GPT」大模型在這台手機上與用戶即時對話、回答用戶提出的問題、完成包括詩詞創作、食譜撰寫、知識檢索、文件解讀等複雜度高、對手機硬體效能參數要求較高、傳統意義上需要連網才能完成的各項指令。

- 整個展示過程中,手機的能耗平穩,對正常待機時長影響極低,對手機整體使用效能未造成任何影響。

-該演示成功證明了“NLM-GPT”大模型擁有在諸如智慧型手機、平板電腦等小型C端商用設備中全場景、高效率、低功耗、零流量消耗運行的潛力。這意味著,由於「NLM-GPT」大模型的賦能,手機、手錶、平板、筆記型電腦等設備可以更準確高效地理解人類的真實意圖,在辦公、學習、社交、娛樂等各類應用場景下更高品質完成人類提出的各項指令與任務,大幅提升社會生產與人類生活的效率與品質。

陸兮科技認為,「類腦科技」驅動的「生成式人工智慧大語言模型」將全面拓展人類在學習、工作和生活等各個領域的思維力、感知力和行動力,提升全人類的整體智慧。由於採用類腦科技的賦能,人工智慧將不再是取代人類的新智能體,而是將成為人類改變世界、創造更美好未來的高效智慧工具。

正如古人訓練了獵犬和獵鷹,但獵人這一職業並不會因為獵犬和獵鷹的出現而消失。相反,獵人因此獲益,掌握了獵犬和獵鷹所擁有的、人類自身並不具有的力量,更有效率地獲取獵物、為人類族群的壯大和人類文明的發展提供了動力和養分。

在未來,在日常工作生活中應用人工智慧大語言模型將不再是一項複雜的多流程系統工程,而是將如同「結帳時開啟付款碼」、「拍照時按下快門」、 「刷短影片時一鍵三連」一般簡單、自然、流暢。陸兮團隊將會持續耕耘於類腦運算領域,深入研究大腦這個大自然送給人類最寶貴的禮物,將類腦智能帶入日常生活。

也許,在不久的將來,人類會擁有更多的人工智慧新夥伴。他們身體裡不流淌血液,他們的智慧不會取代人類。在類腦技術的加持下,他們將會與我們一起,共同探索宇宙的奧秘,拓寬社會的邊界,創造更美好的未來。

來源:生活報

(來源:undefined)

更多精彩資訊請在應用程式市場下載「極目新聞」用戶端,未經授權請勿轉載,歡迎提供新聞線索,一經採納即付報酬。 24小時報料熱線027-86777777。

以上是重磅發布,「類腦科學」或是人工智慧大語言模型算力消耗與上下文長度問題最優解!的詳細內容。更多資訊請關注PHP中文網其他相關文章!

本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
3 週前 By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳圖形設置
3 週前 By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您聽不到任何人,如何修復音頻
3 週前 By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25:如何解鎖Myrise中的所有內容
4 週前 By 尊渡假赌尊渡假赌尊渡假赌

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

我嘗試了使用光標AI編碼的Vibe編碼,這太神奇了! 我嘗試了使用光標AI編碼的Vibe編碼,這太神奇了! Mar 20, 2025 pm 03:34 PM

Vibe編碼通過讓我們使用自然語言而不是無盡的代碼行創建應用程序來重塑軟件開發的世界。受Andrej Karpathy等有遠見的人的啟發,這種創新的方法使Dev

2025年2月的Genai推出前5名:GPT-4.5,Grok-3等! 2025年2月的Genai推出前5名:GPT-4.5,Grok-3等! Mar 22, 2025 am 10:58 AM

2025年2月,Generative AI又是一個改變遊戲規則的月份,為我們帶來了一些最令人期待的模型升級和開創性的新功能。從Xai的Grok 3和Anthropic的Claude 3.7十四行詩到Openai的G

如何使用Yolo V12進行對象檢測? 如何使用Yolo V12進行對象檢測? Mar 22, 2025 am 11:07 AM

Yolo(您只看一次)一直是領先的實時對象檢測框架,每次迭代都在以前的版本上改善。最新版本Yolo V12引入了進步,可顯著提高準確性

Chatgpt 4 o可用嗎? Chatgpt 4 o可用嗎? Mar 28, 2025 pm 05:29 PM

Chatgpt 4當前可用並廣泛使用,與諸如ChatGpt 3.5(例如ChatGpt 3.5)相比,在理解上下文和產生連貫的響應方面取得了重大改進。未來的發展可能包括更多個性化的間

最佳AI藝術生成器(免費付款)創意項目 最佳AI藝術生成器(免費付款)創意項目 Apr 02, 2025 pm 06:10 PM

本文回顧了AI最高的藝術生成器,討論了他們的功能,對創意項目的適用性和價值。它重點介紹了Midjourney是專業人士的最佳價值,並建議使用Dall-E 2進行高質量的可定製藝術。

Google的Gencast:Gencast Mini Demo的天氣預報 Google的Gencast:Gencast Mini Demo的天氣預報 Mar 16, 2025 pm 01:46 PM

Google DeepMind的Gencast:天氣預報的革命性AI 天氣預報經歷了巨大的轉變,從基本觀察到復雜的AI驅動預測。 Google DeepMind的Gencast,開創性

哪個AI比Chatgpt更好? 哪個AI比Chatgpt更好? Mar 18, 2025 pm 06:05 PM

本文討論了AI模型超過Chatgpt,例如Lamda,Llama和Grok,突出了它們在準確性,理解和行業影響方面的優勢。(159個字符)

O1 vs GPT-4O:OpenAI的新型號比GPT-4O好嗎? O1 vs GPT-4O:OpenAI的新型號比GPT-4O好嗎? Mar 16, 2025 am 11:47 AM

Openai的O1:為期12天的禮物狂歡始於他們迄今為止最強大的模型 12月的到來帶來了全球放緩,世界某些地區的雪花放緩,但Openai才剛剛開始。 山姆·奧特曼(Sam Altman)和他的團隊正在推出12天的禮物前

See all articles