攪動100億美金的ChatGPT,竟然這麼依賴TA?

王林
發布: 2023-04-12 10:10:02
轉載
1357 人瀏覽過

這幾天,「微軟砸下百億美金注資OpenAI」的訊息瘋狂刷屏。

攪動100億美金的ChatGPT,竟然這麼依賴TA?

作為一家沒有商業模式的公司,OpenAI怎麼就能估值百億美金?投資人這麼好忽悠嗎?

其實,拉出OpenAI背後的ChatGPT,大家就多少能明白一點了。這個語言模型「頂流」,最近可謂無人不知,無人不曉。

而近水大樓先得月的微軟,已經悄悄在網路巨頭混戰中,先下了一城。

前腳剛表示ChatGPT即將整合進自家搜尋引擎必應,後腳就放出ChatGPT計畫加入Office「辦公室全家桶」這個重磅炸彈。

攪動100億美金的ChatGPT,竟然這麼依賴TA?

AIGC革命,又到了拼字力的環節

2022年,是AIGC的革命元年。

DALL·E 2的誕生讓「文生圖」火了整整一年,緊跟在後的Stable Diffussion、Midjourney更是啟發了無數人的藝術靈感,甚至讓不少畫手感到了「失業危機」。

到了年末,ChatGPT更是在全民中掀起AIGC的風暴。雖然是壓軸出場,但「強化學習」(RLHF)賦予它的魔力,成功地掀起了一場全民的狂歡。

剛剛我們提到的這些應用,雖然看起來花里胡哨,但在背後提供支撐的依然是大家熟知的大模型們。

攪動100億美金的ChatGPT,竟然這麼依賴TA?

眾所周知,對於大模型來說,不管是前期的訓練還是後期的推理,都離不開巨量的「算力」 。

舉個例子,「當紅炸子雞」ChatGPT和DALL·E 2基於的GPT-3,以及國產自研的源1.0、悟道和文心等等,不僅在參數量上達到了千億級別,而且資料集規模也高達TB級別。

想要搞定這些「龐然大物」的訓練,就至少需要投入超過1000PetaFlop/s-day(PD)的運算資源。

也難怪OpenAI在大煉GPT-3之前,會讓微軟花10億美元給自己獨家定制了一台當時全世界排名前五的超級電腦。

但是問題在於,並不是每個需要到大量AI算力的企業或高校,都能財大氣粗地斥巨資搞一個自己的「人工智慧高效能運算中心」 。

那麼,如果我們換一個思路,讓算力變得更加「普適普惠」,是不是也能實現相同或更好的效果呢?

於是,在2020年12月的時候,國家資訊中心和浪潮資訊共同發布了《智慧運算中心規劃建置指南》。其中,便提到了一個全新的概念-智慧計算中心(簡稱,智算中心)。

攪動100億美金的ChatGPT,竟然這麼依賴TA?

智算中心是什麼?

為了能更好地解決人工智慧領域的問題,智算中心的發展就需要基於最新的AI論和先進的AI運算架構,並以AI晶片、AI伺服器、AI集群為算力的載體。

首先,目前主流的AI加速運算,主要是採用CPU系統搭載GPU、FPGA、ASIC等異構AI加速晶片。

由於GPU晶片中原本為圖形運算設計的大量算術邏輯單元(ALU),可為以張量運算為主的深度學習運算提供很好的加速效果,因此廣受學術界和工業界的歡迎。

攪動100億美金的ChatGPT,竟然這麼依賴TA?

隨著越來越深入的應用,GPU晶片本身也根據AI的運算特點,進行了針對性的創新設計,如張量計算單元、TF32/BF16數值精度、Transformer引擎(Transformer Engine)等。

而更「專一」的AI運算加速晶片,主要脫胎於GPU晶片。

攪動100億美金的ChatGPT,竟然這麼依賴TA?

特斯拉Dojo人工智慧訓練晶片

其次,作為智算中心算力機組的AI伺服器,則採用CPU AI加速晶片的異質架構,透過整合多顆AI加速晶片實現超高運算效能。為了滿足各領域場景和複雜的AI模型的運算需求,AI伺服器對計算晶片間互聯、 擴展性也有著極高要求。

最後,智算中心還需要對業界主流、開源、開放的軟體生態提供充分的支援。

例如,用於開發AI演算法的深度學習框架TensorFlow和PyTorch,為適應CV、NLP等特定場景開發而建立的一系列開源程式庫等等。

攪動100億美金的ChatGPT,竟然這麼依賴TA?

#智算中心總體架構

不過,和國外那些大廠給自己客製化的高效能運算中心不同,智算中心其實是一個面向大眾的基礎設施,更好地解決建不起、用不起算力的問題。

其中最為直覺的便是,作為「神經中樞」的智算OS(智算中心作業系統)就是為了讓智算中心可以對算力資源池進行高效管理和智慧調度,從而更好地對外提供算力、數據和演算法等服務。

如今,距離2020版《智慧運算中心規劃建置指南》的發布已經時隔兩年,而我國的智算中心發展也進入了新階段。

為此,國家資訊中心和浪潮資訊共同進行了與時俱進的研究,於2023年1月推出了更新的《智算中心創新發展指南》(以下簡稱「指南」)。

所以,為何還要興建智算中心?

智算中心是數位經濟時代促進產業轉型升級、優化產業結構、提升城市競爭力的關鍵基礎設施,並為快速增長的人工智慧算力需求提供了必不可少的支撐。

具體來說可以分為四個面向:

#推進AI產業化、賦能產業AI化、協助治理智慧化、促進產業群聚化。

  • AI產業化

#AI產業化的重要例子,就是自動駕駛。

在自動駕駛的場景中,需要基於AI技術,讓車輛能夠像人類駕駛員一樣準確識別駕駛環境中的關鍵信息,並對周圍運動單元的潛在軌跡做出預判。

在訓練算力消耗上,自動駕駛感所採用的知模型要遠大於一般的電腦視覺感知模型。

例如,特斯拉的L2級FSD自動駕駛融合感知模型,訓練過程使用了百萬量級的道路採集視頻,算力投入約為500PD。

而且,隨著自動駕駛等級從L2提升到L4,對算力的需求將進一步提高。

對此,智算中心提供的普惠算力,可以大幅降低自動駕駛所需算力的成本。

  • 產業AI化

在2022年,有一個概念非常流行,叫做「AI for Science」。

這是一種新的科學研究範式,指科學家使用AI技術作為生產工具。

要說今年AI for Science最廣為人知的例子之一,就是DeepMind開發的AlphaFold 2了。

攪動100億美金的ChatGPT,竟然這麼依賴TA?

截至目前,AlphaFold 2已經可以預測出2億多個蛋白質結構,幾乎涵蓋了整個「蛋白質宇宙」。透過AlphaFold 2,單一蛋白質結構的預測時間縮短到了分鐘級,準確率也達到了92.4%。

AlphaFold 2的開發,就是以巨量算力為支撐的。光是在訓練資料準備階段,AlphaFold 2就消耗了約2億核心時的CPU算力,訓練過程中更是消耗了約300PD的AI算力。

而非常契合AI for Science算力需求的智算中心,將成為支撐大學和科研院所高品質科研的重要基礎設施。

  • 治理智能化

#另外,智算中心還能為城市公共服務和智慧化治理,提供智算能力支撐。

  • 產業群聚化

#智算中心能夠聚合當地人工智慧的研發優勢、人才優勢、產品優勢與產業投資,實現產業鏈協同,促進產業群聚化發展。

攪動100億美金的ChatGPT,竟然這麼依賴TA?

#智算中心產業鏈

現在,智算中心更是成為提升國際競爭力的關鍵基礎設施。

我們都知道,人均GDP指標可以衡量一個國家經濟發展,人均算力水準的高低也可以衡量一個國家的智慧化程度。

根據《2021-2022全球運算力指數評估報告》,國家計算力指數與GDP的走勢呈現出了顯著的正相關,計算力指數平均每提高1點,數位經濟與GDP將分別成長3.5‰和1.8‰

攪動100億美金的ChatGPT,竟然這麼依賴TA?

#計算力指數與GDP迴歸分析趨勢

攪動100億美金的ChatGPT,竟然這麼依賴TA?

########################## #########經研究測算,「十四五」期間,在智算中心達到80%應用水準的情況下,城市對智算中心的投資,可帶動人工智慧核心產業成長約2.9 -3.4倍、帶動相關產業成長約36-42倍,城市/地區在智算中心建設投入的成長量對創新產出的貢獻率約為14%-17%。 ############不難看出,智算中心對於城市經濟發展,已經形成一股不可忽視的力量。 ################

智算中心專案的經濟社會效益

#基於這些原因,智算中心這個概念一經提出,便引發了建設熱潮。根據統計,現在全國有超過30個城市正在興建或提出興建智算中心。

然而,問題也隨之而來

不可忽視的是,在如火如荼的建設過程中,這些智算中心也暴露出了很多問題和挑戰。

首先,我國對智能算力的需求與日俱增。

《2022-2023中國人工智慧運算力發展評估報告》數據顯示,2021年我國智慧算力規模達155.2 EFLOPS(FP16),預計2026年,我國的智能算力規模將達到1,271.4 EFLOPS。

在未來80%的場景都將基於AI,它們所佔據的大部分算力資源,都是由智算中心承載。

攪動100億美金的ChatGPT,竟然這麼依賴TA?

我國智能算力發展情況

其次,圍繞演算法的服務模式也需要完善。

自2011年以來,全球AI領導企業與研究機構紛紛加入AI大模型研究,模型參數急遽成長。在短短三、四年時間內,參數規模快速從億級突破至萬億級,同時出現了許多代表性大模型,如Google發布的BERT,OpenAI發布的GPT-3等。

傳統運算範式的改變,也必然推動智算中心的服務模式從提供算力為主,轉向提供「演算法 算力」。

攪動100億美金的ChatGPT,竟然這麼依賴TA?

最後,現階段存在的概念認知尚不清晰、建構標準尚不統一、應用場景尚不豐富、運作模式尚不成熟等問題,也直接影響智算中心的發展。

怎麼解決?

對此,《指南》給出的解決想法是:1. 普適普惠;#2. 開放式相容

先來說什麼叫「普適普惠」。

普適普惠是指,發揮公共基礎設施的社會價值,既要滿足使用者對通用算力的需求,又要滿足不同使用者不同場景對多元化算力的需求。

具體來說,智算中心要朝著標準化、低成本、低門檻方向發展,使智慧運算可以像水力發電一樣,成為社會基本公共服務,滿足不同使用者不同場景對算力多元化的需求。

其次,就是要「開放相容」。

具體來說,就是要開源開放、培育生態。以開放硬體與開源軟體為主,融合多元算力,實現算力的聚合、調度、釋放,讓智算中心「用起來、用的好」。同時,要加強對智算中心關鍵軟硬體產品的研發支援和大規模應用推廣。

攪動100億美金的ChatGPT,竟然這麼依賴TA?

#智算中心建構架構

#

而為了實現算力服務的普適普惠、高效利用,也就是智算中心如何「好用、用好」的問題,《指南》指出智算中心建設還需要建構「算力基建化、演算法基建化、服務智件化、設施綠色化」的「四化」技術路線。

算力基建化#是指,智算中心要具備對外提供高性價比、普惠、安全算力資源的能力,使AI算力像水、電一樣成為城市的公共基礎資源,供政府、企業、民眾自主取用。

演算法基建化#是指,智算中心透過提供預置產業演算法、建構預訓練大模型、推進演算法模型持續升級、提供專業化資料和演算法服務,讓更多的使用者享受普適普惠的智慧運算服務,實現「帶著資料來、拿著成果走」的效果:

服務智件化是指,智算中心的發展將由傳統的硬體、軟體向「智件」升級。 「智件」指智算中心提供人工智慧推廣應用的中間件產品和服務。 「智件」的構建,透過視覺化操作介面,以及低程式碼開發甚至無程式碼開發的模式,為使用者提供功能豐富、使用便捷的人工智慧算力調度、演算法供給和個人化開發服務。

最後,也要做到設施綠色化#,目前主要發展趨勢就是採用液冷技術。

展望未來

現在,以AIGC、元宇宙、智慧科研(AI for Science)為代表的新興場景,正在走進我們的日常生活,給我們的未來帶來無限的可能性。

與之相應的,智算中心建設佈局浪潮正在全國快速掀起。

智慧算力的普適普惠,對大多數企業來說,尤其是中小企業,創新的門檻大大降低了。

相信在不久的將來,我們很快就會見證「以數據輸入,讓智慧輸出」,智慧運算會如水電一般,真正惠及每一個人。

報告連結:

http://scdrc. sic.gov.cn/archiver/SmarterCity/UpFile/Files/Default/20230111181640567177.pdf

#

以上是攪動100億美金的ChatGPT,竟然這麼依賴TA?的詳細內容。更多資訊請關注PHP中文網其他相關文章!

相關標籤:
來源:51cto.com
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板
關於我們 免責聲明 Sitemap
PHP中文網:公益線上PHP培訓,幫助PHP學習者快速成長!