首頁 科技週邊 人工智慧 Meta人工智慧開發失誤,不及時用GPU導致落後對手

Meta人工智慧開發失誤,不及時用GPU導致落後對手

Apr 28, 2023 am 11:37 AM
人工智慧 meta

Meta人工智慧開發失誤,不及時用GPU導致落後對手

一份內部備忘錄顯示,2022年夏末,Meta執行長馬克‧祖克柏(Mark Zuckerberg)召集公司高階主管團隊,分析公司運算能力長達五個小時,特別是處理尖端人工智慧的能力。

備忘錄指出,儘管Meta在人工智慧研究方面進行了高調的投資、並且公司越來越依賴人工智慧來支持其成長,但在主要業務採用昂貴的人工智慧優化軟硬體系統上,這家社群媒體巨頭的速度比較緩慢,這妨礙了其在規模擴張中跟上創新步伐的能力。如果要支援人工智慧工作,Meta需要「從根本上改變我們的實體基礎設施設計、軟體系統以及提供穩定平台的方法」。

據公司披露,此次改組使Meta的資本支出每季度增加了約40億美元,幾乎是2021年的兩倍,並導致其暫停或取消了在四個地點建立數據中心的計劃。

而Meta正面臨嚴峻財務困境,自去年11月以來,該公司一直在進行規模空前的裁員。

同時,去年11月ChatGPT橫空出世,引發了科技巨頭之間的競爭,它們紛紛發布生成式AI產品。而五位消息人士則稱,生成式AI需要大量的運算能力,這加劇了Meta擴容的迫切性。

消息人士透露,Meta在人工智慧上應用GPU較為緩慢,是主要問題之一。 GPU晶片非常適合人工智慧處理,因為它們可以同時執行大量任務,縮短了處理數十億條資料所需的時間。然而,GPU晶片價格較高,晶片製造商Nvidia控制著80%的市場,並在相應的軟體方面保持領先地位,消息人士稱。

直到去年,Meta主要使用大量普通CPU來運行AI工作負載。 CPU是電腦世界的主力晶片,雖然已經稱霸資料中心數十年,但在人工智慧工作方面表現不佳。

這導致競爭對手在AI領域的發展超過了Meta。他們使用GPU晶片並擁有更好的AI軟體,因此能夠更快地開發新的AI產品和服務。

據兩位消息人士透露,Meta公司也開始使用自己內部設計的客製化晶片來訓練AI。但到了2021年,這種雙管齊下的方法被證明比以GPU為核心建構的方法更慢、效率更低效。 GPU晶片在運行不同類型的模型方面也比Meta的晶片更靈活,這兩位消息人士說。

後來,隨著祖克柏將公司轉向元宇宙,算力不足使得公司無法應對威脅,包括TikTok的崛起和蘋果主導的廣告隱私變化。

這些問題引起了前Meta董事會成員彼得·蒂爾(Peter Thiel)的關注。 2022年初,他辭去了職務,沒有解釋原因。據兩位知情人士透露,在他離任前的一次董事會會議上,蒂爾指出祖克柏和他的高層過於專注於元宇宙的發展,而忽略了Meta的核心社群媒體業務,這讓公司容易受到TikTok等競爭對手的挑戰。

Meta曾計劃在2022年推出客製化晶片,但後來放棄,轉而在同年訂購了數十億美元的Nvidia GPU晶片。此時Meta已經落後於Google等同行,後者在2015年開始部署自己客製化的GPU版本,稱為TPU。

Meta接下來開始重組人工智慧部門,任命了兩位新的工程師領導。在這段時間內,數十位高階主管離開了Meta公司,幾乎全部更換了人工智慧基礎設施領導層。

接下來,Meta公司開始改造其資料中心,以適應引進的GPU,這些晶片需要更多的功率和產生更多的熱量,必須緊密地聚集在一起,並在它們之間進行專門的網路連線。這項工作需要大量的網路容量和新的液冷系統來管理集群的熱量,因此需要對它們進行「完全重新設計」。

隨著工作的推進,Meta開始內部計畫開發一款更為雄心勃勃的新型晶片,類似於GPU,既能訓練人工智慧模型,又能進行推理。兩位消息人士透露,該項目將於2025年左右完成。

Meta的發言人Jon Carvill拒絕就晶片項目發表評論。

雖然Meta正在擴大GPU規模,但微軟和Google等公司正在推廣商業生成式人工智慧產品,而Meta在這方面沒有太多實質進展。

Meta財務長在二月承認,公司目前沒有將大部分運算能力用於生成式工作。她說:「基本上我們所有的人工智慧能力都用於廣告、動態消息和Reels。」Reels是Meta公司類似於TikTok的短視頻格式,廣受年輕用戶歡迎。

據四位消息人士透露,Meta公司直到ChatGPT在去年11月推出後,才開始優先考慮開發生成式人工智慧產品。雖然該公司的AI研究部門自2021年底以來一直在發布技術原型,但沒有專注於將其轉化為產品。然而,隨著投資者的興趣不斷高漲,祖克柏在今年2月宣布成立了一支新的高層次生成式人工智慧團隊,他說這個團隊將「加速」該公司在這一領域的工作。

首席技術長安德魯·博斯沃思也在本月表示,生成式人工智慧是他和祖克柏花費最多時間的領域,並預測Meta公司將在今年推出新產品。

兩位熟悉新團隊的人士表示,該團隊的工作處於早期階段,主要是建立基礎模型,這是一種核心程序,以後可以進行微調和適應不同的產品。

Meta公司發言人Carvill表示,該公司已經在不同的團隊上開發生成式人工智慧產品超過一年了。他確認,在ChatGPT推出後的幾個月裡,這項工作加速了。

以上是Meta人工智慧開發失誤,不及時用GPU導致落後對手的詳細內容。更多資訊請關注PHP中文網其他相關文章!

本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

位元組跳動剪映推出 SVIP 超級會員:連續包年 499 元,提供多種 AI 功能 位元組跳動剪映推出 SVIP 超級會員:連續包年 499 元,提供多種 AI 功能 Jun 28, 2024 am 03:51 AM

本站6月27日訊息,剪映是由位元組跳動旗下臉萌科技開發的一款影片剪輯軟體,依託於抖音平台且基本面向該平台用戶製作短影片內容,並相容於iOS、安卓、Windows 、MacOS等作業系統。剪映官方宣布會員體系升級,推出全新SVIP,包含多種AI黑科技,例如智慧翻譯、智慧劃重點、智慧包裝、數位人合成等。價格方面,剪映SVIP月費79元,年費599元(本站註:折合每月49.9元),連續包月則為59元每月,連續包年為499元每年(折合每月41.6元) 。此外,剪映官方也表示,為提升用戶體驗,向已訂閱了原版VIP

使用Rag和Sem-Rag提供上下文增強AI編碼助手 使用Rag和Sem-Rag提供上下文增強AI編碼助手 Jun 10, 2024 am 11:08 AM

透過將檢索增強生成和語意記憶納入AI編碼助手,提升開發人員的生產力、效率和準確性。譯自EnhancingAICodingAssistantswithContextUsingRAGandSEM-RAG,作者JanakiramMSV。雖然基本AI程式設計助理自然有幫助,但由於依賴對軟體語言和編寫軟體最常見模式的整體理解,因此常常無法提供最相關和正確的程式碼建議。這些編碼助手產生的代碼適合解決他們負責解決的問題,但通常不符合各個團隊的編碼標準、慣例和風格。這通常會導致需要修改或完善其建議,以便將程式碼接受到應

微調真的能讓LLM學到新東西嗎:引入新知識可能讓模型產生更多的幻覺 微調真的能讓LLM學到新東西嗎:引入新知識可能讓模型產生更多的幻覺 Jun 11, 2024 pm 03:57 PM

大型語言模型(LLM)是在龐大的文字資料庫上訓練的,在那裡它們獲得了大量的實際知識。這些知識嵌入到它們的參數中,然後可以在需要時使用。這些模型的知識在訓練結束時被「具體化」。在預訓練結束時,模型實際上停止學習。對模型進行對齊或進行指令調優,讓模型學習如何充分利用這些知識,以及如何更自然地回應使用者的問題。但是有時模型知識是不夠的,儘管模型可以透過RAG存取外部內容,但透過微調使用模型適應新的領域被認為是有益的。這種微調是使用人工標註者或其他llm創建的輸入進行的,模型會遇到額外的實際知識並將其整合

首個超越GPT4o級開源模型! Llama 3.1洩密:4050億參數,下載連結、模型卡都有了 首個超越GPT4o級開源模型! Llama 3.1洩密:4050億參數,下載連結、模型卡都有了 Jul 23, 2024 pm 08:51 PM

快準備好你的GPU! Llama3.1終於現身了,不過出處卻不是Meta官方。今日,Reddit上新版Llama大模型洩漏的消息遭到了瘋傳,除了基礎模型,還包括8B、70B和最大參數的405B的基準測試結果。下圖為Llama3.1各版本與OpenAIGPT-4o、Llama38B/70B的比較結果。可以看到,即使是70B的版本,也在多項基準上超過了GPT-4o。圖源:https://x.com/mattshumer_/status/1815444612414087294顯然,3.1版本的8B和70

新款經濟實惠的 Meta Quest 3S VR 頭戴裝置出現在 FCC 上,暗示即將推出 新款經濟實惠的 Meta Quest 3S VR 頭戴裝置出現在 FCC 上,暗示即將推出 Sep 04, 2024 am 06:51 AM

Meta Connect 2024 活動定於 9 月 25 日至 26 日舉行,在本次活動中,該公司預計將推出一款價格實惠的新型虛擬實境耳機。據傳這款 VR 耳機是 Meta Quest 3S,它似乎已經出現在 FCC 清單上。這個建議

最強模型Llama 3.1 405B正式發布,祖克柏:開源引領新時代 最強模型Llama 3.1 405B正式發布,祖克柏:開源引領新時代 Jul 24, 2024 pm 08:23 PM

剛剛,大家期待已久的Llama3.1官方正式發售了! Meta官方發出了「開源引領新時代」的聲音。在官方部落格中,Meta表示:「直到今天,開源大語言模型在功能和效能方面大多落後於封閉模型。現在,我們正在迎來一個開源引領的新時代。我們公開發布MetaLlama3.1405B,我們認為這是世界上最大、功能最強大的開源基礎模型。長文《OpenSourceAIIsthePathForward》,

為大模型提供全新科學複雜問答基準與評估體系,UNSW、阿貢、芝加哥大學等多家機構共同推出SciQAG框架 為大模型提供全新科學複雜問答基準與評估體系,UNSW、阿貢、芝加哥大學等多家機構共同推出SciQAG框架 Jul 25, 2024 am 06:42 AM

編輯|ScienceAI問答(QA)資料集在推動自然語言處理(NLP)研究中發揮著至關重要的作用。高品質QA資料集不僅可以用於微調模型,也可以有效評估大語言模型(LLM)的能力,尤其是針對科學知識的理解和推理能力。儘管目前已有許多科學QA數據集,涵蓋了醫學、化學、生物等領域,但這些數據集仍有一些不足之處。其一,資料形式較為單一,大多數為多項選擇題(multiple-choicequestions),它們易於進行評估,但限制了模型的答案選擇範圍,無法充分測試模型的科學問題解答能力。相比之下,開放式問答

分析師討論傳聞中的 Meta Quest 3S VR 耳機的發布定價 分析師討論傳聞中的 Meta Quest 3S VR 耳機的發布定價 Aug 27, 2024 pm 09:35 PM

自 Meta 首次發布 Quest 3(亞馬遜售價 499.99 美元)以來,已經過去一年多了。此後,蘋果推出了價格昂貴得多的 Vision Pro,而位元組跳動現在在中國推出了 Pico 4 Ultra。然而,有

See all articles