Meta人工智慧開發失誤,不及時用GPU導致落後對手
一份內部備忘錄顯示,2022年夏末,Meta執行長馬克‧祖克柏(Mark Zuckerberg)召集公司高階主管團隊,分析公司運算能力長達五個小時,特別是處理尖端人工智慧的能力。
備忘錄指出,儘管Meta在人工智慧研究方面進行了高調的投資、並且公司越來越依賴人工智慧來支持其成長,但在主要業務採用昂貴的人工智慧優化軟硬體系統上,這家社群媒體巨頭的速度比較緩慢,這妨礙了其在規模擴張中跟上創新步伐的能力。如果要支援人工智慧工作,Meta需要「從根本上改變我們的實體基礎設施設計、軟體系統以及提供穩定平台的方法」。
據公司披露,此次改組使Meta的資本支出每季度增加了約40億美元,幾乎是2021年的兩倍,並導致其暫停或取消了在四個地點建立數據中心的計劃。
而Meta正面臨嚴峻財務困境,自去年11月以來,該公司一直在進行規模空前的裁員。
同時,去年11月ChatGPT橫空出世,引發了科技巨頭之間的競爭,它們紛紛發布生成式AI產品。而五位消息人士則稱,生成式AI需要大量的運算能力,這加劇了Meta擴容的迫切性。
消息人士透露,Meta在人工智慧上應用GPU較為緩慢,是主要問題之一。 GPU晶片非常適合人工智慧處理,因為它們可以同時執行大量任務,縮短了處理數十億條資料所需的時間。然而,GPU晶片價格較高,晶片製造商Nvidia控制著80%的市場,並在相應的軟體方面保持領先地位,消息人士稱。
直到去年,Meta主要使用大量普通CPU來運行AI工作負載。 CPU是電腦世界的主力晶片,雖然已經稱霸資料中心數十年,但在人工智慧工作方面表現不佳。
這導致競爭對手在AI領域的發展超過了Meta。他們使用GPU晶片並擁有更好的AI軟體,因此能夠更快地開發新的AI產品和服務。
據兩位消息人士透露,Meta公司也開始使用自己內部設計的客製化晶片來訓練AI。但到了2021年,這種雙管齊下的方法被證明比以GPU為核心建構的方法更慢、效率更低效。 GPU晶片在運行不同類型的模型方面也比Meta的晶片更靈活,這兩位消息人士說。
後來,隨著祖克柏將公司轉向元宇宙,算力不足使得公司無法應對威脅,包括TikTok的崛起和蘋果主導的廣告隱私變化。
這些問題引起了前Meta董事會成員彼得·蒂爾(Peter Thiel)的關注。 2022年初,他辭去了職務,沒有解釋原因。據兩位知情人士透露,在他離任前的一次董事會會議上,蒂爾指出祖克柏和他的高層過於專注於元宇宙的發展,而忽略了Meta的核心社群媒體業務,這讓公司容易受到TikTok等競爭對手的挑戰。
Meta曾計劃在2022年推出客製化晶片,但後來放棄,轉而在同年訂購了數十億美元的Nvidia GPU晶片。此時Meta已經落後於Google等同行,後者在2015年開始部署自己客製化的GPU版本,稱為TPU。
Meta接下來開始重組人工智慧部門,任命了兩位新的工程師領導。在這段時間內,數十位高階主管離開了Meta公司,幾乎全部更換了人工智慧基礎設施領導層。
接下來,Meta公司開始改造其資料中心,以適應引進的GPU,這些晶片需要更多的功率和產生更多的熱量,必須緊密地聚集在一起,並在它們之間進行專門的網路連線。這項工作需要大量的網路容量和新的液冷系統來管理集群的熱量,因此需要對它們進行「完全重新設計」。
隨著工作的推進,Meta開始內部計畫開發一款更為雄心勃勃的新型晶片,類似於GPU,既能訓練人工智慧模型,又能進行推理。兩位消息人士透露,該項目將於2025年左右完成。
Meta的發言人Jon Carvill拒絕就晶片項目發表評論。
雖然Meta正在擴大GPU規模,但微軟和Google等公司正在推廣商業生成式人工智慧產品,而Meta在這方面沒有太多實質進展。
Meta財務長在二月承認,公司目前沒有將大部分運算能力用於生成式工作。她說:「基本上我們所有的人工智慧能力都用於廣告、動態消息和Reels。」Reels是Meta公司類似於TikTok的短視頻格式,廣受年輕用戶歡迎。
據四位消息人士透露,Meta公司直到ChatGPT在去年11月推出後,才開始優先考慮開發生成式人工智慧產品。雖然該公司的AI研究部門自2021年底以來一直在發布技術原型,但沒有專注於將其轉化為產品。然而,隨著投資者的興趣不斷高漲,祖克柏在今年2月宣布成立了一支新的高層次生成式人工智慧團隊,他說這個團隊將「加速」該公司在這一領域的工作。
首席技術長安德魯·博斯沃思也在本月表示,生成式人工智慧是他和祖克柏花費最多時間的領域,並預測Meta公司將在今年推出新產品。
兩位熟悉新團隊的人士表示,該團隊的工作處於早期階段,主要是建立基礎模型,這是一種核心程序,以後可以進行微調和適應不同的產品。
Meta公司發言人Carvill表示,該公司已經在不同的團隊上開發生成式人工智慧產品超過一年了。他確認,在ChatGPT推出後的幾個月裡,這項工作加速了。
以上是Meta人工智慧開發失誤,不及時用GPU導致落後對手的詳細內容。更多資訊請關注PHP中文網其他相關文章!

熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

Video Face Swap
使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

熱工具

記事本++7.3.1
好用且免費的程式碼編輯器

SublimeText3漢化版
中文版,非常好用

禪工作室 13.0.1
強大的PHP整合開發環境

Dreamweaver CS6
視覺化網頁開發工具

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

本站6月27日訊息,剪映是由位元組跳動旗下臉萌科技開發的一款影片剪輯軟體,依託於抖音平台且基本面向該平台用戶製作短影片內容,並相容於iOS、安卓、Windows 、MacOS等作業系統。剪映官方宣布會員體系升級,推出全新SVIP,包含多種AI黑科技,例如智慧翻譯、智慧劃重點、智慧包裝、數位人合成等。價格方面,剪映SVIP月費79元,年費599元(本站註:折合每月49.9元),連續包月則為59元每月,連續包年為499元每年(折合每月41.6元) 。此外,剪映官方也表示,為提升用戶體驗,向已訂閱了原版VIP

透過將檢索增強生成和語意記憶納入AI編碼助手,提升開發人員的生產力、效率和準確性。譯自EnhancingAICodingAssistantswithContextUsingRAGandSEM-RAG,作者JanakiramMSV。雖然基本AI程式設計助理自然有幫助,但由於依賴對軟體語言和編寫軟體最常見模式的整體理解,因此常常無法提供最相關和正確的程式碼建議。這些編碼助手產生的代碼適合解決他們負責解決的問題,但通常不符合各個團隊的編碼標準、慣例和風格。這通常會導致需要修改或完善其建議,以便將程式碼接受到應

大型語言模型(LLM)是在龐大的文字資料庫上訓練的,在那裡它們獲得了大量的實際知識。這些知識嵌入到它們的參數中,然後可以在需要時使用。這些模型的知識在訓練結束時被「具體化」。在預訓練結束時,模型實際上停止學習。對模型進行對齊或進行指令調優,讓模型學習如何充分利用這些知識,以及如何更自然地回應使用者的問題。但是有時模型知識是不夠的,儘管模型可以透過RAG存取外部內容,但透過微調使用模型適應新的領域被認為是有益的。這種微調是使用人工標註者或其他llm創建的輸入進行的,模型會遇到額外的實際知識並將其整合

快準備好你的GPU! Llama3.1終於現身了,不過出處卻不是Meta官方。今日,Reddit上新版Llama大模型洩漏的消息遭到了瘋傳,除了基礎模型,還包括8B、70B和最大參數的405B的基準測試結果。下圖為Llama3.1各版本與OpenAIGPT-4o、Llama38B/70B的比較結果。可以看到,即使是70B的版本,也在多項基準上超過了GPT-4o。圖源:https://x.com/mattshumer_/status/1815444612414087294顯然,3.1版本的8B和70

Meta Connect 2024 活動定於 9 月 25 日至 26 日舉行,在本次活動中,該公司預計將推出一款價格實惠的新型虛擬實境耳機。據傳這款 VR 耳機是 Meta Quest 3S,它似乎已經出現在 FCC 清單上。這個建議

剛剛,大家期待已久的Llama3.1官方正式發售了! Meta官方發出了「開源引領新時代」的聲音。在官方部落格中,Meta表示:「直到今天,開源大語言模型在功能和效能方面大多落後於封閉模型。現在,我們正在迎來一個開源引領的新時代。我們公開發布MetaLlama3.1405B,我們認為這是世界上最大、功能最強大的開源基礎模型。長文《OpenSourceAIIsthePathForward》,

編輯|ScienceAI問答(QA)資料集在推動自然語言處理(NLP)研究中發揮著至關重要的作用。高品質QA資料集不僅可以用於微調模型,也可以有效評估大語言模型(LLM)的能力,尤其是針對科學知識的理解和推理能力。儘管目前已有許多科學QA數據集,涵蓋了醫學、化學、生物等領域,但這些數據集仍有一些不足之處。其一,資料形式較為單一,大多數為多項選擇題(multiple-choicequestions),它們易於進行評估,但限制了模型的答案選擇範圍,無法充分測試模型的科學問題解答能力。相比之下,開放式問答

自 Meta 首次發布 Quest 3(亞馬遜售價 499.99 美元)以來,已經過去一年多了。此後,蘋果推出了價格昂貴得多的 Vision Pro,而位元組跳動現在在中國推出了 Pico 4 Ultra。然而,有
