開源大模型必須超越閉源——LeCun揭示2024年AI趨勢圖

2023 年即將過去。一年以來，各式各樣的大模型爭相發布。當 OpenAI 和Google等科技巨頭正在競爭時，另一方「勢力」悄悄崛起 —— 開源。

開源模型受到的質疑一向不少。它們是否能像專有模型一樣優秀？是否能夠媲美專有模型的性能？到目前為止，我們一直只能說是某些方面接近。即便如此，開源模型總是會為我們帶來經驗的表現，讓我們刮目相看。

開源模型的興起正在改變遊戲規則。如 Meta 的 LLaMA 系列以其快速迭代、可自訂性和隱私性正受到追捧。這些模型被社群迅速發展，為專有模型帶來了強大的挑戰，能夠改變大型科技公司的競爭格局。

不過先前人們的想法大多只是來自於「感覺」。今天早上，Meta 首席AI 科學家、圖靈獎得主Yann LeCun 突然發出了這樣的感嘆：「開源人工智慧模型正走在超越專有模型的路上。」

這個由方舟投資（ARK Invest）團隊製作的趨勢圖被認為可能預測了2024年的人工智慧發展。它展示了開源社群與專有模式在生成式人工智慧方面的發展

#隨著OpenAI和Google等公司變得越來越封閉，他們公開最新模型資訊的頻率越來越少。因此，開源社群及其企業支持者Meta開始步入其後，使得生成式AI更加民主化，這或許會對專有模式的商業模式構成挑戰

在這個散佈圖中顯示了各種AI 模型的性能百分比。專有模型以藍色表示，開源模型以黑色表示。我們可以看到不同的 AI 模型如 GPT-3、Chinchilla 70B（Google）、PaLM（Google）、GPT-4（OpenAI）和 Llama65B（Meta）等在不同時間點的表現。

Meta 最初發布 LLaMA 時，參數量從 70 億到 650 億不等。這些模型的性能非常優異：具有130 億參數的Llama 模型「在大多數基準上」可以勝過GPT-3（參數量達1750 億），而且可以在單塊V100 GPU 上運行；而最大的650 億參數的Llama 模型可以媲美Google的Chinchilla-70B 和PaLM-540B。

Falcon-40B 剛發布就衝上了 Huggingface 的 OpenLLM 排行榜首位，改變了 Llama 一枝獨秀的場面。

Llama 2 開源，再一次使大模型格局發生巨變。相較於 Llama 1，Llama 2 的訓練資料多了 40%，上下文長度也翻倍，並採用了分組查詢注意力機制。

最近，開源大模型宇宙又有了新的重量級成員 ——Yi 模型。它能一次處理 40 萬漢字、中英均霸榜。 Yi-34B 也成為迄今為止唯一成功登頂 Hugging Face 開源模型排行榜的國產模型。

根據散佈圖所示，開源模型的效能不斷追趕專有模型。這意味著在不久的將來，開源模型有望與專有模型在性能上並駕齊驅，甚至超越

Mistral 8x7B在上週末以最樸素的發布方式和強大的性能引起了研究者的高度評價，他們表示「閉源大模型走到結局了。」

#已經有網友開始預祝「2024年成為開源人工智慧年」，認為「我們正在接近一個臨界點。考慮到當前開源社群專案的發展速度，我們預計未來12個月內將達到GPT-4的水平。」

##接下來，我們將拭​​目以待開源模型的未來是否一帆風順，以及它將展現出怎樣的表現

#

以上是開源大模型必須超越閉源——LeCun揭示2024年AI趨勢圖的詳細內容。更多資訊請關注PHP中文網其他相關文章！