目錄
方法介紹
效能評估
首頁 科技週邊 人工智慧 Stability AI開源3B程式碼產生模型:可補全,還能Debug

Stability AI開源3B程式碼產生模型:可補全,還能Debug

Mar 28, 2024 pm 01:21 PM
ai 模型 開源 overflow

本週一,Stability AI 開源了小體量預訓練模型 Stable Code Instruct 3B。

Stable Code Instruct 3B 是建立在 Stable Code 3B 基礎上的指令調整編碼語言模型(Code LM)。透過提供自然語言提示,該模型可應用於多種任務,包括程式碼生成、數學問題以及其他與軟體工程相關的任務。

Stability AI聲稱,他們的模型在規模為3B時表現出了最先進的性能,優於CodeLlama的7B Instruct等更大規模的模型,在軟體工程相關任務中,甚至與StarChat的15B模型性能相當。

Stability AI开源3B代码生成模型:可补全,还能Debug


  • #模式:https://huggingface.co/stabilityai/stable- code-instruct-3b
  • HuggingFace 試試:https://huggingface.co/spaces/stabilityai/stable-code-instruct-3b
  • Stable Code 技術報告:https://static1.squarespace.com/static/6213c340453c3f502425776e/t/6601c5713150412edcd56f8e/1711392114564/Stable_Code_TechReport_release.pdf

Stable Code Instruct 3B已經升級了程式碼補全功能,並且支援自然語言交互,旨在提高程式設計和軟體開發任務的效率和直覺性。實驗結果顯示,這個模型在各種編碼相關任務中表現優異,超過了Codellama 7B Instruct和DeepSeek-Coder Instruct 1.3B等競爭對手模型。

方法介紹

Stable Code 建立在 Stable LM 3B 的基礎上。 Stable Code 是因果純解碼器transformer,類似於LLaMA 架構,與LLaMA 的主要區別如下:

  • 位置嵌入,旋轉位置嵌入應用於頭嵌入維度的前25%,以提高吞吐量;
  • 標準化,帶有學得偏差項的LayerNorm;
  • 偏差,除了鍵、查詢和值投影的偏差,Stable Code 從前饋網路和多頭自註意力層中刪除了所有偏差項。

Stability AI开源3B代码生成模型:可补全,还能Debug

下表給出了預訓練語料庫資料集的取樣權重、 epoch、類別等資訊。

Stability AI开源3B代码生成模型:可补全,还能Debug

Stability AI开源3B代码生成模型:可补全,还能Debug

#根據Stack Overflow 2023 開發者調查報告,Stable Code Instruct 3B 重點專注於Python、Javascript、Java、C、C 和Go 等語言,這些語言對於各種開發人員來說是最受歡迎和最有影響力的。雖然這些語言被選為訓練的重點,但該模型也針對其他廣泛採用的語言(例如 SQL、PHP 和 Rust)進行了訓練。

Stability AI开源3B代码生成模型:可补全,还能Debug

即使對於原本未包含在訓練集中的語言(例如Lua),Stable Code Instruct 3B 也能提供強大的測試性能。這種熟練程度可能源自於其對底層編碼原理的理解,以及利用編碼任務固有的可預測性,在不同程式環境中適應概念的能力。

Stable Code Instruct 3B 不僅精通程式碼生成,還精通 FIM(Fill in the Middle)任務、資料庫查詢、程式碼翻譯、解釋和創建。其指令調整使其能夠理解並按照細緻入微的指令採取行動,促進除簡單代碼完成之外的廣泛編碼任務,包括數學理解、邏輯推理和圍繞軟體開發處理複雜的技術描述。

效能評估

與Codellama 7B Instruct 和DeepSeek-Coder Instruct 1.3B 等領先模型相比,Stable Code Instruct 3B 在一系列編碼任務中展現出卓越的表現。

Stability AI开源3B代码生成模型:可补全,还能Debug

研究團隊也在 Multi-PL 基準上比較了三種模型。儘管參數量較少,但 Stable Code Instruct 3B 在所有語言上的表現都明顯優於 CodeLlama Instruct。

Stability AI开源3B代码生成模型:可补全,还能Debug

下表8 展示了幾個模型在FIM 任務上的表現:

Stability AI开源3B代码生成模型:可补全,还能Debug

實驗測試表明,Stable Code Instruct 3B 在程式碼完成準確性、對自然語言指令的理解以及跨不同程式語言的能力方面可與其他模型媲美甚至超越。

Stability AI开源3B代码生成模型:可补全,还能Debug

Stable Code Instruct 3B 的參數規模和低硬體要求使其可供廣泛的受眾使用,使開發人員能夠更有效率地工作。值得一提的是,Stable Code Instruct 3B 現在可以透過 Stability AI 會員資格用於商業目的。

以上是Stability AI開源3B程式碼產生模型:可補全,還能Debug的詳細內容。更多資訊請關注PHP中文網其他相關文章!

本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

WorldCoin(WLD)價格預測2025-2031:到2031年WLD會達到4美元嗎? WorldCoin(WLD)價格預測2025-2031:到2031年WLD會達到4美元嗎? Apr 21, 2025 pm 02:42 PM

WorldCoin(WLD)凭借其独特的生物识别验证和隐私保护机制,在加密货币市场中脱颖而出,吸引了众多投资者的目光。WLD凭借其创新技术,特别是结合OpenAI人工智能技术,在众多山寨币中表现突出。但未来几年,数字资产的走势如何呢?让我们一起预测WLD的未来价格。2025年WLD价格预测预计2025年WLD将实现显著增长。市场分析显示,WLD平均价格可能达到1.31美元,最高可能触及1.36美元。然而,在熊市情况下,价格可能跌至0.55美元左右。这一增长预期主要源于WorldCoin2.

跨鏈交易什麼意思?跨鏈交易所有哪些? 跨鏈交易什麼意思?跨鏈交易所有哪些? Apr 21, 2025 pm 11:39 PM

支持跨鏈交易的交易所有:1. Binance,2. Uniswap,3. SushiSwap,4. Curve Finance,5. Thorchain,6. 1inch Exchange,7. DLN Trade,這些平台通過各種技術支持多鏈資產交易。

虛擬幣價格上漲或者下降是為什麼 虛擬幣價格上漲或者下降的原因 虛擬幣價格上漲或者下降是為什麼 虛擬幣價格上漲或者下降的原因 Apr 21, 2025 am 08:57 AM

虛擬幣價格上漲因素包括:1.市場需求增加,2.供應量減少,3.利好消息刺激,4.市場情緒樂觀,5.宏觀經濟環境;下降因素包括:1.市場需求減少,2.供應量增加,3.利空消息打擊,4.市場情緒悲觀,5.宏觀經濟環境。

Aavenomics是修改AAVE協議令牌並介紹令牌回購的建議,已達到法定人數 Aavenomics是修改AAVE協議令牌並介紹令牌回購的建議,已達到法定人數 Apr 21, 2025 pm 06:24 PM

Aavenomics是修改AAVE協議令牌並引入令牌回購的提議,已為AAVEDAO實現了一個法定人數。 AAVE連鎖計劃(ACI)創始人馬克·澤勒(MarcZeller)在X上宣布了這一點,並指出它標誌著該協議的新時代。 AAVE連鎖倡議(ACI)創始人MarcZeller在X上宣布,Aavenomics提案包括修改AAVE協議令牌和引入令牌回購,已為AAVEDAO實現了法定人數。根據Zeller的說法,這標誌著該協議的新時代。 AaveDao成員以壓倒性的投票支持該提議,即在周三以每週100

如何在幣安拿下 KERNEL 空投獎勵 全流程攻略 如何在幣安拿下 KERNEL 空投獎勵 全流程攻略 Apr 21, 2025 pm 01:03 PM

在加密貨幣的繁華世界裡,新機遇總是不斷湧現。當下,KernelDAO (KERNEL) 空投活動正備受矚目,吸引著眾多投資者的目光。那麼,這個項目究竟是什麼來頭? BNB Holder 又能從中獲得怎樣的好處?別急,下面將為你一一揭曉。

混合型區塊鏈交易平台有哪些 混合型區塊鏈交易平台有哪些 Apr 21, 2025 pm 11:36 PM

選擇加密貨幣交易所的建議:1. 流動性需求,優先選擇幣安、Gate.io或OKX,因其訂單深度與抗波動能力強。 2. 合規與安全,Coinbase、Kraken、Gemini具備嚴格監管背書。 3. 創新功能,KuCoin的軟質押和Bybit的衍生品設計適合進階用戶。

Rexas Finance(RXS)可以在2025年超過Solana(Sol),Cardano(ADA),XRP和Dogecoin(Doge) Rexas Finance(RXS)可以在2025年超過Solana(Sol),Cardano(ADA),XRP和Dogecoin(Doge) Apr 21, 2025 pm 02:30 PM

在波動劇烈的加密貨幣市場中,投資者正尋求超越熱門幣種的替代方案。 Solana(SOL)、Cardano(ADA)、XRP和Dogecoin(DOGE)等知名加密貨幣,儘管佔據著一定的市場地位,但也面臨著市場情緒、監管不確定性和可擴展性等挑戰。然而,一個新興項目RexasFinance(RXS)正在嶄露頭角。它並非依靠名人效應或炒作,而是專注於將現實世界資產(RWA)與區塊鏈技術結合,為投資者提供一種創新的投資方式。這一策略使其有望成為2025年最成功的項目之一。 RexasFi

幣圈槓桿交易所排名 幣圈十大槓桿交易所APP最新推薦 幣圈槓桿交易所排名 幣圈十大槓桿交易所APP最新推薦 Apr 21, 2025 pm 11:24 PM

2025年在槓桿交易、安全性和用戶體驗方面表現突出的平台有:1. OKX,適合高頻交易者,提供最高100倍槓桿;2. Binance,適用於全球多幣種交易者,提供125倍高槓桿;3. Gate.io,適合衍生品專業玩家,提供100倍槓桿;4. Bitget,適用於新手及社交化交易者,提供最高100倍槓桿;5. Kraken,適合穩健型投資者,提供5倍槓桿;6. Bybit,適用於山寨幣探索者,提供20倍槓桿;7. KuCoin,適合低成本交易者,提供10倍槓桿;8. Bitfinex,適合資深玩

See all articles