安定性 AI オープンソース 3B コード生成モデル: 完成およびデバッグが可能

月曜日、Stability AI は、少量の事前トレーニング モデル Stable Code Instruct 3B をオープンソース化しました。

Stable Code Instruct 3B は、Stable Code 3B に基づく命令適応コーディング言語モデル (Code LM) です。自然言語プロンプトを提供することにより、モデルは、コード生成、数学的問題、ソフトウェア エンジニアリングに関連するその他のタスクなど、さまざまなタスクに適用できます。

Stability AI は、自社のモデルが 3B 規模で最先端のパフォーマンスを示し、ソフトウェア エンジニアリング関連のタスクにおいて、CodeLlama の 7B Instruct などの大規模モデルを上回っていると主張しています。 StarChatの15Bモデルと同等の性能を持っています。

• モデル: https://huggingface.co/stabilityai/stable- code-instruct-3b
• HuggingFace トライアル: https://huggingface.co/spaces/stabilityai/stable-code-instruct-3b
• 安定コード技術レポート: https://static1.squarespace.com/static/6213c340453c3f502425776e/t/6601c5713150412edcd56f8e/1711392114564/Stable_Code_TechReport_release.pdf

Stable Code Instruct 3B は、コード補完機能をアップグレードし、自然言語対話をサポートし、プログラミングおよびソフトウェア開発タスクの効率と直感性の向上を目指しています。実験結果によると、このモデルはさまざまなコーディング関連タスクで良好なパフォーマンスを示し、Codellama 7B Instruct や DeepSeek-Coder Instruct 1.3B などの競合モデルを上回っています。

メソッドの紹介

安定版コードは安定版 LM 3B に基づいています。 Stable Code は、LLaMA アーキテクチャに似た因果的な純粋なデコーダ変換器であり、LLaMA との主な違いは次のとおりです:

• 位置埋め込み、回転位置埋め込みが前面に適用されます。スループットを向上させるためにヘッド埋め込み次元の 25%、
• 正規化、学習されたバイアス項を使用した LayerNorm、
• 偏差、キー、クエリ、および値の投影におけるバイアス、安定したコードは、フィードフォワード ネットワークとマルチヘッドセルフ アテンション層からすべてのバイアス項を削除します。

#次の表は、トレーニング前コーパスのサンプリング重み、エポック、カテゴリ、その他の情報を示しています。データセット。

#Stack Overflow 2023 Developer Survey Report によると、安定していますCode Instruct 3B は、あらゆる種類の開発者にとって最も人気があり、影響力のある Python、JavaScript、Java、C、C、Go などの言語に焦点を当てています。これらの言語がトレーニングの焦点として選択されましたが、モデルは SQL、PHP、Rust などの他の広く採用されている言語でもトレーニングされました。

Stable Code Instruct 3B は、元々トレーニング セットに含まれていなかった言語 (たとえば、 Lua) テストのパフォーマンス。この熟練度は、基礎となるコーディング原則の理解と、コーディング タスクの固有の予測可能性を利用して、さまざまなプログラミング環境に概念を適応させる能力から得られるものと考えられます。

Stable Code Instruct 3B は、コード生成だけでなく、FIM (Fill in the Middle) タスク、データベース クエリ、コード変換、解釈、作成にも熟練しています。その命令は、微妙な命令を理解して実行できるように調整されており、数学的理解、論理的推論、ソフトウェア開発に関する複雑な技術的記述の処理など、単純なコード補完を超えた幅広いコーディング タスクを容易にします。

パフォーマンス評価

Codellama 7B Instruct や DeepSeek-Coder Instruct 1.3B などの主要なモデルと比較して、Stable Code Instruct 3B は次の点で優れたパフォーマンスを発揮します。一連のコーディングタスクで優れたパフォーマンスを実証しました。

研究チームは、Multi-PL ベンチマークでも 3 つのモデルを比較しました。パラメータが少ないにもかかわらず、Stable Code Instruct 3B はすべての言語で CodeLlama Instruct を大幅に上回りました。

以下の表 8 は、FIM タスクにおけるいくつかのモデルのパフォーマンスを示しています。

# 実験テストでは、Stable Code Instruct 3B が、コード補完の精度、自然言語命令の理解、および異なるプログラミング言語間で動作する能力において他のモデルと競合することが示されています。ライバル、あるいはそれを上回る。

#安定した Code Instruct 3B のパラメータ サイズとハードウェア要件の低さにより、幅広いユーザーがアクセスでき、開発者が作業できるようになりますより効率的に。 Stable Code Instruct 3B は、Stability AI メンバーシップにより商用目的で利用できるようになりました。

以上が安定性 AI オープンソース 3B コード生成モデル: 完成およびデバッグが可能の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。