Stabilitäts-KI-Open-Source-3B-Codegenerierungsmodell: Kann vervollständigt und debuggt werden

Diesen Montag hat Stability AI das kleinvolumige Pre-Training-Modell Stable Code Instruct 3B als Open Source bereitgestellt.

Stable Code Instruct 3B ist ein anweisungsadaptiertes Codierungssprachenmodell (Code LM), das auf Stable Code 3B basiert. Durch die Bereitstellung von Eingabeaufforderungen in natürlicher Sprache kann das Modell auf eine Vielzahl von Aufgaben angewendet werden, darunter Codegenerierung, mathematische Probleme und andere Aufgaben im Zusammenhang mit der Softwareentwicklung.

Stability AI behauptet, dass ihr Modell im Maßstab 3B eine hochmoderne Leistung zeigt, größere Modelle wie CodeLlamas 7B Instruct übertrifft und sogar mit dem 15B-Modell von StarChat bei softwaretechnischen Aufgaben übereinstimmt. Die Leistung ist vergleichbar.

• Modell: https://huggingface.co/stabilityai/stable-code-instruct-3b
• HuggingFace Trial: https://huggingface.co/spaces/ Stabilityai/stable-code-instruct-3b
• Technischer Bericht zum stabilen Code: https://static1.squarespace.com/static/6213c340453c3f502425776e/t/6601c5713150412edcd56f8e/1711392114564/Stable. _Code_TechReport_release.pdf

Stable Code Instruct 3B hat seine Code-Vervollständigungsfunktion verbessert und unterstützt die Interaktion in natürlicher Sprache, um die Effizienz und Intuitivität von Programmier- und Softwareentwicklungsaufgaben zu verbessern. Experimentelle Ergebnisse zeigen, dass dieses Modell bei verschiedenen codierungsbezogenen Aufgaben eine gute Leistung erbringt und Konkurrenzmodelle wie Codellama 7B Instruct und DeepSeek-Coder Instruct 1.3B übertrifft.

Einführung in die Methode

Stable Code basiert auf Stable LM 3B. Stable Code ist ein kausaler reiner Decoder-Transformator, ähnlich der LLaMA-Architektur. Die Hauptunterschiede zur LLaMA sind wie folgt:

• Positionseinbettung, gedrehte Positionseinbettung wird auf die ersten 25 % der Kopfeinbettungsdimension angewendet, um den Durchsatz zu verbessern ;
• Standardisierung, LayerNorm mit erlernten Bias-Begriffen;
• Bias, mit Ausnahme von Bias für Schlüssel-, Abfrage- und Wertprojektionen, entfernt Stable Code alle Bias-Begriffe aus Feedforward-Netzwerken und Multi-Head-Selbstaufmerksamkeitsschichten.

Die folgende Tabelle zeigt das Stichprobengewicht, die Epoche, die Kategorie und andere Informationen des Korpusdatensatzes vor dem Training.

Laut dem Stack Overflow 2023 Developer Survey Report konzentriert sich Stable Code Instruct 3B auf Sprachen wie Python, Javascript, Java, C, C++ und Go, die nützlich sind für eine Vielzahl von Entwicklern Es ist das beliebteste und einflussreichste. Während diese Sprachen als Trainingsschwerpunkt ausgewählt wurden, wurde das Modell auch in anderen weit verbreiteten Sprachen wie SQL, PHP und Rust trainiert.

Stable Code Instruct 3B bietet eine starke Testleistung, selbst für Sprachen, die ursprünglich nicht im Trainingssatz enthalten waren (wie z. B. Lua). Diese Kompetenz beruht wahrscheinlich auf einem Verständnis der zugrunde liegenden Codierungsprinzipien und der Fähigkeit, Konzepte in verschiedenen Programmierumgebungen anzupassen, indem man sich die inhärente Vorhersehbarkeit von Codierungsaufgaben zunutze macht.

Stable Code Instruct 3B beherrscht nicht nur die Codegenerierung, sondern auch FIM-Aufgaben (Fill in the Middle), Datenbankabfragen, Codeübersetzung, -interpretation und -erstellung. Seine Anweisungen sind so abgestimmt, dass es differenzierte Anweisungen verstehen und darauf reagieren kann. Dadurch wird eine breite Palette von Codierungsaufgaben erleichtert, die über die einfache Code-Vervollständigung hinausgehen, einschließlich mathematischem Verständnis, logischem Denken und der Verarbeitung komplexer technischer Beschreibungen rund um die Softwareentwicklung.

Leistungsbewertung

Im Vergleich zu führenden Modellen wie Codellama 7B Instruct und DeepSeek-Coder Instruct 1.3B zeigt Stable Code Instruct 3B eine überlegene Leistung bei einer Reihe von Codierungsaufgaben.

Das Forschungsteam verglich die drei Modelle auch im Multi-PL-Benchmark. Trotz weniger Parameter übertrifft Stable Code Instruct 3B CodeLlama Instruct in allen Sprachen deutlich.

Tabelle 8 unten zeigt die Leistung mehrerer Modelle bei der FIM-Aufgabe:

Experimentelle Tests zeigen, dass Stable Code Instruct 3B eine bessere Leistung in Bezug auf Codevervollständigungsgenauigkeit und natürliche Sprache aufweist Vergleichbare oder sogar übertroffene andere Modelle hinsichtlich des Befehlsverständnisses und der Fähigkeit, verschiedene Programmiersprachen abzudecken.

Die Parametergröße und die geringen Hardwareanforderungen von Stable Code Instruct 3B machen es einem breiten Publikum zugänglich und ermöglichen Entwicklern ein effizienteres Arbeiten. Erwähnenswert ist, dass Stable Code Instruct 3B jetzt für kommerzielle Zwecke mit einer Stability AI-Mitgliedschaft verfügbar ist.

Das obige ist der detaillierte Inhalt vonStabilitäts-KI-Open-Source-3B-Codegenerierungsmodell: Kann vervollständigt und debuggt werden. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!