Diese Modelle sind derzeit in drei verschiedenen Größen erhältlich und wurden in mehr als 600 Programmiersprachen, darunter auch ressourcenarmen Sprachen, trainiert, um Unternehmen dabei zu helfen, verschiedene Code-bezogene Aufgaben in ihren Entwicklungsabläufen zu beschleunigen. Sie werden unter freiem Himmel entwickelt Das BigCode-Projekt ist eine gemeinsame Initiative von ServiceNow und Huging Face, um die verantwortungsvolle Entwicklung und Nutzung großer Code-Sprachmodelle sicherzustellen. Sie sind unter der offenen Responsible AI-Lizenz frei verfügbar.
Die Einführung von StarCoder2 bestätigt die enorme Kraft, die aus einer offenen wissenschaftlichen Zusammenarbeit und verantwortungsvollen KI-Praktiken in Kombination mit einer ethischen Datenlieferkette entstehen kann. Harm de Vries, Leiter des StarCoder2-Entwicklungsteams bei ServiceNow und Co-Leiter von BigCode, wies in einer Erklärung darauf hin, dass das neue Open-Access-Modell nicht nur die bisherige GenAI-Leistung verbessert, sondern auch die Entwicklerproduktivität verbessert und sie zugänglicher macht Vorteile der Codegenerierung mit KI, die es Unternehmen jeder Größe erleichtert, ihr volles Geschäftspotenzial auszuschöpfen.
Das neueste Produkt von BigCode ist nicht nur ein Upgrade von StarCoder LLM, es führt auch drei Modelle unterschiedlicher Größe ein: 3B, 7B und 15B und erweitert die unterstützten Programmiersprachen. Erreicht 619 Arten. In der neuen Produktgeneration hat sich die Menge an Trainingsdaten für das Modell namens Stack im Vergleich zum Vorgängermodell fast versiebenfacht. Das bedeutet, dass sich BigCode ständig weiterentwickelt, um Entwicklern leistungsfähigere und umfassendere Tools und Ressourcen zur Verfügung zu stellen, die ihnen helfen, bei einer Vielzahl von Programmieraufgaben erfolgreich zu sein. Dieser Innovationsgeist und die Einstellung zur kontinuierlichen Verbesserung haben BigCode zur bevorzugten Plattform gemacht, der Entwickler vertrauen und auf die sie sich verlassen können, und die ihnen ein breiteres Spektrum an Lern- und Anwendungsmöglichkeiten bietet. Die Entwicklung von BigCode zeigt kontinuierliche Investitionen und Fokussierung im Bereich Technologie und Programmierung und bringt neue Möglichkeiten und Chancen für die gesamte Branche.
Die BigCode-Community nutzt Trainingstechnologie der neuesten Generation, um sicherzustellen, dass Modelle ressourcenarme Programmiersprachen wie COBOL, Mathematik und Programmquellcode verstehen und generieren können. Dieser Ansatz ist entscheidend, um Benutzern zu einem besseren Verständnis verschiedener Programmiersprachen und Codediskussionen zu verhelfen.
Das 3-Milliarden-Parameter-Modell wurde mit dem Fast LLM-Framework von ServiceNow trainiert, während das 7B-Modell auf Basis des Nantron-Frameworks von Hugging Face entwickelt wurde. Beide Modelle sind darauf ausgelegt, eine hohe Leistung für die Text-zu-Code- und Text-zu-Workflow-Generierung zu bieten und gleichzeitig weniger Rechenressourcen zu benötigen.
Gleichzeitig wurde das größte 15-Milliarden-Parametermodell mithilfe des durchgängigen Cloud-nativen Frameworks NVIDIA Nemo und der NVIDIA TensorRT-LLM-Software trainiert und optimiert.
Während abzuwarten bleibt, wie sich diese Modelle in verschiedenen Codierungsszenarien schlagen, weisen die Unternehmen darauf hin, dass das kleinste 3B-Modell eine Leistung erbringt, die der des ursprünglichen 15B StarCoder LLM ebenbürtig ist.
Je nach Bedarf können Unternehmensteams jedes dieser Modelle verwenden und es auf der Grundlage von Unternehmensdaten für verschiedene Anwendungsfälle weiter verfeinern, bei denen es sich um jede spezielle Aufgabe handeln kann, von der Generierung des Anwendungsquellcodes, der Workflow-Generierung und der Textzusammenfassung bis hin zum Code Vervollständigung, erweiterte Code-Zusammenfassung und Code-Snippet-Abruf.
Die Unternehmen betonten, dass diese Modelle umfangreicher und tiefer trainiert seien und in der Lage seien, kontextbewusstere und genauere Vorhersagen zu liefern. Dieses hochqualifizierte Modell ist in der Lage, den Kontext des Repositorys besser zu verstehen. Letztendlich ebnen diese Bemühungen den Weg zur Beschleunigung der Entwicklungsbemühungen und ermöglichen es Ingenieuren und Entwicklern, mehr Energie auf wichtigere Aufgaben zu konzentrieren.
Jonathan Cohen, Vizepräsident für angewandte Forschung bei NVIDIA, sagte in einer Pressemitteilung: „Da jedes Software-Ökosystem über eine proprietäre Programmiersprache verfügt, kann Code LLM in jeder Branche Durchbrüche bei Effizienz und Innovation vorantreiben.“
„NVIDIA Die Partnerschaft.“ „Mit ServiceNow und Huging Face wird ein sicheres, verantwortungsvolles Entwicklungsmodell eingeführt und ein breiterer Zugang zu verantwortungsvoller GenAI unterstützt, von dem wir hoffen, dass er der globalen Gemeinschaft zugute kommt“, fügte er hinzu.
Wie bereits erwähnt, stehen alle Modelle der StarCoder2-Serie unter der Open Rail-M-Lizenz und können lizenzgebührenfrei genutzt werden. Unterstützender Code finden Sie im GitHub-Repository des BigCode-Projekts. Alternativ können Teams auch alle drei Modelle von Hugging Face herunterladen und nutzen.
Dennoch werden 15 Milliarden von NVIDIA trainierte Modelle auch auf der NVIDIA AI Foundation verfügbar sein, sodass Entwickler direkt über ihren Browser oder über API-Endpunkte experimentieren können.
Obwohl StarCoder nicht der erste Teilnehmer im Bereich der KI-gesteuerten Codegenerierung ist, wird die breite Palette an Optionen, die die neueste Generation des Projekts bietet, es Unternehmen sicherlich ermöglichen, LLMS in der Anwendungsentwicklung zu nutzen und gleichzeitig Rechenaufwand zu sparen.
Weitere bemerkenswerte Akteure in diesem Bereich sind OpenAI, das Codex anbietet, das den Pilotdienst der GitHub-Föderation antreibt, und Amazon, das das CodeWhisper-Tool anbietet, sowie starke Konkurrenz von Replit und Codenium, wobei Replit mehrere auf dem Hugging Face hat Codenium, ein kleines KI-Codierungsmodell, hat kürzlich eine Serie-B-Finanzierung in Höhe von 65 Millionen US-Dollar bei einer Bewertung von 500 Millionen US-Dollar eingeworben.
Das obige ist der detaillierte Inhalt vonNvidia, Hugging Face und ServiceNow veröffentlichen neues StarCoder2 LLM für die Codegenerierung. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
