Der von OpenCSG, einem großen Modell-Startup in China, eingeführte StarShip CodeGen Agent hat durch Innovation den zweiten Platz weltweit im Prince WEBench-Ranking (Real Independent Programming Evaluation of Large Models) erreicht. Gleichzeitig wurde ein Höchstrekord (SOTA) basierend auf dem GPT-4o-Modell erstellt. (Wortzahl: 37)
SWEBench-Evaluierung kommt echten Programmierszenarien sehr nahe und ist äußerst schwierig. Sie erfordert nicht nur, dass das Modell die Anforderungen versteht und Änderungen zwischen mehreren Funktionen/Klassen koordiniert, sondern auch, dass das Modell mit der Ausführung interagiert Umgebung, verarbeiten extrem lange Kontexte und führen komplexe logische Überlegungen durch, die weit über herkömmliche Codegenerierungsaufgaben hinausgehen. In diesem schwierigen realen Test können die fortschrittlichsten GPT4 und Devin der Branche nur 1,74 % bzw. 13,86 % der Probleme lösen. Dieser Erfolg von OpenCSG markiert einen führenden Schritt inländischer Unternehmen bei der Förderung der Entwicklung von Sprachmodellen in eine praktischere, intelligentere und autonomere Richtung.
Devin – Innovation in der Programmierung großer Modelle
Im März 2024 erschütterte das Erscheinen von Devin, dem ersten KI-Softwareentwickler, die gesamte Technologiewelt. Obwohl es mit einer Reihe von Kontroversen einhergeht, haben Devins starke Innovationsfähigkeiten und sein enormes Potenzial bei vielen KI-Enthusiasten und Praktikern neue Erwartungen geweckt. Devin kann nicht nur problemlos Codierungsaufgaben lösen, sondern auch den gesamten Softwareentwicklungszyklus selbstständig abschließen – von der Projektplanung bis zur Bereitstellung, einschließlich, aber nicht beschränkt auf die Erstellung von Websites, das selbstständige Finden und Beheben von Fehlern, das Training und die Feinabstimmung von KI-Modellen usw.
Die wahre Herausforderung der Programmierung großer Modelle
Warum wagt Devin es, die Programmierfähigkeiten von Basismodellen wie GPT4 in Frage zu stellen? Der Kern besteht darin, dass Softwareentwickler nicht nur Code schreiben, sondern auch Anforderungsverständnis, Codeinterpretation, Programmierplanung, Codegenerierung, Debugging und Ausnahmereparatur usw. einbeziehen. Jeder Link hier wirkt sich auf die Benutzerfreundlichkeit und Wirkung der Programmierung großer Modelle aus.
Für solche realen Szenarien hat die Princeton University SWEBench (https://arxiv.org/abs/2310.06770) vorgeschlagen, ein Tool zur quantitativen Bewertung der End-to-End-Codegenerierungsfähigkeiten. Die Punktzahl von GPT-4 auf SWEBench beträgt nur 1,74 %. Selbst mit der RAG-Technologie liegt die Punktzahl nicht über 3 %, was zeigt, dass es nicht möglich ist, reale Programmierprobleme direkt zu lösen, indem man sich ausschließlich auf Basismodelle verlässt.
Devins technologische Innovation basiert auf der agentenbasierten Workflow-Konstruktion, die die Lösungsrate von SWEBench auf ein neues Niveau hebt. Im März führte Devin die Liste mit einer Problemlösungsrate von 13,86 % unabhängig gelöst an, was die „Programmierung großer Modelle“ direkt von einem Zustand, in dem sie nahezu unbrauchbar war, zu einem Zustand führte, der „das Licht der Welt erblickte“. Große Unternehmen aus dem Silicon Valley und große Modell-Startups rekrutieren LLM für SE, und dieser Rekord wurde kontinuierlich verbessert. Den besten Rekord stellte Ende April 2024 der vom Amazon AI-Team gestartete Amazon Q Developer Agent mit 20,33 % auf. Bedauerlicherweise beteiligten sich chinesische Unternehmen im Vergleich zum „Hundert Blumen blühen lassen“ chinesischer Unternehmen auf der Basismodellliste selten an dieser schwierigen Herausforderung, bis OpenCSG diesen Rekord revidierte.
Durchbrüche chinesischer Startups
Kürzlich wurden die neuesten Bewertungsergebnisse von SWEBench aktualisiert. Der vom Unternehmen eingeführte OpenCSG StarShip CodeGen Agent erreichte eine Erfolgsquote von 23,67 % in der Lite-Bewertung Dieser Erfolg übertraf nicht nur die Ergebnisse von Devin und Amazon, sondern stellte auch einen historischen Rekord (SOTA) für das revolutionäre GPT4-o-Basismodell auf.
OpenCSG besteht erst seit einem Jahr. Es handelt sich um ein Team mit umfassender Erfahrung in der Open-Source- und Großmodellsynthese: CEO Chen Ran ist ein bekannter Unternehmer im Bereich Open-Source-Software und hat viele erfolgreich aufgebaut kommerzielle Unternehmen im Open-Source-Bereich; CTO Wang Wei kommt aus der Yao-Klasse von 2005 und verfügt über langjährige Forschungs- und Entwicklungserfahrung im Bereich künstliche Intelligenz. Das Kern-F&E-Team des Unternehmens vereint auch Elitestudenten der Tsinghua-Universität, der Peking-Universität. Wharton, Hong Kong University of Science and Technology und andere Universitäten. Wie schafft so ein Team einen neuen Rekord?
Neuer Rekord, Modell+AgentZusammen arbeiten
Derzeit erforschen und praktizieren viele Unternehmen aktiv Basismodelle, vertikale Domänenmodelle, RAG und andere Technologien, während OpenCSG eine fokussierte Richtung gewählt hat: sich der Programmierung widmen Agents Innovative Entwicklung und tiefgreifende Optimierung großer Modellalgorithmen.
AgentLevel: Anders als LLM+RAG oder das allgemeine Agent-Framework ist OpenCSG StarShip CodeGen Agent für hochgradig angepasste und optimierte Agenten im Bereich der Softwareforschung und -entwicklung konzipiert: Integration aller Phasen der Forschung und Entwicklung (Anforderungsverständnis). , Code-Abruf, Programmierplanung und Code-Schreiben, Schleifenüberprüfung usw.) werden über den LLM-Agenten implementiert und mit Software-Engineering-Methoden wie AST-Syntaxanalyse, Abhängigkeitsabruf usw. kombiniert, um eine tiefgreifende Optimierung zu erreichen, die wir anstreben Exzellenz in jeder Verbindung und schließlich eine Codegenerierung mit höherer Präzision durch Integration.
Algorithmusebene: Als Reaktion auf typische Probleme wie API-Konflikte, die durch Codeversionsänderungen verursacht werden, schlägt OpenCSG ein adaptives Lehrermodell vor, das Codeversionsänderungsdatensätze über das Lehrermodell analysiert, um hochwertige Programmierdaten zu generieren und diese zu verwenden Verbessern Sie den Generierungseffekt des Basismodells. Der Bewertung zufolge sind die durch diese Innovationen erzielten Verbesserungen deutlich besser als das aktuelle RAG-Modell, insbesondere in beliebten Projektszenarien, in denen die API-Struktur häufig aktualisiert wird. Die relevanten Ergebnisse dieses Teils wurden in Papieren zusammengefasst und auf internationalen Konferenzen eingereicht.
Es ist dieser zweigleisige Ansatz aus Algorithmus + Engineering und einem kontinuierlichen Verbesserungsmodell, der es OpenCSG CodeGen Agent ermöglicht, sich von anderen Modellen abzuheben.
StarShips Sternenmeer
Wenn die eigentliche Bewertung von CodeGen Agent ein kleiner Test ist, dann trägt StarShip die große Blaupause von OpenCSG. Zur Produktpositionierung von StarShip sagte Chen Ran, CEO von OpenCSG: „StarShip trägt unsere Vision, die Softwareentwicklung mit großen Modellen neu zu gestalten. Benutzer bilden ihre eigenen digitalen Mitarbeiterteams durch die integrierten Agenten von StarShip. CodeGen Agent ist in die Plattform integriert. Digitale Programmierer, derzeit darunter.“ CodeReview Agent-Code-Reviewer und CodeSearch-Code-Frage- und Antwort-Ingenieure unterscheiden sich von Code-Unterstützungstools. Wir hoffen, dass diese digitalen Mitarbeiter in Zukunft direkt und ohne manuelle Unterstützung arbeiten können Anforderungen, Design, Codierung, Tests sowie Betrieb und Wartung.“
CTO Wang Wei sagte, dass dieser Weg voller Herausforderungen, aber sehr interessant sei: „Von Anfang an können große Modelle die Produktivität verbessern. Es ist keine Frage mehr „ oder ‚Nein‘, sondern die Frage, wann, wo und in welcher Form ist StarShip die Antwort, die wir geben wollen.“
Neben StarShip ist das OpenCSG-Team auch recht produktiv: CSGHub Open-Source-Modellplattform, wukong Vortrainingsmodell, CSGCoder fein abgestimmtes Codemodell usw. Diese Produkte sind genau positioniert und werden in der Branche gut angenommen.
Die schnelle Einführung und Iteration dieser Produkte erfüllt nicht nur die Marktnachfrage, sondern dient auch einem gemeinsamen Ziel: jedem in jedem Unternehmen mit großen Modellen mehr Möglichkeiten zu bieten. „Damit große Modelle jedes Unternehmen und jede Person stärken können, müssen wir große Modelle zu Wasser und Strom machen. Wenn große Modelle elektrische Energie sind, dann ist CSGHub das Stromnetz und StarShip sind verschiedene Haushaltsgeräte. Letztendlich Empowering.“ Tausende von Haushalten. „
Umfassen Sie Open Source und gehen Sie über Open Source hinaus.“ sondern macht die Plattform auch Open Source.
„Wir sind ein junges Unternehmen. Wir profitieren von Open Source, sodass wir in kürzerer Zeit einige Ergebnisse erzielen können. Gleichzeitig werden wir der Open-Source-Community voll und ganz etwas zurückgeben. Dies ist das Grundprinzip von Open.“ „Außerdem stimme ich Sam voll und ganz zu. Laut Altman ist Open Source nur ein Modell, und der Produktwert ist wichtiger als das Modell“, schloss CTO Wang Wei. „Mit der Einführung von GPT4-o wird erwartet, dass die Testergebnisse von SWEBench bald 30 % überschreiten, und optimistische Schätzungen können im nächsten Jahr über 50 % liegen. Und wir legen mehr Wert auf den dahinter stehenden Produktwert Zahlen: Mit der Verbesserung der Modellfähigkeiten und der Ingenieurstechnologie werden sich digitale Mitarbeiter von quantitativen zu qualitativen Veränderungen verändern, von benutzerfreundlich zu benutzerfreundlich, was zu einem umfassenden Ausbruch in verschiedenen Branchen führen wird.“ Wang Wei erklärte: „Dies könnte etwas Neues sein.“ Ära im Kontext der großen Modellära. Große Veränderungen, von Unternehmen bis hin zu Einzelpersonen, darauf müssen wir alle vorbereitet sein.“Das obige ist der detaillierte Inhalt vonYao Ban übertrifft Devin und führt OpenCSG an, um einen neuen Weltrekord für die Programmierung großer Modelle aufzustellen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
