Inhaltsverzeichnis
Einschränkungen des Hint Engineering
AlphaCodium Iterative Process
Vorverarbeitung
Code-Iteration
Experimentelle Ergebnisse
Heim Technologie-Peripheriegeräte KI Traffic Engineering verdoppelt die Genauigkeit der Codegenerierung: von 19 % auf 44 %

Traffic Engineering verdoppelt die Genauigkeit der Codegenerierung: von 19 % auf 44 %

Feb 05, 2024 am 09:15 AM
人工智能 自然语言 代码生成

Die Autoren eines neuen Papiers schlagen eine Möglichkeit vor, die Codegenerierung zu „verbessern“.

Traffic Engineering verdoppelt die Genauigkeit der Codegenerierung: von 19 % auf 44 %

Codegenerierung ist eine immer wichtiger werdende Fähigkeit der künstlichen Intelligenz. Es generiert automatisch Computercode basierend auf Beschreibungen in natürlicher Sprache, indem es Modelle für maschinelles Lernen trainiert. Diese Technologie hat breite Anwendungsaussichten und kann Softwarespezifikationen in verwendbaren Code umwandeln, die Back-End-Entwicklung automatisieren und menschliche Programmierer dabei unterstützen, die Arbeitseffizienz zu verbessern.

Allerdings ist die Generierung von qualitativ hochwertigem Code für KI-Systeme im Vergleich zu Sprachaufgaben wie Übersetzung oder Zusammenfassung immer noch eine Herausforderung. Der Code muss genau der Syntax der Zielprogrammiersprache entsprechen, Randfälle und unerwartete Eingaben ordnungsgemäß verarbeiten und die vielen kleinen Details der Problembeschreibung genau behandeln. Selbst kleine Fehler, die in anderen Bereichen harmlos erscheinen, können die Funktionalität eines Programms vollständig beeinträchtigen und dazu führen, dass es nicht kompiliert oder ausgeführt werden kann.

Kürzlich haben Forscher von CodiumAI AlphaCodium vorgeschlagen, eine neue Methode, die die Codegenerierungsfähigkeiten großer Sprachmodelle wie GPT-4 erheblich verbessern kann. Ihr Punkt ist, dass die bloße Feinabstimmung des Wortlauts von Eingabeaufforderungen inhärente Einschränkungen bei der Lösung komplexer Codierungsprobleme mit sich bringt. Stattdessen entwarfen sie einen mehrstufigen Prozess, der sich auf das iterative Generieren, Ausführen und Debuggen von Code anhand von Testfällen konzentrierte, sodass das Modell aus der Praxis lernen konnte.

Einschränkungen des Hint Engineering

Bei Aufgaben in natürlicher Sprache bezieht sich Hint Engineering auf die sorgfältige Abstimmung des Wortlauts und der Struktur von Hinweisen, um das Modell so zu steuern, dass es die gewünschte Ausgabe erzeugt. Wenn Sie beispielsweise vor dem Eingabetext den Satz „Schreiben Sie eine kurze Zusammenfassung:“ hinzufügen, kann das Modell dazu führen, dass eine genauere Zusammenfassung generiert wird.

Prompt Engineering hat sich bei der Textgenerierung als sehr effektiv erwiesen, um das Verhalten großer Sprachmodelle zu steuern. Bei Codierungsproblemen haben Forscher jedoch herausgefunden, dass selbst mit umfangreichen rechtzeitigen Anpassungen nur geringe Fortschritte erzielt werden können. Diese Entdeckung regt zum Nachdenken an. Daher erfordert die Generierung von qualitativ hochwertigem Code noch andere Lösungen:

  • Genaue Übereinstimmung mit der Syntax der Zielprogrammiersprache
  • Behandeln Sie Eckfälle und unerwartete Eingaben elegant
  • Behandeln Sie alle im Problem beschriebenen kleinen Details Anweisung und Anforderungen
  • stellen sicher, dass der Code für alle gültigen Eingaben korrekt kompiliert und ausgeführt wird

Diese strukturellen Anforderungen gehen über den Rahmen der Textgenerierung hinaus und können nicht fest in die Eingabeaufforderung codiert werden. Den Eingabeaufforderungen selbst fehlten die Programmierkenntnisse und das konkrete Feedback, die für das Modelllernen erforderlich sind.

AlphaCodium Iterative Process

Um diese Herausforderungen anzugehen, haben Forscher einen iterativen Prozess entwickelt, der speziell für Codegenerierungsprobleme strukturiert ist. Die wichtigste Neuerung besteht darin, die Ausführungsergebnisse des generierten Codes als Lernsignale zu nutzen, um direktes Feedback zu geben.

Der Prozess von AlphaCodium besteht aus zwei Hauptphasen:

Vorverarbeitung

  • Das Modell paraphrasiert die Problembeschreibung in Aufzählungszeichen, um wichtige Details zu extrahieren.
  • Erklären Sie die beabsichtigte Logik hinter jeder Beispieleingabe/-ausgabe.
  • Stellen Sie zwei oder drei Lösungen in natürlicher Sprache bereit.
  • Generieren Sie zusätzliche verschiedene Testfälle für die Codeabdeckung.

Code-Iteration

  • Modell generiert erste Codelösungen.
  • Führen Sie den Code wiederholt gegen den öffentlichen Testfall aus und beheben Sie auftretende Fehler.
  • Machen Sie dasselbe für die vom Modell generierten Testfälle.
  • Zusätzliche Testfälle werden zur wachsenden Suite von „Testankern“ hinzugefügt, um Regressionen zu verhindern.

Durch schrittweises Nachdenken über Probleme, Entwickeln von Lösungshypothesen, Erweitern der Testabdeckung und iteratives Generieren und Debuggen von Code lernen Modelle durch Erfahrung – genau die Fähigkeiten, die für eine qualitativ hochwertige Codegenerierung erforderlich sind.

Traffic Engineering verdoppelt die Genauigkeit der Codegenerierung: von 19 % auf 44 %

Abbildung 1. Beispiel einer Eingabeaufforderung mit strukturierter Ausgabe (Phase „Mögliche Lösung generieren“)

Forscher fanden heraus, dass die Gestaltung von Prozessen mit klaren Schnittstellen und Zielen im Vergleich zu End-to-End-Modellen besser zu erreichen ist bessere Ergebnisse. Jede Phase konzentriert sich zunächst auf einfachere Teilaufgaben, um Wissen aufzubauen und Erkenntnisse zu gewinnen, die als Grundlage für nachgelagerte Phasen dienen. Vorgelagerte Phasen wie die Testgenerierung erfordern keine vollständige Lösung, sondern nur eine grundlegende Argumentation.

Experimentelle Ergebnisse

Die Forscher bewerteten AlphaCodium anhand des CodeContests-Benchmarks, der Hunderte von Codierungsproblemen aus kompetitiven Programmierwettbewerben enthält.

Traffic Engineering verdoppelt die Genauigkeit der Codegenerierung: von 19 % auf 44 %

Abbildung 2. Problembeschreibung und Reflexion – ein Beispiel für eine typische CodeContests-Frage, Selbstreflexion über das Problem basierend auf künstlicher Intelligenz. Während die anfängliche Beschreibung lang und komplex ist, kann eine ordnungsgemäße Selbstreflexion das Problem klarer und kohärenter machen und zu verbesserten Codelösungen führen

Gegenüber dem GPT-4-Modell validiert AlphaCodium den Code im Vergleich zu einem stark optimierten Einzeltipp Die Generierungsgenauigkeit am Set wurde von 19 % auf 44 % erhöht. Dieser Vorteil gilt für verschiedene Modellgrößen und Testsätze und ist deutlich effektiver als ein separates Hinweisprojekt.

AlphaCodium ist außerdem deutlich leistungsfähiger als zuvor veröffentlichte Methoden wie AlphaCode und CodeChain und verbraucht gleichzeitig weniger Rechenressourcen. Durch die Vermeidung unnötiger Brute-Force-Generierung ist die Genauigkeit beispielsweise mit der von AlphaCode vergleichbar und erfordert gleichzeitig 10.000-mal weniger Modellabfragen.

Diese Ergebnisse zeigen, wie wertvoll es ist, KI-Systeme ganzheitlich anhand von Aufgabenstrukturen zu entwerfen, anstatt sie als Allzweck-Textgeneratoren zu behandeln. Durch die Integration der iterativen Codeausführung und des Debuggens richtet AlphaCodium den Trainingsprozess besser auf das Endziel aus, robusten, praktischen Code zu erstellen.

... komplexe Codierungsaufgaben. Konkrete Problemlösungserfahrung ist entscheidend.

Testbasierte Entwicklungsspezifikationen können eine Grundlage für das Modelltraining bieten. Der Test stellt eine explizite Fitnessfunktion bereit.

Iteratives Code-Debugging konzentriert die Modellverbesserung auf die tatsächlich auftretenden Fehler.
  • Die Erweiterung der Testabdeckung hebt unsichtbare Generalisierungslücken in Hinweisen hervor.
  • Eine sanfte Entscheidungsfindung mit doppelter Überprüfung reduziert Anfälligkeit und Voreingenommenheit.
  • AlphaCodium bietet ein vielversprechendes neues Paradigma für die Codegenerierung basierend auf Best Practices der Softwareentwicklung. Es bleiben offene Forschungsfragen hinsichtlich der Generalisierbarkeit und des Rechenaufwands. Aber die hier vorgestellten Prinzipien (Lernen aus Erfahrung, testgetriebene Entwicklung, modulares Denken und iteratives Debuggen) scheinen eine solide Grundlage für die Verbesserung der Codierungsfunktionen für KI zu bieten.
  • Papierlink: https://arxiv.org/pdf/2401.08500.pdf.
  • Codebasis:
https://github.com/Codium-ai/AlphaCodium.

Originaltitel: „Flow Engineering“ verdoppelt die Genauigkeit der Codegenerierung (19 % gegenüber 44 %), Autor: Mike Young

Link: https://notes.aimodels.fyi/flow-engineering-intensify-for- Codegenerierung/.

Das obige ist der detaillierte Inhalt vonTraffic Engineering verdoppelt die Genauigkeit der Codegenerierung: von 19 % auf 44 %. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn

Heiße KI -Werkzeuge

Undresser.AI Undress

Undresser.AI Undress

KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover

AI Clothes Remover

Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool

Undress AI Tool

Ausziehbilder kostenlos

Clothoff.io

Clothoff.io

KI-Kleiderentferner

AI Hentai Generator

AI Hentai Generator

Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

R.E.P.O. Energiekristalle erklärten und was sie tun (gelber Kristall)
2 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌
Repo: Wie man Teamkollegen wiederbelebt
1 Monate vor By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island Abenteuer: Wie man riesige Samen bekommt
4 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌

Heiße Werkzeuge

Notepad++7.3.1

Notepad++7.3.1

Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version

SublimeText3 chinesische Version

Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1

Senden Sie Studio 13.0.1

Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6

Dreamweaver CS6

Visuelle Webentwicklungstools

SublimeText3 Mac-Version

SublimeText3 Mac-Version

Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Bytedance Cutting führt SVIP-Supermitgliedschaft ein: 499 Yuan für ein fortlaufendes Jahresabonnement, das eine Vielzahl von KI-Funktionen bietet Bytedance Cutting führt SVIP-Supermitgliedschaft ein: 499 Yuan für ein fortlaufendes Jahresabonnement, das eine Vielzahl von KI-Funktionen bietet Jun 28, 2024 am 03:51 AM

Diese Seite berichtete am 27. Juni, dass Jianying eine von FaceMeng Technology, einer Tochtergesellschaft von ByteDance, entwickelte Videobearbeitungssoftware ist, die auf der Douyin-Plattform basiert und grundsätzlich kurze Videoinhalte für Benutzer der Plattform produziert Windows, MacOS und andere Betriebssysteme. Jianying kündigte offiziell die Aktualisierung seines Mitgliedschaftssystems an und führte ein neues SVIP ein, das eine Vielzahl von KI-Schwarztechnologien umfasst, wie z. B. intelligente Übersetzung, intelligente Hervorhebung, intelligente Verpackung, digitale menschliche Synthese usw. Preislich beträgt die monatliche Gebühr für das Clipping von SVIP 79 Yuan, die Jahresgebühr 599 Yuan (Hinweis auf dieser Website: entspricht 49,9 Yuan pro Monat), das fortlaufende Monatsabonnement beträgt 59 Yuan pro Monat und das fortlaufende Jahresabonnement beträgt 499 Yuan pro Jahr (entspricht 41,6 Yuan pro Monat). Darüber hinaus erklärte der Cut-Beamte auch, dass diejenigen, die den ursprünglichen VIP abonniert haben, das Benutzererlebnis verbessern sollen

Kontexterweiterter KI-Codierungsassistent mit Rag und Sem-Rag Kontexterweiterter KI-Codierungsassistent mit Rag und Sem-Rag Jun 10, 2024 am 11:08 AM

Verbessern Sie die Produktivität, Effizienz und Genauigkeit der Entwickler, indem Sie eine abrufgestützte Generierung und ein semantisches Gedächtnis in KI-Codierungsassistenten integrieren. Übersetzt aus EnhancingAICodingAssistantswithContextUsingRAGandSEM-RAG, Autor JanakiramMSV. Obwohl grundlegende KI-Programmierassistenten natürlich hilfreich sind, können sie oft nicht die relevantesten und korrektesten Codevorschläge liefern, da sie auf einem allgemeinen Verständnis der Softwaresprache und den gängigsten Mustern beim Schreiben von Software basieren. Der von diesen Coding-Assistenten generierte Code eignet sich zur Lösung der von ihnen zu lösenden Probleme, entspricht jedoch häufig nicht den Coding-Standards, -Konventionen und -Stilen der einzelnen Teams. Dabei entstehen häufig Vorschläge, die geändert oder verfeinert werden müssen, damit der Code in die Anwendung übernommen wird

Sieben coole technische Interviewfragen für GenAI und LLM Sieben coole technische Interviewfragen für GenAI und LLM Jun 07, 2024 am 10:06 AM

Um mehr über AIGC zu erfahren, besuchen Sie bitte: 51CTOAI.x Community https://www.51cto.com/aigc/Translator|Jingyan Reviewer|Chonglou unterscheidet sich von der traditionellen Fragendatenbank, die überall im Internet zu sehen ist erfordert einen Blick über den Tellerrand hinaus. Large Language Models (LLMs) gewinnen in den Bereichen Datenwissenschaft, generative künstliche Intelligenz (GenAI) und künstliche Intelligenz zunehmend an Bedeutung. Diese komplexen Algorithmen verbessern die menschlichen Fähigkeiten, treiben Effizienz und Innovation in vielen Branchen voran und werden zum Schlüssel für Unternehmen, um wettbewerbsfähig zu bleiben. LLM hat ein breites Anwendungsspektrum und kann in Bereichen wie der Verarbeitung natürlicher Sprache, der Textgenerierung, der Spracherkennung und Empfehlungssystemen eingesetzt werden. Durch das Lernen aus großen Datenmengen ist LLM in der Lage, Text zu generieren

Kann LLM durch Feinabstimmung wirklich neue Dinge lernen: Die Einführung neuen Wissens kann dazu führen, dass das Modell mehr Halluzinationen hervorruft Kann LLM durch Feinabstimmung wirklich neue Dinge lernen: Die Einführung neuen Wissens kann dazu führen, dass das Modell mehr Halluzinationen hervorruft Jun 11, 2024 pm 03:57 PM

Large Language Models (LLMs) werden auf riesigen Textdatenbanken trainiert und erwerben dort große Mengen an realem Wissen. Dieses Wissen wird in ihre Parameter eingebettet und kann dann bei Bedarf genutzt werden. Das Wissen über diese Modelle wird am Ende der Ausbildung „verdinglicht“. Am Ende des Vortrainings hört das Modell tatsächlich auf zu lernen. Richten Sie das Modell aus oder verfeinern Sie es, um zu erfahren, wie Sie dieses Wissen nutzen und natürlicher auf Benutzerfragen reagieren können. Aber manchmal reicht Modellwissen nicht aus, und obwohl das Modell über RAG auf externe Inhalte zugreifen kann, wird es als vorteilhaft angesehen, das Modell durch Feinabstimmung an neue Domänen anzupassen. Diese Feinabstimmung erfolgt mithilfe von Eingaben menschlicher Annotatoren oder anderer LLM-Kreationen, wobei das Modell auf zusätzliches Wissen aus der realen Welt trifft und dieses integriert

Um ein neues wissenschaftliches und komplexes Frage-Antwort-Benchmark- und Bewertungssystem für große Modelle bereitzustellen, haben UNSW, Argonne, die University of Chicago und andere Institutionen gemeinsam das SciQAG-Framework eingeführt Um ein neues wissenschaftliches und komplexes Frage-Antwort-Benchmark- und Bewertungssystem für große Modelle bereitzustellen, haben UNSW, Argonne, die University of Chicago und andere Institutionen gemeinsam das SciQAG-Framework eingeführt Jul 25, 2024 am 06:42 AM

Herausgeber | Der Frage-Antwort-Datensatz (QA) von ScienceAI spielt eine entscheidende Rolle bei der Förderung der Forschung zur Verarbeitung natürlicher Sprache (NLP). Hochwertige QS-Datensätze können nicht nur zur Feinabstimmung von Modellen verwendet werden, sondern auch effektiv die Fähigkeiten großer Sprachmodelle (LLMs) bewerten, insbesondere die Fähigkeit, wissenschaftliche Erkenntnisse zu verstehen und zu begründen. Obwohl es derzeit viele wissenschaftliche QS-Datensätze aus den Bereichen Medizin, Chemie, Biologie und anderen Bereichen gibt, weisen diese Datensätze immer noch einige Mängel auf. Erstens ist das Datenformular relativ einfach, die meisten davon sind Multiple-Choice-Fragen. Sie sind leicht auszuwerten, schränken jedoch den Antwortauswahlbereich des Modells ein und können die Fähigkeit des Modells zur Beantwortung wissenschaftlicher Fragen nicht vollständig testen. Im Gegensatz dazu offene Fragen und Antworten

SOTA Performance, eine multimodale KI-Methode zur Vorhersage der Protein-Ligand-Affinität in Xiamen, kombiniert erstmals molekulare Oberflächeninformationen SOTA Performance, eine multimodale KI-Methode zur Vorhersage der Protein-Ligand-Affinität in Xiamen, kombiniert erstmals molekulare Oberflächeninformationen Jul 17, 2024 pm 06:37 PM

Herausgeber |. KX Im Bereich der Arzneimittelforschung und -entwicklung ist die genaue und effektive Vorhersage der Bindungsaffinität von Proteinen und Liganden für das Arzneimittelscreening und die Arzneimitteloptimierung von entscheidender Bedeutung. Aktuelle Studien berücksichtigen jedoch nicht die wichtige Rolle molekularer Oberflächeninformationen bei Protein-Ligand-Wechselwirkungen. Auf dieser Grundlage schlugen Forscher der Universität Xiamen ein neuartiges Framework zur multimodalen Merkmalsextraktion (MFE) vor, das erstmals Informationen über Proteinoberfläche, 3D-Struktur und -Sequenz kombiniert und einen Kreuzaufmerksamkeitsmechanismus verwendet, um verschiedene Modalitäten zu vergleichen Ausrichtung. Experimentelle Ergebnisse zeigen, dass diese Methode bei der Vorhersage von Protein-Ligand-Bindungsaffinitäten Spitzenleistungen erbringt. Darüber hinaus belegen Ablationsstudien die Wirksamkeit und Notwendigkeit der Proteinoberflächeninformation und der multimodalen Merkmalsausrichtung innerhalb dieses Rahmens. Verwandte Forschungen beginnen mit „S

Fünf Schulen des maschinellen Lernens, die Sie nicht kennen Fünf Schulen des maschinellen Lernens, die Sie nicht kennen Jun 05, 2024 pm 08:51 PM

Maschinelles Lernen ist ein wichtiger Zweig der künstlichen Intelligenz, der Computern die Möglichkeit gibt, aus Daten zu lernen und ihre Fähigkeiten zu verbessern, ohne explizit programmiert zu werden. Maschinelles Lernen hat ein breites Anwendungsspektrum in verschiedenen Bereichen, von der Bilderkennung und der Verarbeitung natürlicher Sprache bis hin zu Empfehlungssystemen und Betrugserkennung, und es verändert unsere Lebensweise. Im Bereich des maschinellen Lernens gibt es viele verschiedene Methoden und Theorien, von denen die fünf einflussreichsten Methoden als „Fünf Schulen des maschinellen Lernens“ bezeichnet werden. Die fünf Hauptschulen sind die symbolische Schule, die konnektionistische Schule, die evolutionäre Schule, die Bayes'sche Schule und die Analogieschule. 1. Der Symbolismus, auch Symbolismus genannt, betont die Verwendung von Symbolen zum logischen Denken und zum Ausdruck von Wissen. Diese Denkrichtung glaubt, dass Lernen ein Prozess der umgekehrten Schlussfolgerung durch das Vorhandene ist

SK Hynix wird am 6. August neue KI-bezogene Produkte vorstellen: 12-Layer-HBM3E, 321-High-NAND usw. SK Hynix wird am 6. August neue KI-bezogene Produkte vorstellen: 12-Layer-HBM3E, 321-High-NAND usw. Aug 01, 2024 pm 09:40 PM

Laut Nachrichten dieser Website vom 1. August hat SK Hynix heute (1. August) einen Blogbeitrag veröffentlicht, in dem es ankündigt, dass es am Global Semiconductor Memory Summit FMS2024 teilnehmen wird, der vom 6. bis 8. August in Santa Clara, Kalifornien, USA, stattfindet viele neue Technologien Generation Produkt. Einführung des Future Memory and Storage Summit (FutureMemoryandStorage), früher Flash Memory Summit (FlashMemorySummit), hauptsächlich für NAND-Anbieter, im Zusammenhang mit der zunehmenden Aufmerksamkeit für die Technologie der künstlichen Intelligenz wurde dieses Jahr in Future Memory and Storage Summit (FutureMemoryandStorage) umbenannt Laden Sie DRAM- und Speicheranbieter und viele weitere Akteure ein. Neues Produkt SK Hynix wurde letztes Jahr auf den Markt gebracht

See all articles