Google veröffentlicht den BIG-Bench Mistake-Datensatz, um KI-Sprachmodellen dabei zu helfen, die Selbstkorrekturfähigkeiten zu verbessern

Google Research nutzte seinen eigenen BIG-Bench-Benchmark, um den Datensatz „BIG-Bench Mistake“ zu erstellen, und führte Bewertungsstudien zur Fehlerwahrscheinlichkeit und Fehlerkorrekturfähigkeiten beliebter Sprachmodelle auf dem Markt durch. Ziel dieser Initiative ist es, die Qualität und Genauigkeit von Sprachmodellen zu verbessern und Anwendungen in den Bereichen intelligente Suche und Verarbeitung natürlicher Sprache besser zu unterstützen.

Google-Forscher sagten, sie hätten einen speziellen Datensatz namens „BIG-Bench Mistake“ erstellt, um die Fehlerwahrscheinlichkeit und Selbstkorrekturfähigkeiten großer Sprachmodelle zu bewerten. Der Zweck dieses Datensatzes besteht darin, die Lücke im bisherigen Mangel an Datensätzen zur Bewertung dieser Fähigkeiten zu schließen.

Die Forscher führten 5 Aufgaben im BIG-Bench-Benchmark unter Verwendung des PaLM-Sprachmodells aus. Anschließend modifizierten sie die generierte „Gedankenketten“-Trajektorie, fügten einen „logischen Fehler“-Teil hinzu und verwendeten das Modell erneut, um Fehler in der Gedankenketten-Trajektorie zu bestimmen.

Um die Genauigkeit des Datensatzes zu verbessern, wiederholten Google-Forscher den oben genannten Prozess und erstellten einen speziellen Benchmark-Datensatz namens „BIG-Bench Mistake“, der 255 logische Fehler enthielt.

Die Forscher wiesen darauf hin, dass die logischen Fehler im Datensatz „BIG-Bench Mistake“ sehr offensichtlich sind, sodass er als guter Teststandard verwendet werden kann, um dem Sprachmodell zu helfen, mit dem Üben einfacher logischer Fehler zu beginnen und seine Fähigkeit dazu schrittweise zu verbessern Fehler identifizieren.

Die Forscher verwendeten diesen Datensatz, um Modelle auf dem Markt zu testen, und stellten fest, dass die überwiegende Mehrheit der Sprachmodelle zwar logische Fehler, die während des Argumentationsprozesses auftreten, erkennen und selbst korrigieren kann, dieser Prozess jedoch „nicht ideal“ ist und normalerweise erfordert menschliches Eingreifen, um den Inhalt der Modellausgabe zu korrigieren.

▲ Bildquelle Pressemitteilung von Google Research

Diese Website hat aus dem Bericht herausgefunden, dass Google behauptet, dass das „derzeit fortschrittlichste große Sprachmodell“ über relativ begrenzte Selbstkorrekturfähigkeiten verfügt und in relevanten Testergebnissen am besten abgeschnitten hat. Das Modell fand nur 52,9 % der logischen Fehler.

Google-Forscher behaupteten außerdem, dass dieser BIG-Bench-Fehlerdatensatz dazu beiträgt, die Selbstkorrekturfähigkeit des Modells zu verbessern. Nach der Feinabstimmung des Modells für relevante Testaufgaben ist „selbst die Leistung kleiner Modelle normalerweise besser als Nullstichproben“. vorschlagen: „Große Modelle sind besser“.

Demnach glaubt Google, dass im Hinblick auf die Modellfehlerkorrektur proprietäre kleine Modelle zur „Überwachung“ großer Modelle verwendet werden können, anstatt große Sprachmodelle lernen zu lassen, „Selbstfehler zu korrigieren“,

Einsatz kleiner dedizierter Modelle Die Überwachung großer Modelle wird dazu beitragen, die Effizienz zu verbessern, die damit verbundenen Kosten für die KI-Bereitstellung zu senken und die Feinabstimmung zu erleichtern.

Das obige ist der detaillierte Inhalt vonGoogle veröffentlicht den BIG-Bench Mistake-Datensatz, um KI-Sprachmodellen dabei zu helfen, die Selbstkorrekturfähigkeiten zu verbessern. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!