Inhaltsverzeichnis
Kontrastives Non-Likelihood-Training
Experimentelle Auswertung
Zusammenfassung und Herausforderungen
Heim Technologie-Peripheriegeräte KI Lerne und wachse aus der Kritik wie Menschen, 1317 Kommentare erhöhten die Gewinnquote von LLaMA2 um das 30-fache

Lerne und wachse aus der Kritik wie Menschen, 1317 Kommentare erhöhten die Gewinnquote von LLaMA2 um das 30-fache

Feb 04, 2024 am 09:20 AM
数据 模型

Bestehende Methoden zur Ausrichtung großer Modelle umfassen beispielbasiertes überwachtes Fine-Tuning (SFT) und Score-Feedback-basiertes Verstärkungslernen (RLHF). Der Score kann jedoch nur die Qualität der aktuellen Antwort widerspiegeln und nicht eindeutig auf die Mängel des Modells hinweisen. Im Gegensatz dazu lernen und passen wir Menschen unsere Verhaltensmuster typischerweise durch verbales Feedback an. Ebenso wie die Bewertungskommentare nicht nur eine Bewertung sind, sondern auch viele Gründe für die Annahme oder Ablehnung enthalten.

Können also große Sprachmodelle Sprachfeedback nutzen, um sich wie Menschen zu verbessern?

Forscher der Chinesischen Universität Hongkong und des Tencent AI Lab haben kürzlich eine innovative Forschung namens Contrastive Unwahrscheinlichkeitslernen (CUT) vorgeschlagen. Die Forschung nutzt Sprachfeedback, um Sprachmodelle so anzupassen, dass sie wie Menschen aus unterschiedlichen Kritiken lernen und sich verbessern können. Ziel dieser Forschung ist es, die Qualität und Genauigkeit von Sprachmodellen zu verbessern, um sie besser mit der Denkweise des Menschen in Einklang zu bringen. Durch den Vergleich des Non-Likelihood-Trainings hoffen die Forscher, das Sprachmodell in die Lage zu versetzen, unterschiedliche Sprachgebrauchssituationen besser zu verstehen und sich an sie anzupassen und so seine Leistung bei Aufgaben zur Verarbeitung natürlicher Sprache zu verbessern. Diese innovative Forschung verspricht eine einfache und effektive Methode für Sprachmodelle zu sein.

CUT ist eine einfache und effektive Methode. Durch die Verwendung von nur 1317 Sprach-Feedback-Daten konnte CUT die Gewinnquote von LLaMA2-13b auf AlpacaEval erheblich verbessern, von 1,87 % auf 62,56 %, und 175B DaVinci003 erfolgreich besiegen. Das Spannende ist, dass CUT wie andere Reinforcement Learning- und Reinforcement Learning Reinforcement Feedback (RLHF)-Frameworks auch einen iterativen Zyklus aus Erkundung, Kritik und Verbesserung durchführen kann. In diesem Prozess kann die Kritikphase durch das automatische Bewertungsmodell abgeschlossen werden, um eine Selbstbewertung und Verbesserung des gesamten Systems zu erreichen.

Der Autor führte vier Iterationsrunden auf LLaMA2-chat-13b durch und verbesserte die Leistung des Modells auf AlpacaEval schrittweise von 81,09 % auf 91,36 %. Im Vergleich zur auf Score-Feedback (DPO) basierenden Ausrichtungstechnologie schneidet CUT bei gleicher Datengröße besser ab. Die Ergebnisse zeigen, dass Sprachfeedback ein großes Entwicklungspotenzial im Bereich Alignment aufweist und neue Möglichkeiten für die zukünftige Alignment-Forschung eröffnet. Diese Erkenntnis hat wichtige Auswirkungen auf die Verbesserung der Genauigkeit und Effizienz von Ausrichtungstechniken und bietet Orientierung für die Erzielung besserer Aufgaben bei der Verarbeitung natürlicher Sprache.

Lerne und wachse aus der Kritik wie Menschen, 1317 Kommentare erhöhten die Gewinnquote von LLaMA2 um das 30-fache

  • Papiertitel: Gründe für eine Ablehnung? Sprachmodelle mit Urteilen in Einklang bringen
  • Papierlink: https://arxiv.org/abs/2312.14591
  • Github-Link: https://github.com/wwxu21/CUT

Ausrichtung großer Modelle

Lerne und wachse aus der Kritik wie Menschen, 1317 Kommentare erhöhten die Gewinnquote von LLaMA2 um das 30-fache

Basierend auf bestehenden Arbeiten haben Forscher zwei gängige Methoden zur Ausrichtung großer Modelle zusammengefasst:

1. Aus der Demonstration lernen: Basierend auf vorgefertigten Anweisungs-Antwort-Paaren verwenden Sie überwachte Trainingsmethoden, um große Modelle auszurichten.

Vorteile: stabiles Training; einfache Umsetzung.
  • Nachteile: Es ist teuer, qualitativ hochwertige und vielfältige Beispieldaten zu sammeln. Beispieldaten sind für das Modell oft irrelevant.
  • 2. Aus Belohnungen lernen: Bewerten Sie die Befehls-Antwort-Paare und trainieren Sie das Modell mithilfe von Verstärkungslernen, um die Punktzahl seiner Antwort zu maximieren.

Vorteile: Es können sowohl korrekte Antworten als auch Fehlerantworten verwendet werden, die sich auf das Modell beziehen.

  • Nachteile: Feedbacksignale sind spärlich; der Trainingsprozess ist oft komplex.
  • Diese Forschung konzentriert sich auf das Lernen aus Sprachfeedback
  • (Lernen aus Urteilen): Anweisungen geben – antworten, Kommentare schreiben, basierend auf dem Sprachfeedback, die Mängel des Modells verbessern und dadurch die Vorteile des Modells beibehalten Verbesserung der Modellleistung.

Es ist ersichtlich, dass das Sprachfeedback die Vorteile des Score-Feedbacks übernimmt. Im Vergleich zum Score-Feedback ist das verbale Feedback informativer: Anstatt das Modell raten zu lassen, was es richtig und was falsch gemacht hat, kann das verbale Feedback direkt auf detaillierte Mängel und Verbesserungsmöglichkeiten hinweisen. Bedauerlicherweise haben Forscher jedoch herausgefunden, dass es derzeit keine wirksame Möglichkeit gibt, verbale Rückmeldungen vollständig zu nutzen. Zu diesem Zweck haben Forscher ein innovatives Framework namens CUT vorgeschlagen, das darauf ausgelegt ist, das Sprachfeedback optimal zu nutzen.

Kontrastives Non-Likelihood-Training

Die Kernidee von CUT ist, aus Kontrasten zu lernen. Forscher vergleichen die Reaktionen großer Modelle unter verschiedenen Bedingungen, um herauszufinden, welche Teile zufriedenstellend sind und gewartet werden sollten und welche Teile fehlerhaft sind und geändert werden müssen. Auf dieser Grundlage verwenden Forscher die Maximum-Likelihood-Schätzung (MLE), um den zufriedenstellenden Teil zu trainieren, und das Unwahrscheinlichkeitstraining (UT), um die Fehler in der Antwort zu modifizieren.

Lerne und wachse aus der Kritik wie Menschen, 1317 Kommentare erhöhten die Gewinnquote von LLaMA2 um das 30-fache

1. Ausrichtungsszenario: Wie in der Abbildung oben gezeigt, haben die Forscher zwei Ausrichtungsszenarien in Betracht gezogen:

a)Lerne und wachse aus der Kritik wie Menschen, 1317 Kommentare erhöhten die Gewinnquote von LLaMA2 um das 30-fache: Dies ist das allgemein verstandene Ausrichtungsszenario. In diesem Szenario geht es weiter , Antworten müssen den Anweisungen treu folgen und mit den menschlichen Erwartungen und Werten im Einklang stehen.

b)Lerne und wachse aus der Kritik wie Menschen, 1317 Kommentare erhöhten die Gewinnquote von LLaMA2 um das 30-fache: Dieses Szenario führt mündliches Feedback als zusätzliche Bedingung ein. In diesem Szenario muss die Antwort sowohl den Anweisungen als auch dem verbalen Feedback genügen. Wenn das große Modell beispielsweise eine negative Rückmeldung erhält, muss es aufgrund der in der entsprechenden Rückmeldung erwähnten Probleme Fehler machen.

2. Ausrichtungsdaten: Wie in der Abbildung oben gezeigt, haben die Forscher auf der Grundlage der beiden oben genannten Ausrichtungsszenarien drei Arten von Ausrichtungsdaten erstellt:

a) Align-P: Das große generierte Modell Es ist erstaunlich, zufrieden Antwort, daher das positive Feedback. Offensichtlich erfüllt Align-P die Ausrichtung sowohl im Lerne und wachse aus der Kritik wie Menschen, 1317 Kommentare erhöhten die Gewinnquote von LLaMA2 um das 30-fache- als auch im Lerne und wachse aus der Kritik wie Menschen, 1317 Kommentare erhöhten die Gewinnquote von LLaMA2 um das 30-fache-Szenario.

b) Align-N: Das große Modell generiert fehlerhafte (fettblaue) Antworten und erhält daher negatives Feedback. Für Align-N ist die Ausrichtung in Lerne und wachse aus der Kritik wie Menschen, 1317 Kommentare erhöhten die Gewinnquote von LLaMA2 um das 30-fache nicht erfüllt. Aber nach Berücksichtigung dieses negativen Feedbacks ist Align-N immer noch im Lerne und wachse aus der Kritik wie Menschen, 1317 Kommentare erhöhten die Gewinnquote von LLaMA2 um das 30-fache-Szenario ausgerichtet.

c) Fehlausrichtung: Echtes negatives Feedback in Align-N wird durch ein gefälschtes positives Feedback ersetzt. Offensichtlich erfüllt eine Fehlausrichtung die Ausrichtung nicht sowohl im Lerne und wachse aus der Kritik wie Menschen, 1317 Kommentare erhöhten die Gewinnquote von LLaMA2 um das 30-fache- als auch im Lerne und wachse aus der Kritik wie Menschen, 1317 Kommentare erhöhten die Gewinnquote von LLaMA2 um das 30-fache-Szenario.

3. Lernen Sie aus dem Vergleich:

Lerne und wachse aus der Kritik wie Menschen, 1317 Kommentare erhöhten die Gewinnquote von LLaMA2 um das 30-fache

a) Align-N vs. Misalign: Der Unterschied zwischen den beiden liegt hauptsächlich im Grad der Ausrichtung unter Lerne und wachse aus der Kritik wie Menschen, 1317 Kommentare erhöhten die Gewinnquote von LLaMA2 um das 30-fache. Angesichts der leistungsstarken kontextbezogenen Lernfähigkeiten großer Modelle geht die Umkehrung der Ausrichtungspolarität von Align-N zu Misalign normalerweise mit einer erheblichen Änderung der Generierungswahrscheinlichkeit bestimmter Wörter einher, insbesondere derjenigen Wörter, die eng mit echtem negativem Feedback zusammenhängen. Wie in der Abbildung oben gezeigt, ist unter der Bedingung Align-N (linker Kanal) die Wahrscheinlichkeit, dass ein großes Modell „a“ generiert, deutlich höher als bei Misalign (rechter Kanal). Und an der Stelle, an der sich die Wahrscheinlichkeit erheblich ändert, macht das große Modell einen Fehler.

Um aus diesem Vergleich zu lernen, geben die Forscher Align-N- und Misalign-Daten gleichzeitig in das große Modell ein, um die Erzeugungswahrscheinlichkeiten der Ausgabewörter unter den beiden Bedingungen Lerne und wachse aus der Kritik wie Menschen, 1317 Kommentare erhöhten die Gewinnquote von LLaMA2 um das 30-fache bzw. Lerne und wachse aus der Kritik wie Menschen, 1317 Kommentare erhöhten die Gewinnquote von LLaMA2 um das 30-fache zu erhalten. Wörter, die unter der Bedingung Lerne und wachse aus der Kritik wie Menschen, 1317 Kommentare erhöhten die Gewinnquote von LLaMA2 um das 30-fache eine deutlich höhere Generierungswahrscheinlichkeit haben als unter der Bedingung Lerne und wachse aus der Kritik wie Menschen, 1317 Kommentare erhöhten die Gewinnquote von LLaMA2 um das 30-fache, werden als unangemessene Wörter markiert. Insbesondere verwendeten die Forscher die folgenden Standards, um die Definition unangemessener Wörter zu quantifizieren:

Lerne und wachse aus der Kritik wie Menschen, 1317 Kommentare erhöhten die Gewinnquote von LLaMA2 um das 30-fache

wobei Lerne und wachse aus der Kritik wie Menschen, 1317 Kommentare erhöhten die Gewinnquote von LLaMA2 um das 30-fache ein Hyperparameter ist, der Präzision und Erinnerung beim Erkennungsprozess unangemessener Wörter gewichtet.

Die Forscher verwendeten Unwahrscheinlichkeitstraining (UT) für diese identifizierten unangemessenen Wörter und zwangen so das große Modell, zufriedenstellendere Antworten zu untersuchen. Für andere Antwortwörter verwenden Forscher immer noch die Maximum-Likelihood-Schätzung (MLE) zur Optimierung:

Lerne und wachse aus der Kritik wie Menschen, 1317 Kommentare erhöhten die Gewinnquote von LLaMA2 um das 30-fache

wobei Lerne und wachse aus der Kritik wie Menschen, 1317 Kommentare erhöhten die Gewinnquote von LLaMA2 um das 30-fache ein Hyperparameter ist, der den Anteil des Non-Likelihood-Trainings steuert, Lerne und wachse aus der Kritik wie Menschen, 1317 Kommentare erhöhten die Gewinnquote von LLaMA2 um das 30-fache die Anzahl der Antwortwörter .

b) Align-P vs. Align-N: Der Unterschied zwischen den beiden liegt hauptsächlich im Grad der Ausrichtung unter Lerne und wachse aus der Kritik wie Menschen, 1317 Kommentare erhöhten die Gewinnquote von LLaMA2 um das 30-fache. Im Wesentlichen steuert das große Modell die Qualität der Ausgabeantwort, indem es Sprachrückmeldungen unterschiedlicher Polarität einführt. Daher kann der Vergleich zwischen den beiden große Modelle dazu inspirieren, zufriedenstellende Antworten von fehlerhaften Antworten zu unterscheiden. Konkret lernten die Forscher aus dieser Reihe von Vergleichen durch den folgenden Verlust der Maximum-Likelihood-Schätzung (MLE):

Lerne und wachse aus der Kritik wie Menschen, 1317 Kommentare erhöhten die Gewinnquote von LLaMA2 um das 30-fache

wobei Lerne und wachse aus der Kritik wie Menschen, 1317 Kommentare erhöhten die Gewinnquote von LLaMA2 um das 30-fache die Indikatorfunktion ist, die 1 zurückgibt, wenn die Daten Lerne und wachse aus der Kritik wie Menschen, 1317 Kommentare erhöhten die Gewinnquote von LLaMA2 um das 30-fachealignment erfüllen, andernfalls wird zurückgegeben 0.

CUT Das endgültige Trainingsziel kombiniert die beiden oben genannten Vergleichssätze: Lerne und wachse aus der Kritik wie Menschen, 1317 Kommentare erhöhten die Gewinnquote von LLaMA2 um das 30-fache.

Experimentelle Auswertung

1. Offline-Ausrichtung

Um Geld zu sparen, versuchten Forscher zunächst, vorgefertigte Sprach-Feedback-Daten zu verwenden, um große Modelle auszurichten. Dieses Experiment wurde verwendet, um die Fähigkeit von CUT zu demonstrieren, Sprachfeedback zu nutzen.

a) Universalmodell

Lerne und wachse aus der Kritik wie Menschen, 1317 Kommentare erhöhten die Gewinnquote von LLaMA2 um das 30-fache

Wie in der Tabelle oben gezeigt, verwendeten die Forscher für die allgemeine Modellausrichtung 1317 von Shepherd bereitgestellte Ausrichtungsdaten, um CUT mit vorhandenen Slave-Modellen unter Kaltstart- (LLaMA2) und Heißstart- (LLaMA2-Chat) Lernmethoden zu vergleichen .

Im Kaltstart-Experiment auf Basis von LLaMA2 übertraf CUT die bestehenden Ausrichtungsmethoden auf der AlpacaEval-Testplattform deutlich und stellte seine Vorteile bei der Nutzung von Sprachfeedback voll unter Beweis. Darüber hinaus hat CUT im Vergleich zum Basismodell auch erhebliche Verbesserungen bei TruthfulQA erzielt, was zeigt, dass CUT großes Potenzial zur Linderung des Halluzinationsproblems großer Modelle hat.

Im Hot-Start-Szenario basierend auf LLaMA2-Chat funktionieren bestehende Methoden bei der Verbesserung von LLaMA2-Chat schlecht und haben sogar negative Auswirkungen. Allerdings kann CUT auf dieser Basis die Leistung des Basismodells weiter verbessern, was einmal mehr das große Potenzial von CUT bei der Nutzung von Sprachfeedback bestätigt.

b) Expertenmodell

Lerne und wachse aus der Kritik wie Menschen, 1317 Kommentare erhöhten die Gewinnquote von LLaMA2 um das 30-fache

Die Forscher testeten auch den Ausrichtungseffekt von CUT an einer bestimmten Expertenaufgabe (Textzusammenfassung). Wie in der obigen Tabelle gezeigt, erzielt CUT auch bei Expertenaufgaben erhebliche Verbesserungen im Vergleich zu bestehenden Alignment-Methoden.

2. Online-Ausrichtung

Forschung zur Offline-Ausrichtung hat die leistungsstarke Ausrichtungsleistung von CUT erfolgreich nachgewiesen. Jetzt erforschen Forscher weiter Online-Ausrichtungsszenarien, die näher an praktischen Anwendungen sind. In diesem Szenario kommentieren Forscher die Antworten des großen Zielmodells iterativ mit sprachlichem Feedback, sodass das Zielmodell basierend auf dem damit verbundenen sprachlichen Feedback genauer ausgerichtet werden kann. Der spezifische Prozess ist wie folgt:

  • Schritt 1: Sammeln Sie Anweisungen Lerne und wachse aus der Kritik wie Menschen, 1317 Kommentare erhöhten die Gewinnquote von LLaMA2 um das 30-fache und erhalten Sie die Antwort Lerne und wachse aus der Kritik wie Menschen, 1317 Kommentare erhöhten die Gewinnquote von LLaMA2 um das 30-fache vom großen Zielmodell.
  • Schritt 2: Markieren Sie als Antwort auf das obige Befehls-Antwort-Paar das Sprachfeedback Lerne und wachse aus der Kritik wie Menschen, 1317 Kommentare erhöhten die Gewinnquote von LLaMA2 um das 30-fache.
  • Schritt 3: Verwenden Sie CUT, um das große Zielmodell basierend auf den gesammelten Triplett-Daten zu verfeinernLerne und wachse aus der Kritik wie Menschen, 1317 Kommentare erhöhten die Gewinnquote von LLaMA2 um das 30-fache.

Lerne und wachse aus der Kritik wie Menschen, 1317 Kommentare erhöhten die Gewinnquote von LLaMA2 um das 30-fache


Wie in der Abbildung oben gezeigt, kann CUT nach vier Runden Online-Ausrichtungsiteration immer noch beeindruckende Ergebnisse mit nur 4000 Trainingsdaten und einer kleinen 13B-Modellgröße erzielen. Dieser Erfolg ist ein weiterer Beweis für die hervorragende Leistung und das enorme Potenzial von CUT. 3. KI-Kommentarmodell Wie in der Abbildung oben gezeigt, verwendeten die Forscher 5.000 Teile (AI Judge-5000) und 3.000 Teile (AI Judge-3000) Sprachfeedbackdaten, um zwei Überprüfungsmodelle zu trainieren. Beide Testmodelle haben bemerkenswerte Ergebnisse bei der Optimierung des angestrebten Großmodells erzielt, insbesondere bei der Wirkung von AI Judge-5000.

Dies beweist die Machbarkeit der Verwendung von KI-Überprüfungsmodellen zur Ausrichtung großer Zielmodelle und unterstreicht auch die Bedeutung der Qualität der Überprüfungsmodelle im gesamten Ausrichtungsprozess. Diese Reihe von Experimenten bietet auch eine starke Unterstützung für die Reduzierung der Annotationskosten in der Zukunft.

4. Sprach-Feedback vs. Punkte-FeedbackLerne und wachse aus der Kritik wie Menschen, 1317 Kommentare erhöhten die Gewinnquote von LLaMA2 um das 30-fache

Um das enorme Potenzial des Sprachfeedbacks bei der Ausrichtung großer Modelle eingehend zu untersuchen, verglichen die Forscher CUT basierend auf Sprachfeedback mit der Methode basierend auf Score-Feedback (DPO). Um einen fairen Vergleich zu gewährleisten, wählten die Forscher 4.000 Sätze derselben Befehls-Antwort-Paare als experimentelle Proben aus, sodass CUT und DPO aus dem Bewertungs-Feedback bzw. dem Sprach-Feedback entsprechend diesen Daten lernen konnten.

Lerne und wachse aus der Kritik wie Menschen, 1317 Kommentare erhöhten die Gewinnquote von LLaMA2 um das 30-fache

Wie in der Tabelle oben gezeigt, schnitt CUT im Kaltstartexperiment (LLaMA2) deutlich besser ab als DPO. Im Heißstart-Experiment (LLaMA2-Chat) kann CUT bei Aufgaben wie ARC, HellaSwag, MMLU und TruthfulQA vergleichbare Ergebnisse wie DPO erzielen und liegt bei der AlpacaEval-Aufgabe deutlich vor DPO. Dieses Experiment bestätigte das größere Potenzial und die Vorteile von sprachlichem Feedback im Vergleich zu fraktioniertem Feedback bei der Ausrichtung großer Modelle.

Zusammenfassung und Herausforderungen

In dieser Arbeit untersuchten die Forscher systematisch die aktuelle Situation des Sprachfeedbacks bei der Ausrichtung großer Modelle und schlugen innovativ ein Alignment-Framework CUT vor, das auf Sprachfeedback basiert, und zeigten auf, dass Sprachfeedback großes Potenzial und Vorteile hat im Bereich der Großmodellausrichtung. Darüber hinaus gibt es einige neue Richtungen und Herausforderungen bei der Erforschung von Sprachfeedback, wie zum Beispiel:

1 Qualität des Kommentarmodells: Obwohl Forscher die Machbarkeit des Trainings eines Kommentarmodells erfolgreich bestätigt haben, in Die Beobachtung bei der Ausgabe des Modells stellte immer noch fest, dass das Überprüfungsmodell häufig ungenaue Bewertungen lieferte. Daher ist die Verbesserung der Qualität des Überprüfungsmodells von entscheidender Bedeutung für die künftige groß angelegte Nutzung von Sprachfeedback zur Ausrichtung.

2. Einführung neuen Wissens: Wenn das Sprachfeedback Wissen beinhaltet, das dem großen Modell fehlt, gibt es keine klare Richtung für die Änderung, selbst wenn das große Modell die Fehler genau identifizieren kann. Daher ist es sehr wichtig, beim Ausrichten das Wissen zu ergänzen, das dem großen Modell fehlt.

3. Multimodale Ausrichtung : Der Erfolg von Sprachmodellen hat die Erforschung multimodaler großer Modelle, wie der Kombination von Sprache, Sprache, Bildern und Videos, vorangetrieben. In diesen multimodalen Szenarien hat die Untersuchung des Sprachfeedbacks und des Feedbacks entsprechender Modalitäten neue Definitionen und Herausforderungen mit sich gebracht.

Das obige ist der detaillierte Inhalt vonLerne und wachse aus der Kritik wie Menschen, 1317 Kommentare erhöhten die Gewinnquote von LLaMA2 um das 30-fache. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn

Heiße KI -Werkzeuge

Undresser.AI Undress

Undresser.AI Undress

KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover

AI Clothes Remover

Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool

Undress AI Tool

Ausziehbilder kostenlos

Clothoff.io

Clothoff.io

KI-Kleiderentferner

AI Hentai Generator

AI Hentai Generator

Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

R.E.P.O. Energiekristalle erklärten und was sie tun (gelber Kristall)
2 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌
Repo: Wie man Teamkollegen wiederbelebt
1 Monate vor By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island Abenteuer: Wie man riesige Samen bekommt
1 Monate vor By 尊渡假赌尊渡假赌尊渡假赌

Heiße Werkzeuge

Notepad++7.3.1

Notepad++7.3.1

Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version

SublimeText3 chinesische Version

Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1

Senden Sie Studio 13.0.1

Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6

Dreamweaver CS6

Visuelle Webentwicklungstools

SublimeText3 Mac-Version

SublimeText3 Mac-Version

Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Open Source! Jenseits von ZoeDepth! DepthFM: Schnelle und genaue monokulare Tiefenschätzung! Open Source! Jenseits von ZoeDepth! DepthFM: Schnelle und genaue monokulare Tiefenschätzung! Apr 03, 2024 pm 12:04 PM

0.Was bewirkt dieser Artikel? Wir schlagen DepthFM vor: ein vielseitiges und schnelles generatives monokulares Tiefenschätzungsmodell auf dem neuesten Stand der Technik. Zusätzlich zu herkömmlichen Tiefenschätzungsaufgaben demonstriert DepthFM auch hochmoderne Fähigkeiten bei nachgelagerten Aufgaben wie dem Tiefen-Inpainting. DepthFM ist effizient und kann Tiefenkarten innerhalb weniger Inferenzschritte synthetisieren. Lassen Sie uns diese Arbeit gemeinsam lesen ~ 1. Titel der Papierinformationen: DepthFM: FastMonocularDepthEstimationwithFlowMatching Autor: MingGui, JohannesS.Fischer, UlrichPrestel, PingchuanMa, Dmytr

Das weltweit leistungsstärkste Open-Source-MoE-Modell ist da, mit chinesischen Fähigkeiten, die mit GPT-4 vergleichbar sind, und der Preis beträgt nur fast ein Prozent von GPT-4-Turbo Das weltweit leistungsstärkste Open-Source-MoE-Modell ist da, mit chinesischen Fähigkeiten, die mit GPT-4 vergleichbar sind, und der Preis beträgt nur fast ein Prozent von GPT-4-Turbo May 07, 2024 pm 04:13 PM

Stellen Sie sich ein Modell der künstlichen Intelligenz vor, das nicht nur die Fähigkeit besitzt, die traditionelle Datenverarbeitung zu übertreffen, sondern auch eine effizientere Leistung zu geringeren Kosten erzielt. Dies ist keine Science-Fiction, DeepSeek-V2[1], das weltweit leistungsstärkste Open-Source-MoE-Modell, ist da. DeepSeek-V2 ist ein leistungsstarkes MoE-Sprachmodell (Mix of Experts) mit den Merkmalen eines wirtschaftlichen Trainings und einer effizienten Inferenz. Es besteht aus 236B Parametern, von denen 21B zur Aktivierung jedes Markers verwendet werden. Im Vergleich zu DeepSeek67B bietet DeepSeek-V2 eine stärkere Leistung, spart gleichzeitig 42,5 % der Trainingskosten, reduziert den KV-Cache um 93,3 % und erhöht den maximalen Generierungsdurchsatz auf das 5,76-fache. DeepSeek ist ein Unternehmen, das sich mit allgemeiner künstlicher Intelligenz beschäftigt

KAN, das MLP ersetzt, wurde durch Open-Source-Projekte auf Faltung erweitert KAN, das MLP ersetzt, wurde durch Open-Source-Projekte auf Faltung erweitert Jun 01, 2024 pm 10:03 PM

Anfang dieses Monats schlugen Forscher des MIT und anderer Institutionen eine vielversprechende Alternative zu MLP vor – KAN. KAN übertrifft MLP in Bezug auf Genauigkeit und Interpretierbarkeit. Und es kann MLP, das mit einer größeren Anzahl von Parametern ausgeführt wird, mit einer sehr kleinen Anzahl von Parametern übertreffen. Beispielsweise gaben die Autoren an, dass sie KAN nutzten, um die Ergebnisse von DeepMind mit einem kleineren Netzwerk und einem höheren Automatisierungsgrad zu reproduzieren. Konkret verfügt DeepMinds MLP über etwa 300.000 Parameter, während KAN nur etwa 200 Parameter hat. KAN hat eine starke mathematische Grundlage wie MLP und basiert auf dem universellen Approximationssatz, während KAN auf dem Kolmogorov-Arnold-Darstellungssatz basiert. Wie in der folgenden Abbildung gezeigt, hat KAN

Hallo, elektrischer Atlas! Der Boston Dynamics-Roboter erwacht wieder zum Leben, seltsame 180-Grad-Bewegungen machen Musk Angst Hallo, elektrischer Atlas! Der Boston Dynamics-Roboter erwacht wieder zum Leben, seltsame 180-Grad-Bewegungen machen Musk Angst Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas tritt offiziell in die Ära der Elektroroboter ein! Gestern hat sich der hydraulische Atlas einfach „unter Tränen“ von der Bühne der Geschichte zurückgezogen. Heute gab Boston Dynamics bekannt, dass der elektrische Atlas im Einsatz ist. Es scheint, dass Boston Dynamics im Bereich kommerzieller humanoider Roboter entschlossen ist, mit Tesla zu konkurrieren. Nach der Veröffentlichung des neuen Videos wurde es innerhalb von nur zehn Stunden bereits von mehr als einer Million Menschen angesehen. Die alten Leute gehen und neue Rollen entstehen. Das ist eine historische Notwendigkeit. Es besteht kein Zweifel, dass dieses Jahr das explosive Jahr der humanoiden Roboter ist. Netizens kommentierten: Die Weiterentwicklung der Roboter hat dazu geführt, dass die diesjährige Eröffnungsfeier wie Menschen aussieht, und der Freiheitsgrad ist weitaus größer als der von Menschen. Aber ist das wirklich kein Horrorfilm? Zu Beginn des Videos liegt Atlas ruhig auf dem Boden, scheinbar auf dem Rücken. Was folgt, ist atemberaubend

KI untergräbt die mathematische Forschung! Der Gewinner der Fields-Medaille und der chinesisch-amerikanische Mathematiker führten 11 hochrangige Arbeiten an | Gefällt mir bei Terence Tao KI untergräbt die mathematische Forschung! Der Gewinner der Fields-Medaille und der chinesisch-amerikanische Mathematiker führten 11 hochrangige Arbeiten an | Gefällt mir bei Terence Tao Apr 09, 2024 am 11:52 AM

KI verändert tatsächlich die Mathematik. Vor kurzem hat Tao Zhexuan, der diesem Thema große Aufmerksamkeit gewidmet hat, die neueste Ausgabe des „Bulletin of the American Mathematical Society“ (Bulletin der American Mathematical Society) weitergeleitet. Zum Thema „Werden Maschinen die Mathematik verändern?“ äußerten viele Mathematiker ihre Meinung. Der gesamte Prozess war voller Funken, knallhart und aufregend. Der Autor verfügt über eine starke Besetzung, darunter der Fields-Medaillengewinner Akshay Venkatesh, der chinesische Mathematiker Zheng Lejun, der NYU-Informatiker Ernest Davis und viele andere bekannte Wissenschaftler der Branche. Die Welt der KI hat sich dramatisch verändert. Viele dieser Artikel wurden vor einem Jahr eingereicht.

Die Vitalität der Superintelligenz erwacht! Aber mit der Einführung der sich selbst aktualisierenden KI müssen sich Mütter keine Sorgen mehr über Datenengpässe machen Die Vitalität der Superintelligenz erwacht! Aber mit der Einführung der sich selbst aktualisierenden KI müssen sich Mütter keine Sorgen mehr über Datenengpässe machen Apr 29, 2024 pm 06:55 PM

Ich weine zu Tode. Die Daten im Internet reichen überhaupt nicht aus. Das Trainingsmodell sieht aus wie „Die Tribute von Panem“, und KI-Forscher auf der ganzen Welt machen sich Gedanken darüber, wie sie diese datenhungrigen Esser ernähren sollen. Dieses Problem tritt insbesondere bei multimodalen Aufgaben auf. Zu einer Zeit, als sie ratlos waren, nutzte ein Start-up-Team der Abteilung der Renmin-Universität von China sein eigenes neues Modell, um als erstes in China einen „modellgenerierten Datenfeed selbst“ in die Realität umzusetzen. Darüber hinaus handelt es sich um einen zweigleisigen Ansatz auf der Verständnisseite und der Generierungsseite. Beide Seiten können hochwertige, multimodale neue Daten generieren und Datenrückmeldungen an das Modell selbst liefern. Was ist ein Modell? Awaker 1.0, ein großes multimodales Modell, das gerade im Zhongguancun-Forum erschienen ist. Wer ist das Team? Sophon-Motor. Gegründet von Gao Yizhao, einem Doktoranden an der Hillhouse School of Artificial Intelligence der Renmin University.

Langsame Internetgeschwindigkeiten für Mobilfunkdaten auf dem iPhone: Korrekturen Langsame Internetgeschwindigkeiten für Mobilfunkdaten auf dem iPhone: Korrekturen May 03, 2024 pm 09:01 PM

Stehen Sie vor einer Verzögerung oder einer langsamen mobilen Datenverbindung auf dem iPhone? Normalerweise hängt die Stärke des Mobilfunk-Internets auf Ihrem Telefon von mehreren Faktoren ab, wie z. B. der Region, dem Mobilfunknetztyp, dem Roaming-Typ usw. Es gibt einige Dinge, die Sie tun können, um eine schnellere und zuverlässigere Mobilfunk-Internetverbindung zu erhalten. Fix 1 – Neustart des iPhone erzwingen Manchmal werden durch einen erzwungenen Neustart Ihres Geräts viele Dinge zurückgesetzt, einschließlich der Mobilfunkverbindung. Schritt 1 – Drücken Sie einfach einmal die Lauter-Taste und lassen Sie sie los. Drücken Sie anschließend die Leiser-Taste und lassen Sie sie wieder los. Schritt 2 – Der nächste Teil des Prozesses besteht darin, die Taste auf der rechten Seite gedrückt zu halten. Lassen Sie das iPhone den Neustart abschließen. Aktivieren Sie Mobilfunkdaten und überprüfen Sie die Netzwerkgeschwindigkeit. Überprüfen Sie es erneut. Fix 2 – Datenmodus ändern 5G bietet zwar bessere Netzwerkgeschwindigkeiten, funktioniert jedoch besser, wenn das Signal schwächer ist

Die U.S. Air Force präsentiert ihren ersten KI-Kampfjet mit großem Aufsehen! Der Minister führte die Testfahrt persönlich durch, ohne in den gesamten Prozess einzugreifen, und 100.000 Codezeilen wurden 21 Mal getestet. Die U.S. Air Force präsentiert ihren ersten KI-Kampfjet mit großem Aufsehen! Der Minister führte die Testfahrt persönlich durch, ohne in den gesamten Prozess einzugreifen, und 100.000 Codezeilen wurden 21 Mal getestet. May 07, 2024 pm 05:00 PM

Kürzlich wurde die Militärwelt von der Nachricht überwältigt: US-Militärkampfflugzeuge können jetzt mithilfe von KI vollautomatische Luftkämpfe absolvieren. Ja, erst kürzlich wurde der KI-Kampfjet des US-Militärs zum ersten Mal der Öffentlichkeit zugänglich gemacht und sein Geheimnis gelüftet. Der vollständige Name dieses Jägers lautet „Variable Stability Simulator Test Aircraft“ (VISTA). Er wurde vom Minister der US-Luftwaffe persönlich geflogen, um einen Eins-gegen-eins-Luftkampf zu simulieren. Am 2. Mai startete US-Luftwaffenminister Frank Kendall mit einer X-62AVISTA auf der Edwards Air Force Base. Beachten Sie, dass während des einstündigen Fluges alle Flugaktionen autonom von der KI durchgeführt wurden! Kendall sagte: „In den letzten Jahrzehnten haben wir über das unbegrenzte Potenzial des autonomen Luft-Luft-Kampfes nachgedacht, aber es schien immer unerreichbar.“ Nun jedoch,

See all articles