Heim Technologie-Peripheriegeräte KI Mit einer Zusammenfassung von 374 verwandten Arbeiten veröffentlichte das Team von Tao Dacheng zusammen mit der University of Hong Kong und UMD die neueste Übersicht über die Destillation von LLM-Wissen

Mit einer Zusammenfassung von 374 verwandten Arbeiten veröffentlichte das Team von Tao Dacheng zusammen mit der University of Hong Kong und UMD die neueste Übersicht über die Destillation von LLM-Wissen

Mar 18, 2024 pm 07:49 PM
产业 大语言模型 Wissensdestillation

Große Sprachmodelle (LLMs) haben sich in den letzten zwei Jahren rasant entwickelt und einige phänomenale Modelle und Produkte wie GPT-4, Gemini, Claude usw. sind entstanden, aber die meisten davon sind Closed Source. Es besteht eine große Lücke zwischen den meisten Open-Source-LLMs, die derzeit der Forschungsgemeinschaft zugänglich sind, und Closed-Source-LLMs. Daher ist die Verbesserung der Fähigkeiten von Open-Source-LLMs und anderen kleinen Modellen, um die Lücke zwischen ihnen und großen Closed-Source-Modellen zu verringern, zu einem Forschungsschwerpunkt geworden in diesem Bereich.

Die leistungsstarken Funktionen von LLM, insbesondere Closed-Source-LLM, ermöglichen es wissenschaftlichen Forschern und Praktikern aus der Industrie, die Ergebnisse und das Wissen dieser großen Modelle beim Training ihrer eigenen Modelle zu nutzen. Bei diesem Prozess handelt es sich im Wesentlichen um einen Wissensdestillationsprozess (KD), bei dem Wissen aus einem Lehrermodell (z. B. GPT-4) in ein kleineres Modell (z. B. Llama) destilliert wird, wodurch die Fähigkeiten des kleinen Modells erheblich verbessert werden. Es ist ersichtlich, dass die Wissensdestillationstechnologie großer Sprachmodelle allgegenwärtig ist und eine kostengünstige und effektive Methode für Forscher darstellt, um das Training und die Verbesserung ihrer eigenen Modelle zu unterstützen.

Wie nutzt die aktuelle Arbeit also Closed-Source-LLM zur Wissensdestillation und Datenerfassung? Wie lässt sich dieses Wissen effizient in kleine Modelle einarbeiten? Welche leistungsstarken Fähigkeiten können kleine Modelle von Lehrermodellen erwerben? Welche Rolle spielt die Wissensdestillation von LLM in der Industrie mit Domänenmerkmalen? Diese Themen erfordern eingehende Überlegungen und Forschung.

Im Jahr 2020 veröffentlichte das Team von Tao Dacheng „Knowledge Distillation: A Survey“, das die Anwendung der Wissensdestillation beim Deep Learning umfassend untersuchte. Diese Technologie wird hauptsächlich zur Modellkomprimierung und -beschleunigung verwendet. Mit dem Aufkommen großer Sprachmodelle wurden die Anwendungsbereiche der Wissensdestillation kontinuierlich erweitert, wodurch nicht nur die Leistung kleiner Modelle verbessert, sondern auch eine Selbstverbesserung des Modells erreicht werden kann.

Anfang 2024 arbeitete das Team von Tao Dacheng mit der University of Hong Kong und der University of Maryland zusammen, um die neueste Rezension „A Survey on Knowledge Distillation of Large Language Models“ zu veröffentlichen, die 374 verwandte Arbeiten zusammenfasste und diskutierte, wie man daraus Wissen gewinnen kann Große Sprachmodelle trainieren kleinere Modelle und die Rolle der Wissensdestillation bei der Modellkomprimierung und dem Selbsttraining. Gleichzeitig befasst sich dieser Aufsatz auch mit der Destillation großer Sprachmodellfähigkeiten und der Destillation vertikaler Felder und hilft Forschern dabei, vollständig zu verstehen, wie sie ihre eigenen Modelle trainieren und verbessern können.

Mit einer Zusammenfassung von 374 verwandten Arbeiten veröffentlichte das Team von Tao Dacheng zusammen mit der University of Hong Kong und UMD die neueste Übersicht über die Destillation von LLM-Wissen

  • Papiertitel: A Survey on Knowledge Destillation of Large Language Models

  • Papierlink: https://arxiv.org/abs/2402.13116

  • Projektlink: https://github. com/Tebmer/Awesome-Knowledge-Distillation-of-LLMs

Übersichtsarchitektur

Der Gesamtrahmen der Wissensdestillation in großen Sprachmodellen ist wie in der folgenden Abbildung dargestellt zusammengefasst:

Mit einer Zusammenfassung von 374 verwandten Arbeiten veröffentlichte das Team von Tao Dacheng zusammen mit der University of Hong Kong und UMD die neueste Übersicht über die Destillation von LLM-Wissen

Erstens basierend auf Der Wissensdestillationsprozess für ein großes Sprachmodell unterteilt die Wissensdestillation in zwei Schritte:

Wissenserhebung: Das heißt, wie man Wissen aus dem Lehrermodell erhält. Der Prozess umfasst hauptsächlich:

a) Erste Bauanweisungen zur Identifizierung der Fähigkeiten oder vertikalen Kompetenzen, die aus dem Lehrermodell destilliert werden sollen.

b) Verwenden Sie dann das Kernwissen (z. B. einen bestimmten Datensatz) als Eingabe, um das Lehrermodell anzutreiben und entsprechende Antworten zu generieren und so das entsprechende Wissen zu leiten.

c) Gleichzeitig umfasst der Wissenserwerb einige spezifische Technologien: Annotation, Erweiterung, Synthese, Merkmalsextraktion, Feedback und eigenes Wissen.

2.

Destillationsalgorithmen

: Das heißt, wie man das erworbene Wissen in das Studentenmodell einbringt. Zu den spezifischen Algorithmen in diesem Teil gehören: überwachte Feinabstimmung, Divergenz und Ähnlichkeit, verstärkendes Lernen (dh verstärkendes Lernen aus KI-Feedback, RLAIF) und Ranking-Optimierung.

Die Klassifizierungsmethode dieser Rezension fasst verwandte Arbeiten aus drei Dimensionen basierend auf diesem Prozess zusammen: Wissensdestillationsalgorithmen, Fähigkeitsdestillation und vertikale Felddestillation. Die beiden letztgenannten werden auf der Grundlage von Wissensdestillationsalgorithmen destilliert. Die Einzelheiten dieser Klassifizierung und eine Zusammenfassung der entsprechenden verwandten Arbeiten sind in der folgenden Abbildung dargestellt.

Mit einer Zusammenfassung von 374 verwandten Arbeiten veröffentlichte das Team von Tao Dacheng zusammen mit der University of Hong Kong und UMD die neueste Übersicht über die Destillation von LLM-WissenWissensdestillationsalgorithmus

Wissenserhebung

Entsprechend der Art und Weise des Wissenserwerbs aus dem Lehrermodell unterteilt diese Rezension ihre Technologie in Kennzeichnung, Erweiterung und Datensynthese (Datenkuration) sowie Merkmalsextraktion (Feature), Feedback (Feedback), selbstgeneriertes Wissen (Self-Knowledge). Beispiele für jede Methode sind unten aufgeführt:

Beschriftung: Wissensbeschriftung bedeutet, dass Lehrer-LLMs die gegebene Eingabe als Ausgangswissen verwenden, um entsprechende Ausgabe basierend auf Anweisungen oder Beispielen zu generieren. Saatwissen ist beispielsweise die Eingabe eines bestimmten Datensatzes, und das Lehrermodell bezeichnet die Ausgabe der Denkkette.

Erweiterung: Ein wesentliches Merkmal dieser Technologie besteht darin, die kontextuellen Lernfähigkeiten von LLMs zu nutzen, um auf der Grundlage des bereitgestellten Seed-Beispiels Daten zu generieren, die dem Beispiel ähneln. Der Vorteil besteht darin, dass durch Beispiele vielfältigere und umfangreichere Datensätze generiert werden können. Da jedoch die generierten Daten weiter zunehmen, können Probleme mit der Datenhomogenität auftreten.

Datenkuration: Eine Besonderheit der Datensynthese besteht darin, dass Daten von Grund auf synthetisiert werden. Es nutzt eine große Menge an Metainformationen (wie Themen, Wissensdokumente, Originaldaten usw.) als vielfältige und riesige Mengen an Seed-Wissen, um umfangreiche und qualitativ hochwertige Datensätze von Lehrer-LLMs zu erhalten.

Feature-Erfassung (Feature): Die typische Methode zum Erhalten von Feature-Wissen besteht darin, die Eingabe- und Ausgabesequenzen an Lehrer-LLMs auszugeben und dann deren interne Darstellung zu extrahieren. Diese Methode eignet sich hauptsächlich für Open-Source-LLMs und wird häufig zur Modellkomprimierung verwendet.

Feedback: Feedback-Wissen gibt dem Lehrermodell in der Regel Feedback zum Output des Schülers, z. B. durch die Angabe von Präferenzen, Bewertungen oder Korrekturinformationen, um den Schülern dabei zu helfen, einen besseren Output zu erzielen.

Selbstwissen: Wissen kann auch von Studierenden selbst erworben werden, was als selbstgeneriertes Wissen bezeichnet wird. In diesem Fall fungiert dasselbe Modell sowohl als Lehrer als auch als Schüler und verbessert sich iterativ, indem es Techniken destilliert und seine eigenen, zuvor generierten Ergebnisse verbessert. Dieser Ansatz funktioniert gut für Open-Source-LLMs.

Zusammenfassung: Derzeit ist die Erweiterungsmethode immer noch weit verbreitet, und die Datensynthesemethode hat sich allmählich zum Mainstream entwickelt, da sie eine große Menge hochwertiger Daten generieren kann. Feedback-Methoden können Wissen liefern, das Schülermodellen dabei hilft, ihre Ausrichtungsfähigkeiten zu verbessern. Methoden zum Erwerb von Merkmalen und zum selbstgenerierten Wissen sind aufgrund der Verwendung großer Open-Source-Modelle als Lehrermodelle populär geworden. Die Feature-Acquisition-Methode hilft dabei, Open-Source-Modelle zu komprimieren, während die selbstgenerierte Wissensmethode große Sprachmodelle kontinuierlich verbessern kann. Wichtig ist, dass die oben genannten Methoden effektiv kombiniert werden können und Forscher verschiedene Kombinationen erkunden können, um effektiveres Wissen zu gewinnen.

Algorithmen destillieren

Nach dem Erwerb des Wissens muss es in das Studentenmodell destilliert werden. Zu den Destillationsalgorithmen gehören: überwachte Feinabstimmung, Divergenz und Ähnlichkeit, verstärkendes Lernen und Ranking-Optimierung. Ein Beispiel ist in der folgenden Abbildung dargestellt:

Mit einer Zusammenfassung von 374 verwandten Arbeiten veröffentlichte das Team von Tao Dacheng zusammen mit der University of Hong Kong und UMD die neueste Übersicht über die Destillation von LLM-Wissen

Überwachte Feinabstimmung: Überwachte Feinabstimmung (SFT) optimiert das Schülermodell, indem die Wahrscheinlichkeit der vom Lehrermodell generierten Sequenzen maximiert wird, was dem Schüler ermöglicht Modell zur Nachahmung des Lehrermodells. Dies ist derzeit die am häufigsten verwendete Technik zur Wissensdestillation von LLMs.

Divergenz und Ähnlichkeit: Dieser Algorithmus nutzt das interne Parameterwissen des Lehrermodells als Überwachungssignal für das Schülermodelltraining und ist für Open-Source-Lehrermodelle geeignet. Auf Divergenz und Ähnlichkeit basierende Methoden richten Wahrscheinlichkeitsverteilungen bzw. verborgene Zustände aus.

Reinforcement Learning: Dieser Algorithmus eignet sich für die Nutzung von Lehrer-Feedback-Wissen zum Trainieren von Schülermodellen, also der RLAIF-Technologie. Es gibt zwei Hauptaspekte: (1) Training eines Schülerbelohnungsmodells mithilfe von Lehrern generierter Feedbackdaten, (2) Optimierung des Schülermodells durch Maximierung der erwarteten Belohnung durch das trainierte Belohnungsmodell. Lehrer können auch direkt als Belohnungsmodelle dienen.

Rank-Optimierung: Die Ranking-Optimierung kann auch Präferenzwissen in das Studentenmodell einbringen. Ihre Vorteile sind Stabilität und hohe Recheneffizienz, wie z. B. einige klassische Algorithmen wie DPO, RRHF usw.

Fähigkeitsdestillation

Es ist bekannt, dass große Sprachmodelle viele hervorragende Fähigkeiten haben. Durch die Wissensdestillationstechnologie werden Anweisungen bereitgestellt, um Lehrer zu steuern, um Wissen mit entsprechenden Fähigkeiten zu generieren und Schülermodelle zu trainieren, damit sie diese Fähigkeiten erwerben können. Zu diesen Fähigkeiten gehören hauptsächlich Fähigkeiten wie das Verfolgen von Kontexten (z. B. Anweisungen), Ausrichtung, Agenten, Aufgaben zur Verarbeitung natürlicher Sprache (NLP) und Multimodalität.

Die folgende Tabelle fasst die klassische Arbeit der Fähigkeitsdestillation zusammen und fasst auch die Fähigkeiten, das Kernwissen, das Lehrermodell, das Schülermodell, die Methoden zum Wissenserwerb und die Destillationsalgorithmen zusammen, die an jeder Arbeit beteiligt sind.

Mit einer Zusammenfassung von 374 verwandten Arbeiten veröffentlichte das Team von Tao Dacheng zusammen mit der University of Hong Kong und UMD die neueste Übersicht über die Destillation von LLM-Wissen

Vertikale Felddestillation

Zusätzlich zu großen Sprachmodellen in allgemeinen Bereichen gibt es mittlerweile viele Bemühungen, große Sprachmodelle in vertikalen Bereichen zu trainieren, was der Forschungsgemeinschaft und der Industrie hilft, große Sprachmodelle anzuwenden und einzusetzen. Obwohl große Sprachmodelle (wie GPT-4) über begrenzte Domänenkenntnisse in vertikalen Feldern verfügen, können sie dennoch einige Domänenkenntnisse und -funktionen bereitstellen oder vorhandene Domänendatensätze verbessern. Die hier involvierten Bereiche umfassen hauptsächlich (1) Recht, (2) medizinische Gesundheit, (3) Finanzen, (4) Wissenschaft und einige andere Bereiche. Die Taxonomie und die damit verbundene Arbeit dieses Teils sind in der folgenden Abbildung dargestellt:

Mit einer Zusammenfassung von 374 verwandten Arbeiten veröffentlichte das Team von Tao Dacheng zusammen mit der University of Hong Kong und UMD die neueste Übersicht über die Destillation von LLM-Wissen

Zukünftige Richtungen

Dieser Aufsatz untersucht die aktuellen Probleme der Wissensdestillation großer Sprachmodelle und mögliche zukünftige Forschungsrichtungen, hauptsächlich einschließlich:

  • Datenauswahl: Wie wählt man Daten automatisch aus, um bessere Destillationsergebnisse zu erzielen?

  • Multi-Lehrer-Destillation: Entdecken Sie die Destillation des Wissens verschiedener Lehrermodelle in einem Schülermodell.

  • Umfangreicheres Wissen im Lehrermodell: Sie können im Lehrermodell umfangreicheres Wissen erkunden, einschließlich Feedback und Funktionswissen, und eine Kombination mehrerer Wissenserwerbsmethoden erkunden.

  • Katastrophales Vergessen während der Destillation überwinden : Die Fähigkeit, das ursprüngliche Modell während der Destillation oder Übertragung von Wissen effektiv zu bewahren, bleibt eine Herausforderung.

  • Trusted Knowledge Destillation: Derzeit konzentriert sich KD hauptsächlich auf die Destillation verschiedener Fähigkeiten und schenkt der Glaubwürdigkeit großer Modelle relativ wenig Aufmerksamkeit.

  • Schwach-zu-stark-Destillation(Schwach-zu-stark-Destillation). OpenAI schlägt das Konzept der „schwach-zu-starken Generalisierung“ vor, das die Erforschung innovativer technischer Strategien erfordert, damit schwächere Modelle den Lernprozess stärkerer Modelle effektiv steuern können.

  • Selbstausrichtung (Selbstdestillation). Anweisungen können so gestaltet werden, dass das Schülermodell seine generierten Inhalte durch die Generierung von Feedback, Kritik und Erklärungen selbstständig verbessert und ausrichtet.

Fazit

Diese Rezension bietet eine umfassende und systematische Zusammenfassung darüber, wie das Wissen über große Sprachmodelle zur Verbesserung von Studentenmodellen genutzt werden kann, z. B. Open-Source-Modelle für große Sprachen, und umfasst auch die kürzlich beliebte Selbstdestillationstechnologie . Diese Übersicht unterteilt die Wissensdestillation in zwei Schritte: Wissenserwerb und Destillationsalgorithmus und fasst auch die Fähigkeitsdestillation und die vertikale Felddestillation zusammen. Abschließend untersucht dieser Aufsatz die zukünftige Richtung der Destillation großer Sprachmodelle und hofft, die Grenzen der Wissensdestillation großer Sprachmodelle zu erweitern und große Sprachmodelle zu erhalten, die zugänglicher, effizienter, effektiver und glaubwürdiger sind.

Das obige ist der detaillierte Inhalt vonMit einer Zusammenfassung von 374 verwandten Arbeiten veröffentlichte das Team von Tao Dacheng zusammen mit der University of Hong Kong und UMD die neueste Übersicht über die Destillation von LLM-Wissen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn

Heiße KI -Werkzeuge

Undresser.AI Undress

Undresser.AI Undress

KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover

AI Clothes Remover

Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool

Undress AI Tool

Ausziehbilder kostenlos

Clothoff.io

Clothoff.io

KI-Kleiderentferner

AI Hentai Generator

AI Hentai Generator

Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

R.E.P.O. Energiekristalle erklärten und was sie tun (gelber Kristall)
3 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Beste grafische Einstellungen
3 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. So reparieren Sie Audio, wenn Sie niemanden hören können
3 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25: Wie man alles in Myrise freischaltet
4 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌

Heiße Werkzeuge

Notepad++7.3.1

Notepad++7.3.1

Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version

SublimeText3 chinesische Version

Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1

Senden Sie Studio 13.0.1

Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6

Dreamweaver CS6

Visuelle Webentwicklungstools

SublimeText3 Mac-Version

SublimeText3 Mac-Version

Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Der DeepMind-Roboter spielt Tischtennis und seine Vor- und Rückhand rutschen in die Luft, wodurch menschliche Anfänger völlig besiegt werden Der DeepMind-Roboter spielt Tischtennis und seine Vor- und Rückhand rutschen in die Luft, wodurch menschliche Anfänger völlig besiegt werden Aug 09, 2024 pm 04:01 PM

Aber vielleicht kann er den alten Mann im Park nicht besiegen? Die Olympischen Spiele in Paris sind in vollem Gange und Tischtennis hat viel Aufmerksamkeit erregt. Gleichzeitig haben Roboter auch beim Tischtennisspielen neue Durchbrüche erzielt. Gerade hat DeepMind den ersten lernenden Roboteragenten vorgeschlagen, der das Niveau menschlicher Amateurspieler im Tischtennis-Wettkampf erreichen kann. Papieradresse: https://arxiv.org/pdf/2408.03906 Wie gut ist der DeepMind-Roboter beim Tischtennisspielen? Vermutlich auf Augenhöhe mit menschlichen Amateurspielern: Sowohl Vorhand als auch Rückhand: Der Gegner nutzt unterschiedliche Spielstile, und auch der Roboter hält aus: Aufschlagannahme mit unterschiedlichem Spin: Allerdings scheint die Intensität des Spiels nicht so intensiv zu sein wie Der alte Mann im Park. Für Roboter, Tischtennis

Die erste mechanische Klaue! Yuanluobao trat auf der Weltroboterkonferenz 2024 auf und stellte den ersten Schachroboter vor, der das Haus betreten kann Die erste mechanische Klaue! Yuanluobao trat auf der Weltroboterkonferenz 2024 auf und stellte den ersten Schachroboter vor, der das Haus betreten kann Aug 21, 2024 pm 07:33 PM

Am 21. August fand in Peking die Weltroboterkonferenz 2024 im großen Stil statt. Die Heimrobotermarke „Yuanluobot SenseRobot“ von SenseTime hat ihre gesamte Produktfamilie vorgestellt und kürzlich den Yuanluobot AI-Schachspielroboter – Chess Professional Edition (im Folgenden als „Yuanluobot SenseRobot“ bezeichnet) herausgebracht und ist damit der weltweit erste A-Schachroboter für heim. Als drittes schachspielendes Roboterprodukt von Yuanluobo hat der neue Guoxiang-Roboter eine Vielzahl spezieller technischer Verbesserungen und Innovationen in den Bereichen KI und Maschinenbau erfahren und erstmals die Fähigkeit erkannt, dreidimensionale Schachfiguren aufzunehmen B. durch mechanische Klauen an einem Heimroboter, und führen Sie Mensch-Maschine-Funktionen aus, z. B. Schach spielen, jeder spielt Schach, Überprüfung der Notation usw.

Claude ist auch faul geworden! Netizen: Lernen Sie, sich einen Urlaub zu gönnen Claude ist auch faul geworden! Netizen: Lernen Sie, sich einen Urlaub zu gönnen Sep 02, 2024 pm 01:56 PM

Der Schulstart steht vor der Tür und nicht nur die Schüler, die bald ins neue Semester starten, sollten auf sich selbst aufpassen, sondern auch die großen KI-Modelle. Vor einiger Zeit war Reddit voller Internetnutzer, die sich darüber beschwerten, dass Claude faul werde. „Sein Niveau ist stark gesunken, es kommt oft zu Pausen und sogar die Ausgabe wird sehr kurz. In der ersten Woche der Veröffentlichung konnte es ein komplettes 4-seitiges Dokument auf einmal übersetzen, aber jetzt kann es nicht einmal eine halbe Seite ausgeben.“ !

Auf der Weltroboterkonferenz wurde dieser Haushaltsroboter, der „die Hoffnung auf eine zukünftige Altenpflege' in sich trägt, umzingelt Auf der Weltroboterkonferenz wurde dieser Haushaltsroboter, der „die Hoffnung auf eine zukünftige Altenpflege' in sich trägt, umzingelt Aug 22, 2024 pm 10:35 PM

Auf der World Robot Conference in Peking ist die Präsentation humanoider Roboter zum absoluten Mittelpunkt der Szene geworden. Am Stand von Stardust Intelligent führte der KI-Roboterassistent S1 drei große Darbietungen mit Hackbrett, Kampfkunst und Kalligraphie auf Ein Ausstellungsbereich, der sowohl Literatur als auch Kampfkunst umfasst, zog eine große Anzahl von Fachpublikum und Medien an. Durch das elegante Spiel auf den elastischen Saiten demonstriert der S1 eine feine Bedienung und absolute Kontrolle mit Geschwindigkeit, Kraft und Präzision. CCTV News führte einen Sonderbericht über das Nachahmungslernen und die intelligente Steuerung hinter „Kalligraphie“ durch. Firmengründer Lai Jie erklärte, dass hinter den seidenweichen Bewegungen die Hardware-Seite die beste Kraftkontrolle und die menschenähnlichsten Körperindikatoren (Geschwindigkeit, Belastung) anstrebt. usw.), aber auf der KI-Seite werden die realen Bewegungsdaten von Menschen gesammelt, sodass der Roboter stärker werden kann, wenn er auf eine schwierige Situation stößt, und lernen kann, sich schnell weiterzuentwickeln. Und agil

Bekanntgabe der ACL 2024 Awards: Eines der besten Papers zum Thema Oracle Deciphering von HuaTech, GloVe Time Test Award Bekanntgabe der ACL 2024 Awards: Eines der besten Papers zum Thema Oracle Deciphering von HuaTech, GloVe Time Test Award Aug 15, 2024 pm 04:37 PM

Bei dieser ACL-Konferenz haben die Teilnehmer viel gewonnen. Die sechstägige ACL2024 findet in Bangkok, Thailand, statt. ACL ist die führende internationale Konferenz im Bereich Computerlinguistik und Verarbeitung natürlicher Sprache. Sie wird von der International Association for Computational Linguistics organisiert und findet jährlich statt. ACL steht seit jeher an erster Stelle, wenn es um akademischen Einfluss im Bereich NLP geht, und ist außerdem eine von der CCF-A empfohlene Konferenz. Die diesjährige ACL-Konferenz ist die 62. und hat mehr als 400 innovative Arbeiten im Bereich NLP eingereicht. Gestern Nachmittag gab die Konferenz den besten Vortrag und weitere Auszeichnungen bekannt. Diesmal gibt es 7 Best Paper Awards (zwei davon unveröffentlicht), 1 Best Theme Paper Award und 35 Outstanding Paper Awards. Die Konferenz verlieh außerdem drei Resource Paper Awards (ResourceAward) und einen Social Impact Award (

Hongmeng Smart Travel S9 und die umfassende Einführungskonferenz für neue Produkte wurden gemeinsam mit einer Reihe neuer Blockbuster-Produkte veröffentlicht Hongmeng Smart Travel S9 und die umfassende Einführungskonferenz für neue Produkte wurden gemeinsam mit einer Reihe neuer Blockbuster-Produkte veröffentlicht Aug 08, 2024 am 07:02 AM

Heute Nachmittag begrüßte Hongmeng Zhixing offiziell neue Marken und neue Autos. Am 6. August veranstaltete Huawei die Hongmeng Smart Xingxing S9 und die Huawei-Konferenz zur Einführung neuer Produkte mit umfassendem Szenario und brachte die Panorama-Smart-Flaggschiff-Limousine Xiangjie S9, das neue M7Pro und Huawei novaFlip, MatePad Pro 12,2 Zoll, das neue MatePad Air und Huawei Bisheng mit Mit vielen neuen Smart-Produkten für alle Szenarien, darunter die Laserdrucker der X1-Serie, FreeBuds6i, WATCHFIT3 und der Smart Screen S5Pro, von Smart Travel über Smart Office bis hin zu Smart Wear baut Huawei weiterhin ein Smart-Ökosystem für alle Szenarien auf, um Verbrauchern ein Smart-Erlebnis zu bieten Internet von allem. Hongmeng Zhixing: Huawei arbeitet mit chinesischen Partnern aus der Automobilindustrie zusammen, um die Modernisierung der Smart-Car-Industrie voranzutreiben

Das Team von Li Feifei schlug ReKep vor, um Robotern räumliche Intelligenz zu verleihen und GPT-4o zu integrieren Das Team von Li Feifei schlug ReKep vor, um Robotern räumliche Intelligenz zu verleihen und GPT-4o zu integrieren Sep 03, 2024 pm 05:18 PM

Tiefe Integration von Vision und Roboterlernen. Wenn zwei Roboterhände reibungslos zusammenarbeiten, um Kleidung zu falten, Tee einzuschenken und Schuhe zu packen, gepaart mit dem humanoiden 1X-Roboter NEO, der in letzter Zeit für Schlagzeilen gesorgt hat, haben Sie vielleicht das Gefühl: Wir scheinen in das Zeitalter der Roboter einzutreten. Tatsächlich sind diese seidigen Bewegungen das Produkt fortschrittlicher Robotertechnologie + exquisitem Rahmendesign + multimodaler großer Modelle. Wir wissen, dass nützliche Roboter oft komplexe und exquisite Interaktionen mit der Umgebung erfordern und die Umgebung als Einschränkungen im räumlichen und zeitlichen Bereich dargestellt werden kann. Wenn Sie beispielsweise möchten, dass ein Roboter Tee einschenkt, muss der Roboter zunächst den Griff der Teekanne ergreifen und sie aufrecht halten, ohne den Tee zu verschütten, und ihn dann sanft bewegen, bis die Öffnung der Kanne mit der Öffnung der Tasse übereinstimmt , und neigen Sie dann die Teekanne in einem bestimmten Winkel. Das

Getestet 7 Artefakte zur Videogenerierung auf „Sora-Ebene'. Wer hat die Fähigkeit, den „Eisernen Thron' zu besteigen? Getestet 7 Artefakte zur Videogenerierung auf „Sora-Ebene'. Wer hat die Fähigkeit, den „Eisernen Thron' zu besteigen? Aug 05, 2024 pm 07:19 PM

Herausgeber des Machine Power Report: Yang Wen Wer kann der King of AI-Videokreis werden? In der amerikanischen Fernsehserie „Game of Thrones“ gibt es einen „Eisernen Thron“. Der Legende nach wurde es vom riesigen Drachen „Schwarzer Tod“ erschaffen, der Tausende von von Feinden weggeworfenen Schwertern zum Schmelzen brachte und so höchste Autorität symbolisierte. Um auf diesem eisernen Stuhl zu sitzen, begannen die großen Familien zu kämpfen und zu kämpfen. Seit der Entstehung von Sora wurde im KI-Videokreis ein energisches „Game of Thrones“ gestartet. Zu den Hauptakteuren in diesem Spiel zählen RunwayGen-3 und Luma von der anderen Seite des Ozeans sowie die einheimischen Kuaishou Keling, ByteDream, und Zhimo. Spectrum Qingying, Vidu, PixVerseV2 usw. Heute werden wir bewerten und sehen, wer qualifiziert ist, auf dem „Eisernen Thron“ des KI-Videokreises zu sitzen. -1- Vincent Video

See all articles