


Modulares MoE wird zum Grundmodell für visuelles Multitasking-Lernen
Multi-Task-Lernen (MTL) birgt viele Herausforderungen, da die Verläufe zwischen verschiedenen Aufgaben widersprüchlich sein können. Um die Korrelation zwischen Aufgaben auszunutzen, führen die Autoren das Mod-Squad-Modell ein, ein modulares Modell, das aus mehreren Experten besteht. Das Modell kann die Zuordnung von Aufgaben und Experten flexibel optimieren und einige Experten für die Aufgabe auswählen. Das Modell ermöglicht, dass jeder Experte nur einem Teil der Aufgaben und jede Aufgabe nur einem Teil der Experten entspricht, wodurch die Nutzung der positiven Verbindungen zwischen Aufgaben maximiert wird. Mod-Squad integriert Mixture of Experts (MoE)-Schichten in das Vision Transformer-Modell und führt eine neue Verlustfunktion ein, die spärliche, aber starke Abhängigkeiten zwischen Experten und Aufgaben fördert. Darüber hinaus kann das Modell für jede Aufgabe nur einen kleinen Teil des Expertennetzwerks behalten und die gleiche Leistung wie das ursprüngliche große Modell erzielen. Das Modell erzielte die besten Ergebnisse beim Taskonomy-Big-Dataset und beim PASCALContext-Dataset mit 13 Vision-Aufgaben.
Papieradresse: https://arxiv.org/abs/2212.08066
Projektadresse: https://vis-www.cs.umass.edu/mod-squad/
Github-Adresse: https://github.com/UMass-Foundation-Model/Mod-Squad
Der Zweck des Multitask-Lernens (MTL) besteht darin, die Beziehung zwischen Aufgaben und Bereitstellung zu modellieren Erstellen Sie ein einheitliches Modell für mehrere Aufgaben. Wie in Abbildung 1 dargestellt, besteht die Hauptmotivation von Mod-Squad darin, zu ermöglichen, dass Experten nur für einige Aufgaben statt für alle Aufgaben aktualisiert werden und nur ein Teil der Experten für jede Aufgabe aktualisiert wird. Dadurch kann die volle Kapazität des Modells genutzt werden und gleichzeitig Interferenzen zwischen Aufgaben vermieden werden.
Abbildung 1. Mod-Squad: Experten und Aufgaben wählen sich gegenseitig aus. MoE ViT: Alle Spezialisten werden von allen Aufgaben eingesetzt.
Das Folgende ist eine kurze Einführung in den Artikel. Modellstruktur Einführung von Mixture-of-Expert (MoE) in Vision Transformer (ViT). MoE ist ein maschinelles Lernmodell, bei dem mehrere Experten ein Hybridmodell bilden. Jeder Experte ist ein unabhängiges Modell und jedes Modell trägt unterschiedlich zu unterschiedlichen Eingaben bei. Abschließend werden die Beiträge aller Experten gewichtet und zusammengefasst, um das Endergebnis zu erhalten. Der Vorteil dieses Ansatzes besteht darin, dass er den besten Experten basierend auf dem Inhalt des Eingabebilds dynamisch auswählen und den Rechenaufwand steuern kann.
Nach der Konvergenz des vorherigen MoE-Modells können je nach Bild unterschiedliche Experten verwendet werden. Für eine bestimmte Aufgabe konvergiert das Modell jedoch dahingehend, dass tendenziell alle Experten verwendet werden. Mod-Squad ermöglicht es dem Modell, verschiedene Experten für Bilder zu verwenden, und nach der Konvergenz kann das Modell einen Zustand erreichen, in dem nur ein Teil der Experten für eine Aufgabe verwendet wird. Als nächstes stellen wir vor, wie dies erreicht wird.Dieses Papier schlägt ein gemeinsames Wahrscheinlichkeitsmodell von Aufgaben und Experten vor, um die Zuordnung zwischen Experten E und Aufgaben T zu optimieren. Dieses Wahrscheinlichkeitsmodell wird zur Berechnung gegenseitiger Informationen zwischen Experten und Aufgaben verwendet und dient als zusätzliche Verlustfunktion zur Optimierung des Gewichtsnetzwerks im MoE. Die Formel der gegenseitigen Information lautet wie folgt: Die Wahrscheinlichkeiten von E und T können aus dem Gewichtsnetzwerk in MoE ermittelt werden.
Nachdem das Modell die gegenseitige Information zwischen Aufgaben und Experten maximiert hat, kann es Experten und Aufgaben ermöglichen, spärliche und sehr starke Abhängigkeiten zu haben, wie in Abbildung 3 dargestellt. Ganz links ist die Expertenhäufigkeit für die Mod-Squad-Aufgabennutzung angegeben. Wie man sehen kann, verfügt Mod-Squad über spärlichere, aber schärfere Frequenzen zwischen Missionen und Spezialisten.
Abbildung 3. Vergleich der Häufigkeitsdiagramme von Aufgaben mit verschiedenen Experten. Die horizontale Achse repräsentiert verschiedene Experten, die vertikale Achse repräsentiert unterschiedliche Aufgaben und dunklere Farben stehen für eine höhere Nutzungshäufigkeit. Das Frequenzdiagramm von Mod-Squad ist spärlicher und schärfer.
Der Vorteil einer geringen und sehr starken Abhängigkeit zwischen dieser Aufgabe und Experten ist:
1. Ähnliche Aufgaben erfordern in der Regel den gleichen Experten;
2. Experten werden in der Regel in Gruppen zusammengefasst
3 Die Kapazität des Modells wird vollständig genutzt, aber jede Aufgabe nutzt nur einen Teil der Kapazität und die Kapazität kann je nach Aufgabe angepasst werden Wird für bestimmte Aufgaben aus einem großen Multitask-Modell verwendet. Extrahieren Sie ein kleines Einzeltask-Modell und erzielen Sie die gleiche Leistung wie das große Modell. Mit dieser Funktion können kleine Einzelaufgabenmodelle aus Modellen mit sehr mehreren Aufgaben extrahiert werden.
Basierend auf der Häufigkeit des Expertenaustauschs zwischen Aufgaben kann das Modell auch die Ähnlichkeit zwischen Aufgaben berechnen, wie in der folgenden Abbildung dargestellt. Es ist ersichtlich, dass bei 3D-orientierten Aufgaben tendenziell dieselben Experten eingesetzt werden und sie daher ähnlicher sind.
Experimenteller Teil
wurde auch bei der großen Datenmenge Taskonomy erheblich verbessert. Es ist ersichtlich, dass Mod-Squad im Durchschnitt 2,8 Punkte höher ist als reines MTL und nach dem Beschneiden die gleiche Leistung beibehält.
Im Vergleich zu anderen Methoden im PASCAL-Kontext liegt Mod-Squad im Durchschnitt fast zwei Punkte höher als andere MoE-Methoden.
Bitte beachten Sie den Originaltext für spezifische Details.
Das obige ist der detaillierte Inhalt vonModulares MoE wird zum Grundmodell für visuelles Multitasking-Lernen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Heiße KI -Werkzeuge

Undresser.AI Undress
KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover
Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool
Ausziehbilder kostenlos

Clothoff.io
KI-Kleiderentferner

AI Hentai Generator
Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

Heiße Werkzeuge

Notepad++7.3.1
Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version
Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1
Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6
Visuelle Webentwicklungstools

SublimeText3 Mac-Version
Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Heiße Themen

Stellen Sie sich ein Modell der künstlichen Intelligenz vor, das nicht nur die Fähigkeit besitzt, die traditionelle Datenverarbeitung zu übertreffen, sondern auch eine effizientere Leistung zu geringeren Kosten erzielt. Dies ist keine Science-Fiction, DeepSeek-V2[1], das weltweit leistungsstärkste Open-Source-MoE-Modell, ist da. DeepSeek-V2 ist ein leistungsstarkes MoE-Sprachmodell (Mix of Experts) mit den Merkmalen eines wirtschaftlichen Trainings und einer effizienten Inferenz. Es besteht aus 236B Parametern, von denen 21B zur Aktivierung jedes Markers verwendet werden. Im Vergleich zu DeepSeek67B bietet DeepSeek-V2 eine stärkere Leistung, spart gleichzeitig 42,5 % der Trainingskosten, reduziert den KV-Cache um 93,3 % und erhöht den maximalen Generierungsdurchsatz auf das 5,76-fache. DeepSeek ist ein Unternehmen, das sich mit allgemeiner künstlicher Intelligenz beschäftigt

Anfang dieses Monats schlugen Forscher des MIT und anderer Institutionen eine vielversprechende Alternative zu MLP vor – KAN. KAN übertrifft MLP in Bezug auf Genauigkeit und Interpretierbarkeit. Und es kann MLP, das mit einer größeren Anzahl von Parametern ausgeführt wird, mit einer sehr kleinen Anzahl von Parametern übertreffen. Beispielsweise gaben die Autoren an, dass sie KAN nutzten, um die Ergebnisse von DeepMind mit einem kleineren Netzwerk und einem höheren Automatisierungsgrad zu reproduzieren. Konkret verfügt DeepMinds MLP über etwa 300.000 Parameter, während KAN nur etwa 200 Parameter hat. KAN hat eine starke mathematische Grundlage wie MLP und basiert auf dem universellen Approximationssatz, während KAN auf dem Kolmogorov-Arnold-Darstellungssatz basiert. Wie in der folgenden Abbildung gezeigt, hat KAN

Boston Dynamics Atlas tritt offiziell in die Ära der Elektroroboter ein! Gestern hat sich der hydraulische Atlas einfach „unter Tränen“ von der Bühne der Geschichte zurückgezogen. Heute gab Boston Dynamics bekannt, dass der elektrische Atlas im Einsatz ist. Es scheint, dass Boston Dynamics im Bereich kommerzieller humanoider Roboter entschlossen ist, mit Tesla zu konkurrieren. Nach der Veröffentlichung des neuen Videos wurde es innerhalb von nur zehn Stunden bereits von mehr als einer Million Menschen angesehen. Die alten Leute gehen und neue Rollen entstehen. Das ist eine historische Notwendigkeit. Es besteht kein Zweifel, dass dieses Jahr das explosive Jahr der humanoiden Roboter ist. Netizens kommentierten: Die Weiterentwicklung der Roboter hat dazu geführt, dass die diesjährige Eröffnungsfeier wie Menschen aussieht, und der Freiheitsgrad ist weitaus größer als der von Menschen. Aber ist das wirklich kein Horrorfilm? Zu Beginn des Videos liegt Atlas ruhig auf dem Boden, scheinbar auf dem Rücken. Was folgt, ist atemberaubend

Die von Google geförderte Leistung von JAX hat in jüngsten Benchmark-Tests die von Pytorch und TensorFlow übertroffen und belegt bei 7 Indikatoren den ersten Platz. Und der Test wurde nicht auf der TPU mit der besten JAX-Leistung durchgeführt. Obwohl unter Entwicklern Pytorch immer noch beliebter ist als Tensorflow. Aber in Zukunft werden möglicherweise mehr große Modelle auf Basis der JAX-Plattform trainiert und ausgeführt. Modelle Kürzlich hat das Keras-Team drei Backends (TensorFlow, JAX, PyTorch) mit der nativen PyTorch-Implementierung und Keras2 mit TensorFlow verglichen. Zunächst wählen sie eine Reihe von Mainstream-Inhalten aus

KI verändert tatsächlich die Mathematik. Vor kurzem hat Tao Zhexuan, der diesem Thema große Aufmerksamkeit gewidmet hat, die neueste Ausgabe des „Bulletin of the American Mathematical Society“ (Bulletin der American Mathematical Society) weitergeleitet. Zum Thema „Werden Maschinen die Mathematik verändern?“ äußerten viele Mathematiker ihre Meinung. Der gesamte Prozess war voller Funken, knallhart und aufregend. Der Autor verfügt über eine starke Besetzung, darunter der Fields-Medaillengewinner Akshay Venkatesh, der chinesische Mathematiker Zheng Lejun, der NYU-Informatiker Ernest Davis und viele andere bekannte Wissenschaftler der Branche. Die Welt der KI hat sich dramatisch verändert. Viele dieser Artikel wurden vor einem Jahr eingereicht.

Die Zielerkennung ist ein relativ ausgereiftes Problem in autonomen Fahrsystemen, wobei die Fußgängererkennung einer der ersten Algorithmen ist, die eingesetzt werden. In den meisten Arbeiten wurde eine sehr umfassende Recherche durchgeführt. Die Entfernungswahrnehmung mithilfe von Fischaugenkameras für die Rundumsicht ist jedoch relativ wenig untersucht. Aufgrund der großen radialen Verzerrung ist es schwierig, die standardmäßige Bounding-Box-Darstellung in Fischaugenkameras zu implementieren. Um die obige Beschreibung zu vereinfachen, untersuchen wir erweiterte Begrenzungsrahmen-, Ellipsen- und allgemeine Polygondesigns in Polar-/Winkeldarstellungen und definieren eine mIOU-Metrik für die Instanzsegmentierung, um diese Darstellungen zu analysieren. Das vorgeschlagene Modell „fisheyeDetNet“ mit polygonaler Form übertrifft andere Modelle und erreicht gleichzeitig 49,5 % mAP auf dem Valeo-Fisheye-Kameradatensatz für autonomes Fahren

Das neueste Video von Teslas Roboter Optimus ist veröffentlicht und er kann bereits in der Fabrik arbeiten. Bei normaler Geschwindigkeit sortiert es Batterien (Teslas 4680-Batterien) so: Der Beamte hat auch veröffentlicht, wie es bei 20-facher Geschwindigkeit aussieht – auf einer kleinen „Workstation“, pflücken und pflücken und pflücken: Dieses Mal wird es freigegeben. Eines der Highlights Der Vorteil des Videos besteht darin, dass Optimus diese Arbeit in der Fabrik völlig autonom und ohne menschliches Eingreifen während des gesamten Prozesses erledigt. Und aus Sicht von Optimus kann es auch die krumme Batterie aufnehmen und platzieren, wobei der Schwerpunkt auf der automatischen Fehlerkorrektur liegt: In Bezug auf die Hand von Optimus gab der NVIDIA-Wissenschaftler Jim Fan eine hohe Bewertung ab: Die Hand von Optimus ist der fünffingrige Roboter der Welt am geschicktesten. Seine Hände sind nicht nur taktil

In diesem Artikel wird das Problem der genauen Erkennung von Objekten aus verschiedenen Blickwinkeln (z. B. Perspektive und Vogelperspektive) beim autonomen Fahren untersucht, insbesondere wie die Transformation von Merkmalen aus der Perspektive (PV) in den Raum aus der Vogelperspektive (BEV) effektiv ist implementiert über das Modul Visual Transformation (VT). Bestehende Methoden lassen sich grob in zwei Strategien unterteilen: 2D-zu-3D- und 3D-zu-2D-Konvertierung. 2D-zu-3D-Methoden verbessern dichte 2D-Merkmale durch die Vorhersage von Tiefenwahrscheinlichkeiten, aber die inhärente Unsicherheit von Tiefenvorhersagen, insbesondere in entfernten Regionen, kann zu Ungenauigkeiten führen. Während 3D-zu-2D-Methoden normalerweise 3D-Abfragen verwenden, um 2D-Features abzutasten und die Aufmerksamkeitsgewichte der Korrespondenz zwischen 3D- und 2D-Features über einen Transformer zu lernen, erhöht sich die Rechen- und Bereitstellungszeit.
