


Video-Frage- und Antwortmodell „Iterative Joint Certification' von Google und MIT: SOTA-Leistung bei 80 % weniger Rechenleistung
Videos sind eine allgegenwärtige Quelle für Medieninhalte, die viele Aspekte des täglichen Lebens der Menschen berühren. Immer mehr reale Videoanwendungen wie Videountertitelung, Inhaltsanalyse und Video-Fragenbeantwortung (VideoQA) stützen sich auf Modelle, die Videoinhalte mit Text oder natürlicher Sprache verbinden können.
Unter diesen stellt das Video-Frage- und Antwortmodell eine besondere Herausforderung dar, da es gleichzeitig semantische Informationen wie Ziele in der Szene und zeitliche Informationen wie z. B. erfassen muss wie sich Dinge bewegen und interagieren. Beide Arten von Informationen müssen mit einer bestimmten Absicht in den Kontext einer natürlichsprachlichen Frage gestellt werden. Da Videos außerdem über viele Frames verfügen, kann die Verarbeitung aller Frames zum Erlernen raumzeitlicher Informationen rechenintensiv sein.
Papierlink: https://arxiv.org/pdf/2208.00934.pdf#🎜 🎜# Um dieses Problem zu lösen, stellten Forscher von Google und MIT im Artikel „Video Question Answering with Iterative Video-Text Co-Tokenization“ eine neue Methode des Videotext-Lernens vor Durch „iteratives Co-Labeling“ können räumliche, zeitliche und sprachliche Informationen effektiv für die Informationsverarbeitung in Videofragen und -antworten zusammengeführt werden.
Diese Methode ist Multi-Flow Verwenden Sie unabhängige Backbone-Modelle, um Videos unterschiedlicher Maßstäbe zu verarbeiten und Videodarstellungen zu erstellen, die unterschiedliche Eigenschaften erfassen, z. B. Videos mit hoher räumlicher Auflösung oder langer Dauer. Das Modell wendet das Modul „Co-Authentifizierung“ an, um effektive Darstellungen aus der Fusion von Videostreams und Text zu erlernen. Das Modell ist sehr recheneffizient und benötigt nur 67 GFLOPs, was mindestens 50 % weniger als die vorherige Methode ist, und weist eine bessere Leistung als andere SOTA-Modelle auf.
Video-Text IterationDas Hauptziel dieses Modells besteht darin, Funktionen aus Video und Text (d. h. Benutzerfragen) zu generieren, die gemeinsam ermöglichen sie mit der entsprechenden Eingabe interagieren. Das zweite Ziel besteht darin, dies auf effiziente Weise zu tun, was für Videos sehr wichtig ist, da sie Dutzende bis Hunderte von Eingabebildern enthalten.
Das Modell lernt, die gemeinsame Video-Spracheingabe in kleinere Etikettensätze zu kennzeichnen, um beide Modalitäten gemeinsam und effektiv darzustellen. Bei der Tokenisierung verwenden Forscher beide Modi, um eine gemeinsame kompakte Darstellung zu erstellen, die in eine Transformationsschicht eingespeist wird, um die Darstellung der nächsten Ebene zu erzeugen.
Eine Herausforderung, die auch ein typisches Problem beim modalübergreifenden Lernen ist, besteht darin, dass Videobilder oft nicht direkt mit verwandtem Text korrespondieren. Die Forscher lösten dieses Problem, indem sie zwei lernbare lineare Ebenen hinzufügten, um die visuellen und textuellen Merkmalsdimensionen vor der Tokenisierung zu vereinheitlichen. Dadurch konnten die Forscher sowohl Video- als auch Textbedingungen ermitteln, wie Video-Tags gelernt wurden.
Darüber hinaus ermöglicht ein einzelner Tokenisierungsschritt keine weitere Interaktion zwischen den beiden Modi. Dazu nutzen die Forscher diese neue Feature-Darstellung, um mit den Videoeingabe-Features zu interagieren und einen weiteren Satz tokenisierter Features zu erzeugen, die dann in die nächste Transformatorschicht eingespeist werden. Durch diesen iterativen Prozess entstehen neue Features oder Markierungen, die die kontinuierliche Verbesserung der gemeinsamen Darstellung der beiden Modi darstellen. Schließlich werden diese Funktionen in einen Decoder eingespeist, der eine Textausgabe generiert.
In Übereinstimmung mit der Praxis der Videoqualitätsbewertung, individuelle Videoqualitätsbewertung Daten Vor der Feinabstimmung des Satzes trainierten die Forscher das Modell vorab. In dieser Arbeit kommentierten die Forscher Videos automatisch mit Text auf Basis der Spracherkennung und verwendeten dabei den HowTo100M-Datensatz, anstatt vorab mit dem großen VideoQA-Datensatz zu trainieren. Diese schwächeren Daten vor dem Training ermöglichten es dem Modell der Forscher dennoch, Videotextfunktionen zu erlernen.
Implementierung einer effizienten Beantwortung von VideofragenForscher wandten den iterativen Co-Authentifizierungsalgorithmus der Videosprache auf drei wichtige VideoQA-Benchmarks an: MSRVTT-QA. MSVD-QA und IVQA und zeigen, dass dieser Ansatz bessere Ergebnisse erzielt als andere hochmoderne Modelle, ohne das Modell zu groß zu machen. Darüber hinaus erfordert iteratives Co-Label-Lernen auch eine geringere Rechenleistung bei Videotext-Lernaufgaben.
Dieses Modell verbraucht nur 67GFLOPS Rechenleistung, was einem Sechstel der Rechenleistung (360GFLOP) entspricht, die für 3D-ResNet-Videomodelle und -Text erforderlich ist, und mehr als die doppelte Effizienz des X3D-Modells . und lieferte hochpräzise Ergebnisse, die modernste Methoden übertrafen.
Multi-Stream-Videoeingabe
Für VideoQA oder andere Aufgaben mit Videoeingabe haben Forscher herausgefunden, dass Multi-Stream-Eingabe wichtig ist, um Fragen zu räumlichen und zeitlichen Beziehungen genauer zu beantworten.
Die Forscher verwendeten drei Videostreams mit unterschiedlichen Auflösungen und Bildraten: einen Eingangsvideostream mit niedriger Auflösung und hoher Bildrate (32 Bilder pro Sekunde, räumliche Auflösung 64x64, bezeichnet als 32x64x64); Bildfrequenzvideo (8x224x224); und eine dazwischen (16x112x112).
Obwohl bei drei Datenströmen offensichtlich mehr Informationen verarbeitet werden müssen, erhält man dank der iterativen Co-Labeling-Methode ein sehr effizientes Modell. Gleichzeitig ermöglichen diese zusätzlichen Datenströme die Extraktion der relevantesten Informationen.
Wie in der Abbildung unten gezeigt, führen beispielsweise Fragen zu bestimmten Aktivitäten zu höheren Aktivierungen bei Videoeingaben mit niedrigeren Auflösungen, aber höheren Bildraten, während Fragen zu allgemeinen Aktivitäten von niedriger Auflösung bis zu hohen Bildraten variieren können. Erhalten Sie Antworten mit weniger hochauflösenden Eingaben.
Ein weiterer Vorteil dieses Algorithmus besteht darin, dass sich die Tokenisierung je nach gestellter Frage ändert.
Fazit
Die Forscher schlugen eine neue Methode zum Erlernen von Videosprachen vor, die sich auf das gemeinsame Lernen über Videotextmodalitäten hinweg konzentriert. Forscher nehmen die wichtige und herausfordernde Aufgabe der Beantwortung von Videofragen in Angriff. Der Ansatz der Forscher ist effizient und genau und übertrifft aktuelle Modelle auf dem neuesten Stand der Technik, obwohl er effizienter ist.
Der Ansatz der Google-Forscher hat eine bescheidene Modellgröße und könnte mit größeren Modellen und Daten weitere Leistungsverbesserungen erzielen. Die Forscher hoffen, dass diese Arbeit weitere Forschungen zum visuellen Sprachenlernen anstoßen wird, um nahtlosere Interaktionen mit visuellen Medien zu ermöglichen.
Das obige ist der detaillierte Inhalt vonVideo-Frage- und Antwortmodell „Iterative Joint Certification' von Google und MIT: SOTA-Leistung bei 80 % weniger Rechenleistung. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Heiße KI -Werkzeuge

Undresser.AI Undress
KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover
Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool
Ausziehbilder kostenlos

Clothoff.io
KI-Kleiderentferner

AI Hentai Generator
Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

Heiße Werkzeuge

Notepad++7.3.1
Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version
Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1
Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6
Visuelle Webentwicklungstools

SublimeText3 Mac-Version
Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Heiße Themen



Stellen Sie sich ein Modell der künstlichen Intelligenz vor, das nicht nur die Fähigkeit besitzt, die traditionelle Datenverarbeitung zu übertreffen, sondern auch eine effizientere Leistung zu geringeren Kosten erzielt. Dies ist keine Science-Fiction, DeepSeek-V2[1], das weltweit leistungsstärkste Open-Source-MoE-Modell, ist da. DeepSeek-V2 ist ein leistungsstarkes MoE-Sprachmodell (Mix of Experts) mit den Merkmalen eines wirtschaftlichen Trainings und einer effizienten Inferenz. Es besteht aus 236B Parametern, von denen 21B zur Aktivierung jedes Markers verwendet werden. Im Vergleich zu DeepSeek67B bietet DeepSeek-V2 eine stärkere Leistung, spart gleichzeitig 42,5 % der Trainingskosten, reduziert den KV-Cache um 93,3 % und erhöht den maximalen Generierungsdurchsatz auf das 5,76-fache. DeepSeek ist ein Unternehmen, das sich mit allgemeiner künstlicher Intelligenz beschäftigt

Anfang dieses Monats schlugen Forscher des MIT und anderer Institutionen eine vielversprechende Alternative zu MLP vor – KAN. KAN übertrifft MLP in Bezug auf Genauigkeit und Interpretierbarkeit. Und es kann MLP, das mit einer größeren Anzahl von Parametern ausgeführt wird, mit einer sehr kleinen Anzahl von Parametern übertreffen. Beispielsweise gaben die Autoren an, dass sie KAN nutzten, um die Ergebnisse von DeepMind mit einem kleineren Netzwerk und einem höheren Automatisierungsgrad zu reproduzieren. Konkret verfügt DeepMinds MLP über etwa 300.000 Parameter, während KAN nur etwa 200 Parameter hat. KAN hat eine starke mathematische Grundlage wie MLP und basiert auf dem universellen Approximationssatz, während KAN auf dem Kolmogorov-Arnold-Darstellungssatz basiert. Wie in der folgenden Abbildung gezeigt, hat KAN

Boston Dynamics Atlas tritt offiziell in die Ära der Elektroroboter ein! Gestern hat sich der hydraulische Atlas einfach „unter Tränen“ von der Bühne der Geschichte zurückgezogen. Heute gab Boston Dynamics bekannt, dass der elektrische Atlas im Einsatz ist. Es scheint, dass Boston Dynamics im Bereich kommerzieller humanoider Roboter entschlossen ist, mit Tesla zu konkurrieren. Nach der Veröffentlichung des neuen Videos wurde es innerhalb von nur zehn Stunden bereits von mehr als einer Million Menschen angesehen. Die alten Leute gehen und neue Rollen entstehen. Das ist eine historische Notwendigkeit. Es besteht kein Zweifel, dass dieses Jahr das explosive Jahr der humanoiden Roboter ist. Netizens kommentierten: Die Weiterentwicklung der Roboter hat dazu geführt, dass die diesjährige Eröffnungsfeier wie Menschen aussieht, und der Freiheitsgrad ist weitaus größer als der von Menschen. Aber ist das wirklich kein Horrorfilm? Zu Beginn des Videos liegt Atlas ruhig auf dem Boden, scheinbar auf dem Rücken. Was folgt, ist atemberaubend

KI verändert tatsächlich die Mathematik. Vor kurzem hat Tao Zhexuan, der diesem Thema große Aufmerksamkeit gewidmet hat, die neueste Ausgabe des „Bulletin of the American Mathematical Society“ (Bulletin der American Mathematical Society) weitergeleitet. Zum Thema „Werden Maschinen die Mathematik verändern?“ äußerten viele Mathematiker ihre Meinung. Der gesamte Prozess war voller Funken, knallhart und aufregend. Der Autor verfügt über eine starke Besetzung, darunter der Fields-Medaillengewinner Akshay Venkatesh, der chinesische Mathematiker Zheng Lejun, der NYU-Informatiker Ernest Davis und viele andere bekannte Wissenschaftler der Branche. Die Welt der KI hat sich dramatisch verändert. Viele dieser Artikel wurden vor einem Jahr eingereicht.

Die von Google geförderte Leistung von JAX hat in jüngsten Benchmark-Tests die von Pytorch und TensorFlow übertroffen und belegt bei 7 Indikatoren den ersten Platz. Und der Test wurde nicht auf der TPU mit der besten JAX-Leistung durchgeführt. Obwohl unter Entwicklern Pytorch immer noch beliebter ist als Tensorflow. Aber in Zukunft werden möglicherweise mehr große Modelle auf Basis der JAX-Plattform trainiert und ausgeführt. Modelle Kürzlich hat das Keras-Team drei Backends (TensorFlow, JAX, PyTorch) mit der nativen PyTorch-Implementierung und Keras2 mit TensorFlow verglichen. Zunächst wählen sie eine Reihe von Mainstream-Inhalten aus

In diesem Artikel wird das Problem der genauen Erkennung von Objekten aus verschiedenen Blickwinkeln (z. B. Perspektive und Vogelperspektive) beim autonomen Fahren untersucht, insbesondere wie die Transformation von Merkmalen aus der Perspektive (PV) in den Raum aus der Vogelperspektive (BEV) effektiv ist implementiert über das Modul Visual Transformation (VT). Bestehende Methoden lassen sich grob in zwei Strategien unterteilen: 2D-zu-3D- und 3D-zu-2D-Konvertierung. 2D-zu-3D-Methoden verbessern dichte 2D-Merkmale durch die Vorhersage von Tiefenwahrscheinlichkeiten, aber die inhärente Unsicherheit von Tiefenvorhersagen, insbesondere in entfernten Regionen, kann zu Ungenauigkeiten führen. Während 3D-zu-2D-Methoden normalerweise 3D-Abfragen verwenden, um 2D-Features abzutasten und die Aufmerksamkeitsgewichte der Korrespondenz zwischen 3D- und 2D-Features über einen Transformer zu lernen, erhöht sich die Rechen- und Bereitstellungszeit.

Das neueste Video von Teslas Roboter Optimus ist veröffentlicht und er kann bereits in der Fabrik arbeiten. Bei normaler Geschwindigkeit sortiert es Batterien (Teslas 4680-Batterien) so: Der Beamte hat auch veröffentlicht, wie es bei 20-facher Geschwindigkeit aussieht – auf einer kleinen „Workstation“, pflücken und pflücken und pflücken: Dieses Mal wird es freigegeben. Eines der Highlights Der Vorteil des Videos besteht darin, dass Optimus diese Arbeit in der Fabrik völlig autonom und ohne menschliches Eingreifen während des gesamten Prozesses erledigt. Und aus Sicht von Optimus kann es auch die krumme Batterie aufnehmen und platzieren, wobei der Schwerpunkt auf der automatischen Fehlerkorrektur liegt: In Bezug auf die Hand von Optimus gab der NVIDIA-Wissenschaftler Jim Fan eine hohe Bewertung ab: Die Hand von Optimus ist der fünffingrige Roboter der Welt am geschicktesten. Seine Hände sind nicht nur taktil

Die Zielerkennung ist ein relativ ausgereiftes Problem in autonomen Fahrsystemen, wobei die Fußgängererkennung einer der ersten Algorithmen ist, die eingesetzt werden. In den meisten Arbeiten wurde eine sehr umfassende Recherche durchgeführt. Die Entfernungswahrnehmung mithilfe von Fischaugenkameras für die Rundumsicht ist jedoch relativ wenig untersucht. Aufgrund der großen radialen Verzerrung ist es schwierig, die standardmäßige Bounding-Box-Darstellung in Fischaugenkameras zu implementieren. Um die obige Beschreibung zu vereinfachen, untersuchen wir erweiterte Begrenzungsrahmen-, Ellipsen- und allgemeine Polygondesigns in Polar-/Winkeldarstellungen und definieren eine mIOU-Metrik für die Instanzsegmentierung, um diese Darstellungen zu analysieren. Das vorgeschlagene Modell „fisheyeDetNet“ mit polygonaler Form übertrifft andere Modelle und erreicht gleichzeitig 49,5 % mAP auf dem Valeo-Fisheye-Kameradatensatz für autonomes Fahren
