


Multimodale Bildsynthese und -bearbeitung erfreuen sich so großer Beliebtheit, dass das Max-Planck-Institut, das Nanyang Technological Institute und andere einen ausführlichen Bericht veröffentlicht haben
Das kürzlich von OpenAI veröffentlichte DALLE-2 und das von Google veröffentlichte Imagen haben erstaunliche Effekte bei der Text-zu-Bild-Generierung erzielt, die große Aufmerksamkeit erregt und viele interessante Anwendungen hervorgebracht haben. Die Text-zu-Bild-Generierung ist eine typische Aufgabe im Bereich der multimodalen Bildsynthese und -bearbeitung. Kürzlich führten Forscher des Max-Planck-Instituts, des Nanyang Technological Institute und anderer Institutionen eine detaillierte Untersuchung und Analyse zum Forschungsstand und zur zukünftigen Entwicklung des großen Bereichs der multimodalen Bildsynthese und -bearbeitung durch.
- Papieradresse: https://arxiv.org/pdf/2112.13592.pdf
- Projektadresse: https://github.com/fnzhan/MISE
Im ersten Kapitel beschreibt diese Rezension die Bedeutung und Gesamtentwicklung multimodaler Bildsynthese- und Bearbeitungsaufgaben sowie den Beitrag und die Gesamtstruktur dieses Papiers.
Im zweiten Kapitel werden in diesem Übersichtsartikel basierend auf den Datenmodalitäten, die die Bildsynthese und -bearbeitung leiten, die am häufigsten verwendeten visuellen Anleitungen (z. B. semantische Karten, Schlüsselpunktkarten, Kantenkarten), Textführung und Sprache vorgestellt Der Szenengraph leitet und verarbeitet die entsprechenden Modaldaten sowie ein einheitliches Darstellungsgerüst.
Im dritten Kapitel klassifiziert der Artikel verschiedene aktuelle Methoden gemäß dem Modellrahmen der Bildsynthese und -bearbeitung, darunter GAN-basierte Methoden, autoregressive Methoden, Diffusionsmodellmethoden und Methoden neuronaler Strahlungsfelder (NeRF).
Da GAN-basierte Methoden im Allgemeinen bedingtes GAN und bedingungslose GAN-Inversion verwenden, unterteilt dieser Artikel diese Kategorie weiter in intramodale Bedingungen (z. B. semantische Karten, Kantenkarten) und Kreuz -modale Bedingungen Modale Bedingungen (wie Text und Sprache) und GAN-Inversion (einheitliche Modalitäten) werden ausführlich beschrieben.
Im Vergleich zu GAN-basierten Methoden kann die autoregressive Modellmethode multimodale Daten natürlicher verarbeiten und das derzeit beliebte Transformer-Modell nutzen. Autoregressive Methoden erlernen im Allgemeinen zunächst einen Vektorquantisierungsencoder, um Bilder diskret als Token-Sequenzen darzustellen, und modellieren dann autoregressiv die Verteilung der Token. Da Daten wie Text und Sprache als Token dargestellt und als Bedingungen für die autoregressive Modellierung verwendet werden können, können verschiedene multimodale Bildsynthese- und Bearbeitungsaufgaben in einem einzigen Framework vereint werden.
In letzter Zeit wird das beliebte Diffusionsmodell auch häufig bei multimodalen Synthese- und Bearbeitungsaufgaben eingesetzt. Beispielsweise werden die erstaunlichen Modelle DALLE-2 und Imagen beide auf der Grundlage des Diffusionsmodells implementiert. Im Vergleich zu GAN weist das Diffusionsgenerierungsmodell einige gute Eigenschaften auf, wie z. B. statisches Trainingsziel und einfache Skalierbarkeit. In diesem Artikel werden bestehende Methoden anhand von bedingten Diffusionsmodellen und vorab trainierten Diffusionsmodellen detailliert klassifiziert und analysiert.
Die oben genannten Methoden konzentrieren sich hauptsächlich auf die multimodale Synthese und Bearbeitung von 2D-Bildern. Mit der rasanten Entwicklung neuronaler Strahlungsfelder (NeRF) haben die multimodale Synthese und Bearbeitung für die 3D-Wahrnehmung in letzter Zeit immer mehr Aufmerksamkeit auf sich gezogen. Die multimodale Synthese und Bearbeitung für die 3D-Wahrnehmung stellt eine anspruchsvollere Aufgabe dar, da die Konsistenz mehrerer Ansichten berücksichtigt werden muss. Dieser Artikel klassifiziert und fasst die bestehenden Arbeiten zu drei Methoden der Einzelszenenoptimierung NeRF, generativem NeRF und NeRF-Inversion zusammen.
Anschließend werden in dieser Rezension die oben genannten vier Modellmethoden verglichen und diskutiert. Insgesamt bevorzugen aktuelle, hochmoderne Modelle autoregressive und Diffusionsmodelle gegenüber GANs. Die Anwendung von NeRF bei multimodalen Synthese- und Bearbeitungsaufgaben eröffnet ein neues Fenster für die Forschung auf diesem Gebiet.
In Kapitel 4 führt diese Übersicht beliebte Datensätze und entsprechende modale Annotationen im Bereich der multimodalen Synthese und Bearbeitung zusammen und zielt auf typische Aufgaben jeder Modalität ab (semantische Bildsynthese, Text- to-image synthese, sprachgesteuerte Bildbearbeitung) präsentieren einen quantitativen Vergleich aktueller Methoden.
In Kapitel 5 werden in dieser Rezension die aktuellen Herausforderungen und zukünftigen Richtungen in diesem Bereich erörtert und analysiert, einschließlich großer multimodaler Datensätze, genauer und zuverlässiger Bewertungsmetriken, effizienter Netzwerkarchitektur und der 3D-wahrgenommenen Entwicklungsrichtung.
In den Kapiteln 6 und 7 geht die Rezension auf die möglichen gesellschaftlichen Auswirkungen dieses Bereichs ein und fasst den Inhalt bzw. Beitrag des Artikels zusammen.
Das obige ist der detaillierte Inhalt vonMultimodale Bildsynthese und -bearbeitung erfreuen sich so großer Beliebtheit, dass das Max-Planck-Institut, das Nanyang Technological Institute und andere einen ausführlichen Bericht veröffentlicht haben. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Heiße KI -Werkzeuge

Undresser.AI Undress
KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover
Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool
Ausziehbilder kostenlos

Clothoff.io
KI-Kleiderentferner

AI Hentai Generator
Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

Heiße Werkzeuge

Notepad++7.3.1
Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version
Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1
Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6
Visuelle Webentwicklungstools

SublimeText3 Mac-Version
Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Heiße Themen

Stellen Sie sich ein Modell der künstlichen Intelligenz vor, das nicht nur die Fähigkeit besitzt, die traditionelle Datenverarbeitung zu übertreffen, sondern auch eine effizientere Leistung zu geringeren Kosten erzielt. Dies ist keine Science-Fiction, DeepSeek-V2[1], das weltweit leistungsstärkste Open-Source-MoE-Modell, ist da. DeepSeek-V2 ist ein leistungsstarkes MoE-Sprachmodell (Mix of Experts) mit den Merkmalen eines wirtschaftlichen Trainings und einer effizienten Inferenz. Es besteht aus 236B Parametern, von denen 21B zur Aktivierung jedes Markers verwendet werden. Im Vergleich zu DeepSeek67B bietet DeepSeek-V2 eine stärkere Leistung, spart gleichzeitig 42,5 % der Trainingskosten, reduziert den KV-Cache um 93,3 % und erhöht den maximalen Generierungsdurchsatz auf das 5,76-fache. DeepSeek ist ein Unternehmen, das sich mit allgemeiner künstlicher Intelligenz beschäftigt

Anfang dieses Monats schlugen Forscher des MIT und anderer Institutionen eine vielversprechende Alternative zu MLP vor – KAN. KAN übertrifft MLP in Bezug auf Genauigkeit und Interpretierbarkeit. Und es kann MLP, das mit einer größeren Anzahl von Parametern ausgeführt wird, mit einer sehr kleinen Anzahl von Parametern übertreffen. Beispielsweise gaben die Autoren an, dass sie KAN nutzten, um die Ergebnisse von DeepMind mit einem kleineren Netzwerk und einem höheren Automatisierungsgrad zu reproduzieren. Konkret verfügt DeepMinds MLP über etwa 300.000 Parameter, während KAN nur etwa 200 Parameter hat. KAN hat eine starke mathematische Grundlage wie MLP und basiert auf dem universellen Approximationssatz, während KAN auf dem Kolmogorov-Arnold-Darstellungssatz basiert. Wie in der folgenden Abbildung gezeigt, hat KAN

Boston Dynamics Atlas tritt offiziell in die Ära der Elektroroboter ein! Gestern hat sich der hydraulische Atlas einfach „unter Tränen“ von der Bühne der Geschichte zurückgezogen. Heute gab Boston Dynamics bekannt, dass der elektrische Atlas im Einsatz ist. Es scheint, dass Boston Dynamics im Bereich kommerzieller humanoider Roboter entschlossen ist, mit Tesla zu konkurrieren. Nach der Veröffentlichung des neuen Videos wurde es innerhalb von nur zehn Stunden bereits von mehr als einer Million Menschen angesehen. Die alten Leute gehen und neue Rollen entstehen. Das ist eine historische Notwendigkeit. Es besteht kein Zweifel, dass dieses Jahr das explosive Jahr der humanoiden Roboter ist. Netizens kommentierten: Die Weiterentwicklung der Roboter hat dazu geführt, dass die diesjährige Eröffnungsfeier wie Menschen aussieht, und der Freiheitsgrad ist weitaus größer als der von Menschen. Aber ist das wirklich kein Horrorfilm? Zu Beginn des Videos liegt Atlas ruhig auf dem Boden, scheinbar auf dem Rücken. Was folgt, ist atemberaubend

Die von Google geförderte Leistung von JAX hat in jüngsten Benchmark-Tests die von Pytorch und TensorFlow übertroffen und belegt bei 7 Indikatoren den ersten Platz. Und der Test wurde nicht auf der TPU mit der besten JAX-Leistung durchgeführt. Obwohl unter Entwicklern Pytorch immer noch beliebter ist als Tensorflow. Aber in Zukunft werden möglicherweise mehr große Modelle auf Basis der JAX-Plattform trainiert und ausgeführt. Modelle Kürzlich hat das Keras-Team drei Backends (TensorFlow, JAX, PyTorch) mit der nativen PyTorch-Implementierung und Keras2 mit TensorFlow verglichen. Zunächst wählen sie eine Reihe von Mainstream-Inhalten aus

KI verändert tatsächlich die Mathematik. Vor kurzem hat Tao Zhexuan, der diesem Thema große Aufmerksamkeit gewidmet hat, die neueste Ausgabe des „Bulletin of the American Mathematical Society“ (Bulletin der American Mathematical Society) weitergeleitet. Zum Thema „Werden Maschinen die Mathematik verändern?“ äußerten viele Mathematiker ihre Meinung. Der gesamte Prozess war voller Funken, knallhart und aufregend. Der Autor verfügt über eine starke Besetzung, darunter der Fields-Medaillengewinner Akshay Venkatesh, der chinesische Mathematiker Zheng Lejun, der NYU-Informatiker Ernest Davis und viele andere bekannte Wissenschaftler der Branche. Die Welt der KI hat sich dramatisch verändert. Viele dieser Artikel wurden vor einem Jahr eingereicht.

Das neueste Video von Teslas Roboter Optimus ist veröffentlicht und er kann bereits in der Fabrik arbeiten. Bei normaler Geschwindigkeit sortiert es Batterien (Teslas 4680-Batterien) so: Der Beamte hat auch veröffentlicht, wie es bei 20-facher Geschwindigkeit aussieht – auf einer kleinen „Workstation“, pflücken und pflücken und pflücken: Dieses Mal wird es freigegeben. Eines der Highlights Der Vorteil des Videos besteht darin, dass Optimus diese Arbeit in der Fabrik völlig autonom und ohne menschliches Eingreifen während des gesamten Prozesses erledigt. Und aus Sicht von Optimus kann es auch die krumme Batterie aufnehmen und platzieren, wobei der Schwerpunkt auf der automatischen Fehlerkorrektur liegt: In Bezug auf die Hand von Optimus gab der NVIDIA-Wissenschaftler Jim Fan eine hohe Bewertung ab: Die Hand von Optimus ist der fünffingrige Roboter der Welt am geschicktesten. Seine Hände sind nicht nur taktil

Die Zielerkennung ist ein relativ ausgereiftes Problem in autonomen Fahrsystemen, wobei die Fußgängererkennung einer der ersten Algorithmen ist, die eingesetzt werden. In den meisten Arbeiten wurde eine sehr umfassende Recherche durchgeführt. Die Entfernungswahrnehmung mithilfe von Fischaugenkameras für die Rundumsicht ist jedoch relativ wenig untersucht. Aufgrund der großen radialen Verzerrung ist es schwierig, die standardmäßige Bounding-Box-Darstellung in Fischaugenkameras zu implementieren. Um die obige Beschreibung zu vereinfachen, untersuchen wir erweiterte Begrenzungsrahmen-, Ellipsen- und allgemeine Polygondesigns in Polar-/Winkeldarstellungen und definieren eine mIOU-Metrik für die Instanzsegmentierung, um diese Darstellungen zu analysieren. Das vorgeschlagene Modell „fisheyeDetNet“ mit polygonaler Form übertrifft andere Modelle und erreicht gleichzeitig 49,5 % mAP auf dem Valeo-Fisheye-Kameradatensatz für autonomes Fahren

In diesem Artikel wird das Problem der genauen Erkennung von Objekten aus verschiedenen Blickwinkeln (z. B. Perspektive und Vogelperspektive) beim autonomen Fahren untersucht, insbesondere wie die Transformation von Merkmalen aus der Perspektive (PV) in den Raum aus der Vogelperspektive (BEV) effektiv ist implementiert über das Modul Visual Transformation (VT). Bestehende Methoden lassen sich grob in zwei Strategien unterteilen: 2D-zu-3D- und 3D-zu-2D-Konvertierung. 2D-zu-3D-Methoden verbessern dichte 2D-Merkmale durch die Vorhersage von Tiefenwahrscheinlichkeiten, aber die inhärente Unsicherheit von Tiefenvorhersagen, insbesondere in entfernten Regionen, kann zu Ungenauigkeiten führen. Während 3D-zu-2D-Methoden normalerweise 3D-Abfragen verwenden, um 2D-Features abzutasten und die Aufmerksamkeitsgewichte der Korrespondenz zwischen 3D- und 2D-Features über einen Transformer zu lernen, erhöht sich die Rechen- und Bereitstellungszeit.
