Heim Technologie-Peripheriegeräte KI Multimodale Bildsynthese und -bearbeitung erfreuen sich so großer Beliebtheit, dass das Max-Planck-Institut, das Nanyang Technological Institute und andere einen ausführlichen Bericht veröffentlicht haben

Multimodale Bildsynthese und -bearbeitung erfreuen sich so großer Beliebtheit, dass das Max-Planck-Institut, das Nanyang Technological Institute und andere einen ausführlichen Bericht veröffentlicht haben

Apr 09, 2023 pm 10:31 PM
图像 模型

Das kürzlich von OpenAI veröffentlichte DALLE-2 und das von Google veröffentlichte Imagen haben erstaunliche Effekte bei der Text-zu-Bild-Generierung erzielt, die große Aufmerksamkeit erregt und viele interessante Anwendungen hervorgebracht haben. Die Text-zu-Bild-Generierung ist eine typische Aufgabe im Bereich der multimodalen Bildsynthese und -bearbeitung. Kürzlich führten Forscher des Max-Planck-Instituts, des Nanyang Technological Institute und anderer Institutionen eine detaillierte Untersuchung und Analyse zum Forschungsstand und zur zukünftigen Entwicklung des großen Bereichs der multimodalen Bildsynthese und -bearbeitung durch.

Multimodale Bildsynthese und -bearbeitung erfreuen sich so großer Beliebtheit, dass das Max-Planck-Institut, das Nanyang Technological Institute und andere einen ausführlichen Bericht veröffentlicht haben


  • Papieradresse: https://arxiv.org/pdf/2112.13592.pdf
  • Projektadresse: https://github.com/fnzhan/MISE


Multimodale Bildsynthese und -bearbeitung erfreuen sich so großer Beliebtheit, dass das Max-Planck-Institut, das Nanyang Technological Institute und andere einen ausführlichen Bericht veröffentlicht haben

Im ersten Kapitel beschreibt diese Rezension die Bedeutung und Gesamtentwicklung multimodaler Bildsynthese- und Bearbeitungsaufgaben sowie den Beitrag und die Gesamtstruktur dieses Papiers.

Im zweiten Kapitel werden in diesem Übersichtsartikel basierend auf den Datenmodalitäten, die die Bildsynthese und -bearbeitung leiten, die am häufigsten verwendeten visuellen Anleitungen (z. B. semantische Karten, Schlüsselpunktkarten, Kantenkarten), Textführung und Sprache vorgestellt Der Szenengraph leitet und verarbeitet die entsprechenden Modaldaten sowie ein einheitliches Darstellungsgerüst.

Im dritten Kapitel klassifiziert der Artikel verschiedene aktuelle Methoden gemäß dem Modellrahmen der Bildsynthese und -bearbeitung, darunter GAN-basierte Methoden, autoregressive Methoden, Diffusionsmodellmethoden und Methoden neuronaler Strahlungsfelder (NeRF).

Multimodale Bildsynthese und -bearbeitung erfreuen sich so großer Beliebtheit, dass das Max-Planck-Institut, das Nanyang Technological Institute und andere einen ausführlichen Bericht veröffentlicht haben

Multimodale Bildsynthese und -bearbeitung erfreuen sich so großer Beliebtheit, dass das Max-Planck-Institut, das Nanyang Technological Institute und andere einen ausführlichen Bericht veröffentlicht haben

Da GAN-basierte Methoden im Allgemeinen bedingtes GAN und bedingungslose GAN-Inversion verwenden, unterteilt dieser Artikel diese Kategorie weiter in intramodale Bedingungen (z. B. semantische Karten, Kantenkarten) und Kreuz -modale Bedingungen Modale Bedingungen (wie Text und Sprache) und GAN-Inversion (einheitliche Modalitäten) werden ausführlich beschrieben.

Multimodale Bildsynthese und -bearbeitung erfreuen sich so großer Beliebtheit, dass das Max-Planck-Institut, das Nanyang Technological Institute und andere einen ausführlichen Bericht veröffentlicht haben

Im Vergleich zu GAN-basierten Methoden kann die autoregressive Modellmethode multimodale Daten natürlicher verarbeiten und das derzeit beliebte Transformer-Modell nutzen. Autoregressive Methoden erlernen im Allgemeinen zunächst einen Vektorquantisierungsencoder, um Bilder diskret als Token-Sequenzen darzustellen, und modellieren dann autoregressiv die Verteilung der Token. Da Daten wie Text und Sprache als Token dargestellt und als Bedingungen für die autoregressive Modellierung verwendet werden können, können verschiedene multimodale Bildsynthese- und Bearbeitungsaufgaben in einem einzigen Framework vereint werden.

Multimodale Bildsynthese und -bearbeitung erfreuen sich so großer Beliebtheit, dass das Max-Planck-Institut, das Nanyang Technological Institute und andere einen ausführlichen Bericht veröffentlicht haben


Multimodale Bildsynthese und -bearbeitung erfreuen sich so großer Beliebtheit, dass das Max-Planck-Institut, das Nanyang Technological Institute und andere einen ausführlichen Bericht veröffentlicht haben

In letzter Zeit wird das beliebte Diffusionsmodell auch häufig bei multimodalen Synthese- und Bearbeitungsaufgaben eingesetzt. Beispielsweise werden die erstaunlichen Modelle DALLE-2 und Imagen beide auf der Grundlage des Diffusionsmodells implementiert. Im Vergleich zu GAN weist das Diffusionsgenerierungsmodell einige gute Eigenschaften auf, wie z. B. statisches Trainingsziel und einfache Skalierbarkeit. In diesem Artikel werden bestehende Methoden anhand von bedingten Diffusionsmodellen und vorab trainierten Diffusionsmodellen detailliert klassifiziert und analysiert.

Multimodale Bildsynthese und -bearbeitung erfreuen sich so großer Beliebtheit, dass das Max-Planck-Institut, das Nanyang Technological Institute und andere einen ausführlichen Bericht veröffentlicht haben


Multimodale Bildsynthese und -bearbeitung erfreuen sich so großer Beliebtheit, dass das Max-Planck-Institut, das Nanyang Technological Institute und andere einen ausführlichen Bericht veröffentlicht haben

Die oben genannten Methoden konzentrieren sich hauptsächlich auf die multimodale Synthese und Bearbeitung von 2D-Bildern. Mit der rasanten Entwicklung neuronaler Strahlungsfelder (NeRF) haben die multimodale Synthese und Bearbeitung für die 3D-Wahrnehmung in letzter Zeit immer mehr Aufmerksamkeit auf sich gezogen. Die multimodale Synthese und Bearbeitung für die 3D-Wahrnehmung stellt eine anspruchsvollere Aufgabe dar, da die Konsistenz mehrerer Ansichten berücksichtigt werden muss. Dieser Artikel klassifiziert und fasst die bestehenden Arbeiten zu drei Methoden der Einzelszenenoptimierung NeRF, generativem NeRF und NeRF-Inversion zusammen.

Anschließend werden in dieser Rezension die oben genannten vier Modellmethoden verglichen und diskutiert. Insgesamt bevorzugen aktuelle, hochmoderne Modelle autoregressive und Diffusionsmodelle gegenüber GANs. Die Anwendung von NeRF bei multimodalen Synthese- und Bearbeitungsaufgaben eröffnet ein neues Fenster für die Forschung auf diesem Gebiet.

Multimodale Bildsynthese und -bearbeitung erfreuen sich so großer Beliebtheit, dass das Max-Planck-Institut, das Nanyang Technological Institute und andere einen ausführlichen Bericht veröffentlicht haben


In Kapitel 4 führt diese Übersicht beliebte Datensätze und entsprechende modale Annotationen im Bereich der multimodalen Synthese und Bearbeitung zusammen und zielt auf typische Aufgaben jeder Modalität ab (semantische Bildsynthese, Text- to-image synthese, sprachgesteuerte Bildbearbeitung) präsentieren einen quantitativen Vergleich aktueller Methoden.

In Kapitel 5 werden in dieser Rezension die aktuellen Herausforderungen und zukünftigen Richtungen in diesem Bereich erörtert und analysiert, einschließlich großer multimodaler Datensätze, genauer und zuverlässiger Bewertungsmetriken, effizienter Netzwerkarchitektur und der 3D-wahrgenommenen Entwicklungsrichtung.

In den Kapiteln 6 und 7 geht die Rezension auf die möglichen gesellschaftlichen Auswirkungen dieses Bereichs ein und fasst den Inhalt bzw. Beitrag des Artikels zusammen.

Das obige ist der detaillierte Inhalt vonMultimodale Bildsynthese und -bearbeitung erfreuen sich so großer Beliebtheit, dass das Max-Planck-Institut, das Nanyang Technological Institute und andere einen ausführlichen Bericht veröffentlicht haben. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn

Heiße KI -Werkzeuge

Undresser.AI Undress

Undresser.AI Undress

KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover

AI Clothes Remover

Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool

Undress AI Tool

Ausziehbilder kostenlos

Clothoff.io

Clothoff.io

KI-Kleiderentferner

AI Hentai Generator

AI Hentai Generator

Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

R.E.P.O. Energiekristalle erklärten und was sie tun (gelber Kristall)
2 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌
Repo: Wie man Teamkollegen wiederbelebt
1 Monate vor By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island Abenteuer: Wie man riesige Samen bekommt
1 Monate vor By 尊渡假赌尊渡假赌尊渡假赌

Heiße Werkzeuge

Notepad++7.3.1

Notepad++7.3.1

Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version

SublimeText3 chinesische Version

Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1

Senden Sie Studio 13.0.1

Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6

Dreamweaver CS6

Visuelle Webentwicklungstools

SublimeText3 Mac-Version

SublimeText3 Mac-Version

Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Das weltweit leistungsstärkste Open-Source-MoE-Modell ist da, mit chinesischen Fähigkeiten, die mit GPT-4 vergleichbar sind, und der Preis beträgt nur fast ein Prozent von GPT-4-Turbo Das weltweit leistungsstärkste Open-Source-MoE-Modell ist da, mit chinesischen Fähigkeiten, die mit GPT-4 vergleichbar sind, und der Preis beträgt nur fast ein Prozent von GPT-4-Turbo May 07, 2024 pm 04:13 PM

Stellen Sie sich ein Modell der künstlichen Intelligenz vor, das nicht nur die Fähigkeit besitzt, die traditionelle Datenverarbeitung zu übertreffen, sondern auch eine effizientere Leistung zu geringeren Kosten erzielt. Dies ist keine Science-Fiction, DeepSeek-V2[1], das weltweit leistungsstärkste Open-Source-MoE-Modell, ist da. DeepSeek-V2 ist ein leistungsstarkes MoE-Sprachmodell (Mix of Experts) mit den Merkmalen eines wirtschaftlichen Trainings und einer effizienten Inferenz. Es besteht aus 236B Parametern, von denen 21B zur Aktivierung jedes Markers verwendet werden. Im Vergleich zu DeepSeek67B bietet DeepSeek-V2 eine stärkere Leistung, spart gleichzeitig 42,5 % der Trainingskosten, reduziert den KV-Cache um 93,3 % und erhöht den maximalen Generierungsdurchsatz auf das 5,76-fache. DeepSeek ist ein Unternehmen, das sich mit allgemeiner künstlicher Intelligenz beschäftigt

KAN, das MLP ersetzt, wurde durch Open-Source-Projekte auf Faltung erweitert KAN, das MLP ersetzt, wurde durch Open-Source-Projekte auf Faltung erweitert Jun 01, 2024 pm 10:03 PM

Anfang dieses Monats schlugen Forscher des MIT und anderer Institutionen eine vielversprechende Alternative zu MLP vor – KAN. KAN übertrifft MLP in Bezug auf Genauigkeit und Interpretierbarkeit. Und es kann MLP, das mit einer größeren Anzahl von Parametern ausgeführt wird, mit einer sehr kleinen Anzahl von Parametern übertreffen. Beispielsweise gaben die Autoren an, dass sie KAN nutzten, um die Ergebnisse von DeepMind mit einem kleineren Netzwerk und einem höheren Automatisierungsgrad zu reproduzieren. Konkret verfügt DeepMinds MLP über etwa 300.000 Parameter, während KAN nur etwa 200 Parameter hat. KAN hat eine starke mathematische Grundlage wie MLP und basiert auf dem universellen Approximationssatz, während KAN auf dem Kolmogorov-Arnold-Darstellungssatz basiert. Wie in der folgenden Abbildung gezeigt, hat KAN

Hallo, elektrischer Atlas! Der Boston Dynamics-Roboter erwacht wieder zum Leben, seltsame 180-Grad-Bewegungen machen Musk Angst Hallo, elektrischer Atlas! Der Boston Dynamics-Roboter erwacht wieder zum Leben, seltsame 180-Grad-Bewegungen machen Musk Angst Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas tritt offiziell in die Ära der Elektroroboter ein! Gestern hat sich der hydraulische Atlas einfach „unter Tränen“ von der Bühne der Geschichte zurückgezogen. Heute gab Boston Dynamics bekannt, dass der elektrische Atlas im Einsatz ist. Es scheint, dass Boston Dynamics im Bereich kommerzieller humanoider Roboter entschlossen ist, mit Tesla zu konkurrieren. Nach der Veröffentlichung des neuen Videos wurde es innerhalb von nur zehn Stunden bereits von mehr als einer Million Menschen angesehen. Die alten Leute gehen und neue Rollen entstehen. Das ist eine historische Notwendigkeit. Es besteht kein Zweifel, dass dieses Jahr das explosive Jahr der humanoiden Roboter ist. Netizens kommentierten: Die Weiterentwicklung der Roboter hat dazu geführt, dass die diesjährige Eröffnungsfeier wie Menschen aussieht, und der Freiheitsgrad ist weitaus größer als der von Menschen. Aber ist das wirklich kein Horrorfilm? Zu Beginn des Videos liegt Atlas ruhig auf dem Boden, scheinbar auf dem Rücken. Was folgt, ist atemberaubend

Google ist begeistert: JAX-Leistung übertrifft Pytorch und TensorFlow! Es könnte die schnellste Wahl für das GPU-Inferenztraining werden Google ist begeistert: JAX-Leistung übertrifft Pytorch und TensorFlow! Es könnte die schnellste Wahl für das GPU-Inferenztraining werden Apr 01, 2024 pm 07:46 PM

Die von Google geförderte Leistung von JAX hat in jüngsten Benchmark-Tests die von Pytorch und TensorFlow übertroffen und belegt bei 7 Indikatoren den ersten Platz. Und der Test wurde nicht auf der TPU mit der besten JAX-Leistung durchgeführt. Obwohl unter Entwicklern Pytorch immer noch beliebter ist als Tensorflow. Aber in Zukunft werden möglicherweise mehr große Modelle auf Basis der JAX-Plattform trainiert und ausgeführt. Modelle Kürzlich hat das Keras-Team drei Backends (TensorFlow, JAX, PyTorch) mit der nativen PyTorch-Implementierung und Keras2 mit TensorFlow verglichen. Zunächst wählen sie eine Reihe von Mainstream-Inhalten aus

KI untergräbt die mathematische Forschung! Der Gewinner der Fields-Medaille und der chinesisch-amerikanische Mathematiker führten 11 hochrangige Arbeiten an | Gefällt mir bei Terence Tao KI untergräbt die mathematische Forschung! Der Gewinner der Fields-Medaille und der chinesisch-amerikanische Mathematiker führten 11 hochrangige Arbeiten an | Gefällt mir bei Terence Tao Apr 09, 2024 am 11:52 AM

KI verändert tatsächlich die Mathematik. Vor kurzem hat Tao Zhexuan, der diesem Thema große Aufmerksamkeit gewidmet hat, die neueste Ausgabe des „Bulletin of the American Mathematical Society“ (Bulletin der American Mathematical Society) weitergeleitet. Zum Thema „Werden Maschinen die Mathematik verändern?“ äußerten viele Mathematiker ihre Meinung. Der gesamte Prozess war voller Funken, knallhart und aufregend. Der Autor verfügt über eine starke Besetzung, darunter der Fields-Medaillengewinner Akshay Venkatesh, der chinesische Mathematiker Zheng Lejun, der NYU-Informatiker Ernest Davis und viele andere bekannte Wissenschaftler der Branche. Die Welt der KI hat sich dramatisch verändert. Viele dieser Artikel wurden vor einem Jahr eingereicht.

Tesla-Roboter arbeiten in Fabriken, Musk: Der Freiheitsgrad der Hände wird dieses Jahr 22 erreichen! Tesla-Roboter arbeiten in Fabriken, Musk: Der Freiheitsgrad der Hände wird dieses Jahr 22 erreichen! May 06, 2024 pm 04:13 PM

Das neueste Video von Teslas Roboter Optimus ist veröffentlicht und er kann bereits in der Fabrik arbeiten. Bei normaler Geschwindigkeit sortiert es Batterien (Teslas 4680-Batterien) so: Der Beamte hat auch veröffentlicht, wie es bei 20-facher Geschwindigkeit aussieht – auf einer kleinen „Workstation“, pflücken und pflücken und pflücken: Dieses Mal wird es freigegeben. Eines der Highlights Der Vorteil des Videos besteht darin, dass Optimus diese Arbeit in der Fabrik völlig autonom und ohne menschliches Eingreifen während des gesamten Prozesses erledigt. Und aus Sicht von Optimus kann es auch die krumme Batterie aufnehmen und platzieren, wobei der Schwerpunkt auf der automatischen Fehlerkorrektur liegt: In Bezug auf die Hand von Optimus gab der NVIDIA-Wissenschaftler Jim Fan eine hohe Bewertung ab: Die Hand von Optimus ist der fünffingrige Roboter der Welt am geschicktesten. Seine Hände sind nicht nur taktil

FisheyeDetNet: der erste Zielerkennungsalgorithmus basierend auf einer Fischaugenkamera FisheyeDetNet: der erste Zielerkennungsalgorithmus basierend auf einer Fischaugenkamera Apr 26, 2024 am 11:37 AM

Die Zielerkennung ist ein relativ ausgereiftes Problem in autonomen Fahrsystemen, wobei die Fußgängererkennung einer der ersten Algorithmen ist, die eingesetzt werden. In den meisten Arbeiten wurde eine sehr umfassende Recherche durchgeführt. Die Entfernungswahrnehmung mithilfe von Fischaugenkameras für die Rundumsicht ist jedoch relativ wenig untersucht. Aufgrund der großen radialen Verzerrung ist es schwierig, die standardmäßige Bounding-Box-Darstellung in Fischaugenkameras zu implementieren. Um die obige Beschreibung zu vereinfachen, untersuchen wir erweiterte Begrenzungsrahmen-, Ellipsen- und allgemeine Polygondesigns in Polar-/Winkeldarstellungen und definieren eine mIOU-Metrik für die Instanzsegmentierung, um diese Darstellungen zu analysieren. Das vorgeschlagene Modell „fisheyeDetNet“ mit polygonaler Form übertrifft andere Modelle und erreicht gleichzeitig 49,5 % mAP auf dem Valeo-Fisheye-Kameradatensatz für autonomes Fahren

DualBEV: BEVFormer und BEVDet4D deutlich übertreffen, öffnen Sie das Buch! DualBEV: BEVFormer und BEVDet4D deutlich übertreffen, öffnen Sie das Buch! Mar 21, 2024 pm 05:21 PM

In diesem Artikel wird das Problem der genauen Erkennung von Objekten aus verschiedenen Blickwinkeln (z. B. Perspektive und Vogelperspektive) beim autonomen Fahren untersucht, insbesondere wie die Transformation von Merkmalen aus der Perspektive (PV) in den Raum aus der Vogelperspektive (BEV) effektiv ist implementiert über das Modul Visual Transformation (VT). Bestehende Methoden lassen sich grob in zwei Strategien unterteilen: 2D-zu-3D- und 3D-zu-2D-Konvertierung. 2D-zu-3D-Methoden verbessern dichte 2D-Merkmale durch die Vorhersage von Tiefenwahrscheinlichkeiten, aber die inhärente Unsicherheit von Tiefenvorhersagen, insbesondere in entfernten Regionen, kann zu Ungenauigkeiten führen. Während 3D-zu-2D-Methoden normalerweise 3D-Abfragen verwenden, um 2D-Features abzutasten und die Aufmerksamkeitsgewichte der Korrespondenz zwischen 3D- und 2D-Features über einen Transformer zu lernen, erhöht sich die Rechen- und Bereitstellungszeit.

See all articles