Inhaltsverzeichnis
Generatives Modell​
Variationsdiffusionsmodell​
Score-basiertes generatives Modell
Heim Technologie-Peripheriegeräte KI Ist die Mathematik hinter dem Diffusionsmodell zu schwer zu verstehen? Google macht es mit einer einheitlichen Perspektive klar

Ist die Mathematik hinter dem Diffusionsmodell zu schwer zu verstehen? Google macht es mit einer einheitlichen Perspektive klar

Apr 11, 2023 pm 07:46 PM
模型 数学

In letzter Zeit erfreut sich KI-Malerei großer Beliebtheit.

Während Sie über die Malfähigkeiten der KI staunen, wissen Sie vielleicht nicht, dass das Diffusionsmodell dabei eine große Rolle spielt. Nehmen Sie als Beispiel das beliebte Modell DALL·E 2 von OpenAI. Geben Sie einfach einen einfachen Text (Eingabeaufforderung) ein und es können mehrere hochauflösende Bilder mit 1024 * 1024 generiert werden.

Nicht lange nach der Ankündigung von DALL·E 2 veröffentlichte Google anschließend Imagen, ein Text-zu-Bild-KI-Modell, das aus einer vorgegebenen Textbeschreibung realistische Bilder der Szene generieren kann.

Vor ein paar Tagen hat Stability.Ai die neueste Version des Textgenerierungsbildmodells Stable Diffusion öffentlich veröffentlicht, und die generierten Bilder haben kommerzielle Qualität erreicht.

Seit Google DDPM im Jahr 2020 veröffentlicht hat, hat sich das Diffusionsmodell nach und nach zu einem neuen Hotspot im Bereich der Generierung entwickelt. Später führte OpenAI GLIDE-, ADM-G-Modelle usw. ein, was das Diffusionsmodell populär machte.

Viele Forscher glauben, dass das auf dem Diffusionsmodell basierende Textbildgenerierungsmodell nicht nur eine geringe Anzahl von Parametern aufweist, sondern auch Bilder höherer Qualität generiert und das Potenzial hat, GAN zu ersetzen.

Allerdings hat die mathematische Formel hinter dem Diffusionsmodell viele Forscher abgeschreckt, und viele Forscher glauben, dass es viel schwieriger zu verstehen ist als VAE und GAN.

Kürzlich hat ein Forscher von Google Research einen Artikel mit dem Titel „Understanding Diffusion Models: A Unified Perspective“ geschrieben. Dieser Artikel zeigt die mathematischen Prinzipien hinter dem Diffusionsmodell auf äußerst detaillierte Weise, mit dem Ziel, es anderen Forschern zu ermöglichen, zu folgen und zu verstehen das Diffusionsmodell. Was sie sind und wie sie funktionieren. Ist die Mathematik hinter dem Diffusionsmodell zu schwer zu verstehen? Google macht es mit einer einheitlichen Perspektive klar

Papieradresse: https://arxiv.org/pdf/2208.11970.pdf Wie „mathematisch“ dieses Papier ist, beschreibt der Autor so: „Wir und seine quälenden Details“ zeigen die Mathematik dahinter Modelle.

Der Artikel ist in 6 Teile unterteilt, darunter hauptsächlich generative Modelle; ELBO, VAE und hierarchische VAE-Modelle;

Ist die Mathematik hinter dem Diffusionsmodell zu schwer zu verstehen? Google macht es mit einer einheitlichen Perspektive klar

Das Folgende ist ein Auszug aus dem Papier zur Einführung:

Generatives Modell​

Bei einer Beobachtungsstichprobe x in der Verteilung besteht das Ziel des generativen Modells darin, seine wahren Daten zu erfahren Verteilung p( x) Modellierung. Nachdem das Modell gelernt ist, können wir neue Proben generieren. Darüber hinaus können wir in einigen Formen auch Lernmodelle verwenden, um Beobachtungen oder Beispieldaten auszuwerten.

In der aktuellen Forschungsliteratur gibt es mehrere wichtige Richtungen. In diesem Artikel werden sie nur kurz auf hoher Ebene vorgestellt. Dazu gehören hauptsächlich: GAN, das den Stichprobenprozess komplexer Verteilungen modelliert und auf kontradiktorische Weise lernt. Generative Modelle, die wir auch als „wahrscheinlichkeitsbasierte“ Methoden bezeichnen können, können beobachteten Datenproben eine hohe Wahrscheinlichkeit zuweisen und umfassen normalerweise Autoregression, normalisierten Fluss und VAE. Energiebasierte Modellierung: Bei diesem Ansatz wird die Verteilung als beliebige flexible Energiefunktion gelernt und anschließend normalisiert. In punktebasierten generativen Modellen wird nicht gelernt, die Energiefunktion selbst zu modellieren, sondern der auf dem Energiemodell basierende Punktestand wird als neuronales Netzwerk erlernt. ​

In dieser Studie untersucht und überprüft dieser Artikel Diffusionsmodelle. Wie im Artikel gezeigt, verfügen sie über wahrscheinlichkeitsbasierte und bewertungsbasierte Interpretationen.

Variationsdiffusionsmodell​

Auf einfache Weise kann ein Variationsdiffusionsmodell (VDM) als hierarchische Markov-Variation mit drei Haupteinschränkungen (oder Annahmen) betrachtet werden. In Autoencoder (MHVAE) unterteilt, sind dies:

  • Die latente Dimension ist genau die gleiche wie die Datendimension
  • Die Struktur des latenten Encoders wird bei jedem Zeitschritt nicht gelernt, sondern ist als lineares Gaußsches Modell vordefiniert. Mit anderen Worten handelt es sich um eine Gaußsche Verteilung, die sich auf die Ausgabe des vorherigen Zeitschritts konzentriert. Die Gaußschen Parameter des latenten Encoders ändern sich im Laufe der Zeit, und die latente Verteilung im letzten Zeitschritt T im Prozess ist eine Quasi-Gaußsche Verteilung.

Ist die Mathematik hinter dem Diffusionsmodell zu schwer zu verstehen? Google macht es mit einer einheitlichen Perspektive klarVisuelle Darstellung des Variationsdiffusionsmodells

Darüber hinaus behalten die Forscher explizit die Beziehung zwischen hierarchischen Transformationen von standardmäßigen hierarchischen Markov-Variations-Markov-Eigenschaften bei. Sie erweiterten die Implikationen der oben genannten drei Hauptannahmen nach und nach.

Ausgehend von der ersten Annahme können aufgrund des Missbrauchs von Symbolen die realen Datenproben und latenten Variablen nun als x_t dargestellt werden, wobei t=0 die realen Probendaten darstellt und t ∈ [1, T] die darstellt entsprechende latente Variablen, ihre hierarchische Struktur wird durch t indiziert. Der VDM-Posterior ist derselbe wie der MHVAE-Posterior, kann aber jetzt wie folgt umgeschrieben werden:

Ist die Mathematik hinter dem Diffusionsmodell zu schwer zu verstehen? Google macht es mit einer einheitlichen Perspektive klarAus der zweiten Annahme ist bekannt, dass die Verteilung jeder latenten Variablen im Encoder durch dividiert wird vorherige Die latente Schichtvariable ist eine zentrierte Gaußsche Verteilung. Anders als bei MHVAE wird die Struktur des Encoders in jedem Zeitschritt nicht gelernt, sondern als lineares Gaußsches Modell festgelegt, bei dem der Mittelwert und die Standardabweichung als Hyperparameter voreingestellt oder als Parameter gelernt werden können. Mathematisch wird die Encodertransformation wie folgt ausgedrückt:

Ist die Mathematik hinter dem Diffusionsmodell zu schwer zu verstehen? Google macht es mit einer einheitlichen Perspektive klarFür die dritte Hypothese entwickelt sich α_t im Laufe der Zeit nach einem festen oder lernbaren Zeitplan, sodass die Verteilung der endgültigen latenten Variablen p(x_T) ist die Standard-Gauß-Verteilung. Die gemeinsame Verteilung von MHVAE kann dann aktualisiert werden und die gemeinsame Verteilung von VDM kann wie folgt geschrieben werden:

Ist die Mathematik hinter dem Diffusionsmodell zu schwer zu verstehen? Google macht es mit einer einheitlichen Perspektive klarZusammenfassend beschreibt diese Reihe von Annahmen das stabile Rauschen eines Bildes, das sich im Laufe der Zeit entwickelt. Die Forscher verfälschten das Bild nach und nach, indem sie Gaußsches Rauschen hinzufügten, bis es schließlich mit dem Gaußschen Rauschen identisch war.

Ähnlich wie jedes HVACE kann VDM durch Maximieren der Evidence Lower Bound (ELBO) optimiert werden, die wie folgt abgeleitet werden kann:

Ist die Mathematik hinter dem Diffusionsmodell zu schwer zu verstehen? Google macht es mit einer einheitlichen Perspektive klarDer Interpretationsprozess von ELBO ist in Abbildung 4 unten dargestellt . :

Drei äquivalente Interpretationen Ist die Mathematik hinter dem Diffusionsmodell zu schwer zu verstehen? Google macht es mit einer einheitlichen Perspektive klar

Wie zuvor gezeigt, kann ein Variationsdiffusionsmodell einfach trainiert werden, indem man einem neuronalen Netzwerk beibringt, aus einer beliebigen verrauschten Version x_t und seinem Zeitindex t das ursprüngliche Natürliche vorherzusagen Bild x_0. Es gibt jedoch zwei äquivalente Parametrisierungen von x_0, die die Entwicklung zweier weiterer Interpretationen des VDM ermöglichen.

Zuerst können Sie die Technik der starken Parametrisierung verwenden. Bei der Ableitung der Form von q(x_t|x_0) kann Gleichung 69 wie folgt umgestellt werden:

Wenn man es in den zuvor abgeleiteten echten Entrauschungstransformationsmittelwert µ_q(x_t, x_0) einbringt, kann es wie folgt neu abgeleitet werden: Ist die Mathematik hinter dem Diffusionsmodell zu schwer zu verstehen? Google macht es mit einer einheitlichen Perspektive klar

Daher kann der ungefähre Entrauschungstransformationsmittelwert µ_θ(x_t, t) wie folgt festgelegt werden :

Ist die Mathematik hinter dem Diffusionsmodell zu schwer zu verstehen? Google macht es mit einer einheitlichen Perspektive klar

und das entsprechende Optimierungsproblem lautet wie folgt:

Ist die Mathematik hinter dem Diffusionsmodell zu schwer zu verstehen? Google macht es mit einer einheitlichen Perspektive klar

Um die drei gängigen Interpretationen von Variationsdiffusionsmodellen abzuleiten, muss man sich der Tweedie-Formel zuwenden, Dies bedeutet, dass bei gegebener Stichprobe der wahre Mittelwert einer exponentiellen Familienverteilung anhand der Maximum-Likelihood-Schätzung der Stichprobe (auch empirischer Mittelwert genannt) plus einem Korrekturterm unter Einbeziehung der geschätzten Punktzahl geschätzt werden kann.

Mathematisch gesehen wird die Tweedie-Formel für eine Gaußsche Variable z ∼ N (z; µ_z, Σ_z) wie folgt ausgedrückt:

Ist die Mathematik hinter dem Diffusionsmodell zu schwer zu verstehen? Google macht es mit einer einheitlichen Perspektive klar

Score-basiertes generatives Modell

Forscher haben das gezeigt , Variationsdiffusionsmodelle können einfach durch Optimieren eines neuronalen Netzwerks s_θ(x_t, t) erlernt werden, um eine Score-Funktion ∇ log p(x_t) vorherzusagen. Der Bewertungsterm in der Ableitung stammt jedoch aus der Anwendung der Tweedie-Formel. Dies vermittelt nicht unbedingt eine gute Intuition oder Einsicht darüber, was genau die Score-Funktion ist oder warum es sich lohnt, sie zu modellieren. ​

Glücklicherweise können wir diese Intuition mit Hilfe einer anderen Art von generativem Modell erlangen, nämlich dem punktebasierten generativen Modell. Die Forscher zeigten tatsächlich, dass die zuvor abgeleitete VDM-Formulierung über eine äquivalente bruchbasierte generative Modellierungsformulierung verfügt, die einen flexiblen Wechsel zwischen den beiden Interpretationen ermöglicht.

Um zu verstehen, warum die Optimierung einer Score-Funktion sinnvoll ist, haben die Forscher energiebasierte Modelle erneut untersucht. Eine beliebige flexible Wahrscheinlichkeitsverteilung kann wie folgt geschrieben werden:​

Ist die Mathematik hinter dem Diffusionsmodell zu schwer zu verstehen? Google macht es mit einer einheitlichen Perspektive klar

Eine Möglichkeit, die Berechnung oder Modellierung der Normalisierungskonstanten zu vermeiden, besteht darin, ein neuronales Netzwerk s_θ(x) zu verwenden, um die Punktzahl der Verteilung p( x) Funktion ∇ log p(x). Es wird beobachtet, dass beide Seiten der Gleichung 152 logarithmisch differenziert werden können: Die Score-Funktion kann optimiert werden, indem die Fisher-Divergenz mithilfe der True-Score-Funktion minimiert wird. ​

Ist die Mathematik hinter dem Diffusionsmodell zu schwer zu verstehen? Google macht es mit einer einheitlichen Perspektive klar

Intuitiv ausgedrückt definiert die Score-Funktion ein Vektorfeld über den gesamten Raum, in dem sich die Daten x befinden, und zeigt auf das Modell, wie in Abbildung 6 unten dargestellt.

Ist die Mathematik hinter dem Diffusionsmodell zu schwer zu verstehen? Google macht es mit einer einheitlichen Perspektive klar

Schließlich stellten die Forscher sowohl anhand der Trainingsziele als auch des Stichprobenprozesses einen expliziten Zusammenhang zwischen dem Variationsdiffusionsmodell und dem punktebasierten generativen Modell her.

Weitere Einzelheiten finden Sie im Originalpapier. Ist die Mathematik hinter dem Diffusionsmodell zu schwer zu verstehen? Google macht es mit einer einheitlichen Perspektive klar

Das obige ist der detaillierte Inhalt vonIst die Mathematik hinter dem Diffusionsmodell zu schwer zu verstehen? Google macht es mit einer einheitlichen Perspektive klar. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn

Heiße KI -Werkzeuge

Undresser.AI Undress

Undresser.AI Undress

KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover

AI Clothes Remover

Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool

Undress AI Tool

Ausziehbilder kostenlos

Clothoff.io

Clothoff.io

KI-Kleiderentferner

AI Hentai Generator

AI Hentai Generator

Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

R.E.P.O. Energiekristalle erklärten und was sie tun (gelber Kristall)
2 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌
Repo: Wie man Teamkollegen wiederbelebt
4 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island Abenteuer: Wie man riesige Samen bekommt
4 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌

Heiße Werkzeuge

Notepad++7.3.1

Notepad++7.3.1

Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version

SublimeText3 chinesische Version

Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1

Senden Sie Studio 13.0.1

Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6

Dreamweaver CS6

Visuelle Webentwicklungstools

SublimeText3 Mac-Version

SublimeText3 Mac-Version

Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Das weltweit leistungsstärkste Open-Source-MoE-Modell ist da, mit chinesischen Fähigkeiten, die mit GPT-4 vergleichbar sind, und der Preis beträgt nur fast ein Prozent von GPT-4-Turbo Das weltweit leistungsstärkste Open-Source-MoE-Modell ist da, mit chinesischen Fähigkeiten, die mit GPT-4 vergleichbar sind, und der Preis beträgt nur fast ein Prozent von GPT-4-Turbo May 07, 2024 pm 04:13 PM

Stellen Sie sich ein Modell der künstlichen Intelligenz vor, das nicht nur die Fähigkeit besitzt, die traditionelle Datenverarbeitung zu übertreffen, sondern auch eine effizientere Leistung zu geringeren Kosten erzielt. Dies ist keine Science-Fiction, DeepSeek-V2[1], das weltweit leistungsstärkste Open-Source-MoE-Modell, ist da. DeepSeek-V2 ist ein leistungsstarkes MoE-Sprachmodell (Mix of Experts) mit den Merkmalen eines wirtschaftlichen Trainings und einer effizienten Inferenz. Es besteht aus 236B Parametern, von denen 21B zur Aktivierung jedes Markers verwendet werden. Im Vergleich zu DeepSeek67B bietet DeepSeek-V2 eine stärkere Leistung, spart gleichzeitig 42,5 % der Trainingskosten, reduziert den KV-Cache um 93,3 % und erhöht den maximalen Generierungsdurchsatz auf das 5,76-fache. DeepSeek ist ein Unternehmen, das sich mit allgemeiner künstlicher Intelligenz beschäftigt

KAN, das MLP ersetzt, wurde durch Open-Source-Projekte auf Faltung erweitert KAN, das MLP ersetzt, wurde durch Open-Source-Projekte auf Faltung erweitert Jun 01, 2024 pm 10:03 PM

Anfang dieses Monats schlugen Forscher des MIT und anderer Institutionen eine vielversprechende Alternative zu MLP vor – KAN. KAN übertrifft MLP in Bezug auf Genauigkeit und Interpretierbarkeit. Und es kann MLP, das mit einer größeren Anzahl von Parametern ausgeführt wird, mit einer sehr kleinen Anzahl von Parametern übertreffen. Beispielsweise gaben die Autoren an, dass sie KAN nutzten, um die Ergebnisse von DeepMind mit einem kleineren Netzwerk und einem höheren Automatisierungsgrad zu reproduzieren. Konkret verfügt DeepMinds MLP über etwa 300.000 Parameter, während KAN nur etwa 200 Parameter hat. KAN hat eine starke mathematische Grundlage wie MLP und basiert auf dem universellen Approximationssatz, während KAN auf dem Kolmogorov-Arnold-Darstellungssatz basiert. Wie in der folgenden Abbildung gezeigt, hat KAN

Hallo, elektrischer Atlas! Der Boston Dynamics-Roboter erwacht wieder zum Leben, seltsame 180-Grad-Bewegungen machen Musk Angst Hallo, elektrischer Atlas! Der Boston Dynamics-Roboter erwacht wieder zum Leben, seltsame 180-Grad-Bewegungen machen Musk Angst Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas tritt offiziell in die Ära der Elektroroboter ein! Gestern hat sich der hydraulische Atlas einfach „unter Tränen“ von der Bühne der Geschichte zurückgezogen. Heute gab Boston Dynamics bekannt, dass der elektrische Atlas im Einsatz ist. Es scheint, dass Boston Dynamics im Bereich kommerzieller humanoider Roboter entschlossen ist, mit Tesla zu konkurrieren. Nach der Veröffentlichung des neuen Videos wurde es innerhalb von nur zehn Stunden bereits von mehr als einer Million Menschen angesehen. Die alten Leute gehen und neue Rollen entstehen. Das ist eine historische Notwendigkeit. Es besteht kein Zweifel, dass dieses Jahr das explosive Jahr der humanoiden Roboter ist. Netizens kommentierten: Die Weiterentwicklung der Roboter hat dazu geführt, dass die diesjährige Eröffnungsfeier wie Menschen aussieht, und der Freiheitsgrad ist weitaus größer als der von Menschen. Aber ist das wirklich kein Horrorfilm? Zu Beginn des Videos liegt Atlas ruhig auf dem Boden, scheinbar auf dem Rücken. Was folgt, ist atemberaubend

Google ist begeistert: JAX-Leistung übertrifft Pytorch und TensorFlow! Es könnte die schnellste Wahl für das GPU-Inferenztraining werden Google ist begeistert: JAX-Leistung übertrifft Pytorch und TensorFlow! Es könnte die schnellste Wahl für das GPU-Inferenztraining werden Apr 01, 2024 pm 07:46 PM

Die von Google geförderte Leistung von JAX hat in jüngsten Benchmark-Tests die von Pytorch und TensorFlow übertroffen und belegt bei 7 Indikatoren den ersten Platz. Und der Test wurde nicht auf der TPU mit der besten JAX-Leistung durchgeführt. Obwohl unter Entwicklern Pytorch immer noch beliebter ist als Tensorflow. Aber in Zukunft werden möglicherweise mehr große Modelle auf Basis der JAX-Plattform trainiert und ausgeführt. Modelle Kürzlich hat das Keras-Team drei Backends (TensorFlow, JAX, PyTorch) mit der nativen PyTorch-Implementierung und Keras2 mit TensorFlow verglichen. Zunächst wählen sie eine Reihe von Mainstream-Inhalten aus

KI untergräbt die mathematische Forschung! Der Gewinner der Fields-Medaille und der chinesisch-amerikanische Mathematiker führten 11 hochrangige Arbeiten an | Gefällt mir bei Terence Tao KI untergräbt die mathematische Forschung! Der Gewinner der Fields-Medaille und der chinesisch-amerikanische Mathematiker führten 11 hochrangige Arbeiten an | Gefällt mir bei Terence Tao Apr 09, 2024 am 11:52 AM

KI verändert tatsächlich die Mathematik. Vor kurzem hat Tao Zhexuan, der diesem Thema große Aufmerksamkeit gewidmet hat, die neueste Ausgabe des „Bulletin of the American Mathematical Society“ (Bulletin der American Mathematical Society) weitergeleitet. Zum Thema „Werden Maschinen die Mathematik verändern?“ äußerten viele Mathematiker ihre Meinung. Der gesamte Prozess war voller Funken, knallhart und aufregend. Der Autor verfügt über eine starke Besetzung, darunter der Fields-Medaillengewinner Akshay Venkatesh, der chinesische Mathematiker Zheng Lejun, der NYU-Informatiker Ernest Davis und viele andere bekannte Wissenschaftler der Branche. Die Welt der KI hat sich dramatisch verändert. Viele dieser Artikel wurden vor einem Jahr eingereicht.

Tesla-Roboter arbeiten in Fabriken, Musk: Der Freiheitsgrad der Hände wird dieses Jahr 22 erreichen! Tesla-Roboter arbeiten in Fabriken, Musk: Der Freiheitsgrad der Hände wird dieses Jahr 22 erreichen! May 06, 2024 pm 04:13 PM

Das neueste Video von Teslas Roboter Optimus ist veröffentlicht und er kann bereits in der Fabrik arbeiten. Bei normaler Geschwindigkeit sortiert es Batterien (Teslas 4680-Batterien) so: Der Beamte hat auch veröffentlicht, wie es bei 20-facher Geschwindigkeit aussieht – auf einer kleinen „Workstation“, pflücken und pflücken und pflücken: Dieses Mal wird es freigegeben. Eines der Highlights Der Vorteil des Videos besteht darin, dass Optimus diese Arbeit in der Fabrik völlig autonom und ohne menschliches Eingreifen während des gesamten Prozesses erledigt. Und aus Sicht von Optimus kann es auch die krumme Batterie aufnehmen und platzieren, wobei der Schwerpunkt auf der automatischen Fehlerkorrektur liegt: In Bezug auf die Hand von Optimus gab der NVIDIA-Wissenschaftler Jim Fan eine hohe Bewertung ab: Die Hand von Optimus ist der fünffingrige Roboter der Welt am geschicktesten. Seine Hände sind nicht nur taktil

FisheyeDetNet: der erste Zielerkennungsalgorithmus basierend auf einer Fischaugenkamera FisheyeDetNet: der erste Zielerkennungsalgorithmus basierend auf einer Fischaugenkamera Apr 26, 2024 am 11:37 AM

Die Zielerkennung ist ein relativ ausgereiftes Problem in autonomen Fahrsystemen, wobei die Fußgängererkennung einer der ersten Algorithmen ist, die eingesetzt werden. In den meisten Arbeiten wurde eine sehr umfassende Recherche durchgeführt. Die Entfernungswahrnehmung mithilfe von Fischaugenkameras für die Rundumsicht ist jedoch relativ wenig untersucht. Aufgrund der großen radialen Verzerrung ist es schwierig, die standardmäßige Bounding-Box-Darstellung in Fischaugenkameras zu implementieren. Um die obige Beschreibung zu vereinfachen, untersuchen wir erweiterte Begrenzungsrahmen-, Ellipsen- und allgemeine Polygondesigns in Polar-/Winkeldarstellungen und definieren eine mIOU-Metrik für die Instanzsegmentierung, um diese Darstellungen zu analysieren. Das vorgeschlagene Modell „fisheyeDetNet“ mit polygonaler Form übertrifft andere Modelle und erreicht gleichzeitig 49,5 % mAP auf dem Valeo-Fisheye-Kameradatensatz für autonomes Fahren

DualBEV: BEVFormer und BEVDet4D deutlich übertreffen, öffnen Sie das Buch! DualBEV: BEVFormer und BEVDet4D deutlich übertreffen, öffnen Sie das Buch! Mar 21, 2024 pm 05:21 PM

In diesem Artikel wird das Problem der genauen Erkennung von Objekten aus verschiedenen Blickwinkeln (z. B. Perspektive und Vogelperspektive) beim autonomen Fahren untersucht, insbesondere wie die Transformation von Merkmalen aus der Perspektive (PV) in den Raum aus der Vogelperspektive (BEV) effektiv ist implementiert über das Modul Visual Transformation (VT). Bestehende Methoden lassen sich grob in zwei Strategien unterteilen: 2D-zu-3D- und 3D-zu-2D-Konvertierung. 2D-zu-3D-Methoden verbessern dichte 2D-Merkmale durch die Vorhersage von Tiefenwahrscheinlichkeiten, aber die inhärente Unsicherheit von Tiefenvorhersagen, insbesondere in entfernten Regionen, kann zu Ungenauigkeiten führen. Während 3D-zu-2D-Methoden normalerweise 3D-Abfragen verwenden, um 2D-Features abzutasten und die Aufmerksamkeitsgewichte der Korrespondenz zwischen 3D- und 2D-Features über einen Transformer zu lernen, erhöht sich die Rechen- und Bereitstellungszeit.

See all articles