Inhaltsverzeichnis
Extraktionsergebnisse
Diffusion vs. GAN
Heim Technologie-Peripheriegeräte KI Nicht so gut wie GAN! Google, DeepMind und andere haben Artikel veröffentlicht: Diffusionsmodelle werden direkt aus dem Trainingssatz „kopiert'.

Nicht so gut wie GAN! Google, DeepMind und andere haben Artikel veröffentlicht: Diffusionsmodelle werden direkt aus dem Trainingssatz „kopiert'.

Apr 16, 2023 pm 02:10 PM
图像 模型

Letztes Jahr wurden Bildererzeugungsmodelle populär. Nach einem beliebten Kunstkarneval folgten Urheberrechtsfragen.

Deep-Learning-Modelle wie DALL-E 2, Imagen und Stable Diffusion werden auf Hunderten Millionen Daten trainiert. Es gibt keine Möglichkeit, den Einfluss des Trainingssatzes zu beseitigen, aber ob einige generierte Bilder vorhanden sind Komplett aus dem Trainingsset? Wenn das generierte Bild dem Originalbild sehr ähnlich ist, Wem gehört das Urheberrecht?

Kürzlich veröffentlichten Forscher vieler namhafter Universitäten und Unternehmen wie Google, Deepmind und der ETH Zürich gemeinsam einen Artikel. Sie fanden heraus, dass sich das „Diffusionsmodell“ tatsächlich an die Proben im Trainingssatz erinnern kann Während des Generierungsprozesses reproduzieren.

Nicht so gut wie GAN! Google, DeepMind und andere haben Artikel veröffentlicht: Diffusionsmodelle werden direkt aus dem Trainingssatz „kopiert'.

Link zum Papier:​https://arxiv.org/abs/2301.13188​

In dieser Arbeit zeigen die Forscher, wie sich das Diffusionsmodell in seinen Trainingsdaten ein einzelnes Bild merkt und reproduzieren es, wenn es generiert wird.

Nicht so gut wie GAN! Google, DeepMind und andere haben Artikel veröffentlicht: Diffusionsmodelle werden direkt aus dem Trainingssatz „kopiert'.Der Artikel schlägt eine

Generieren-und-Filter-Pipeline vor, die mehr als tausend Trainingsbeispiele aus den fortschrittlichsten Modellen extrahiert und Fotos und Markenzeichen von People Company abdeckt Logo usw. Wir haben außerdem Hunderte von Diffusionsmodellen in verschiedenen Umgebungen trainiert, um zu analysieren, wie sich unterschiedliche Modellierungs- und Datenentscheidungen auf die Privatsphäre auswirken.

Im Allgemeinen zeigen die experimentellen Ergebnisse, dass das Diffusionsmodell einen viel schlechteren Datenschutz für den Trainingssatz bietet als frühere generative Modelle (wie GANs).

Ich erinnere mich daran, aber nicht viel

Das Entrauschungs-Diffusionsmodell ist ein neues generatives neuronales Netzwerk, das vor kurzem aufgetaucht ist. Es generiert Bilder aus der Trainingsverteilung durch einen iterativen Entrauschungsprozess, der besser ist als das zuvor häufig verwendete GAN Oder die VAE-Modellgenerierung ist besser und es ist einfacher, das Modell zu erweitern und die Bildgenerierung zu steuern, sodass es sich schnell zu einer gängigen Methode für die Generierung verschiedener hochauflösender Bilder entwickelt hat.

Vor allem nach der Veröffentlichung von DALL-E 2 durch OpenAI wurde das Diffusionsmodell schnell im gesamten Bereich der KI-Generierung populär.

Der Reiz generativer Diffusionsmodelle beruht auf ihrer Fähigkeit, neue Bilder zu synthetisieren, die sich scheinbar von allem im Trainingssatz unterscheiden. Tatsächlich haben frühere groß angelegte Trainingsbemühungen „keine Probleme mit der Überanpassung festgestellt“, berichten Forscher Der sensible Bereich schlug sogar vor, dass das Diffusionsmodell durch die Synthese von Bildern „die Privatsphäre realer Bilder schützen“ kann.

Diese Arbeiten basieren jedoch alle auf einer Annahme: Das heißt, das Diffusionsmodell speichert und regeneriert keine Trainingsdaten, da es sonst die Datenschutzgarantie verletzt und viele Probleme hinsichtlich der Modellverallgemeinerung und der digitalen Fälschung verursacht.

Aber ist das wirklich so?

Nicht so gut wie GAN! Google, DeepMind und andere haben Artikel veröffentlicht: Diffusionsmodelle werden direkt aus dem Trainingssatz „kopiert'.

Um festzustellen, ob das generierte Bild aus dem Trainingssatz stammt, müssen Sie zunächst definieren, Was ist „Auswendiglernen“

.

Frühere verwandte Arbeiten konzentrierten sich hauptsächlich auf Textsprachmodelle. Wenn das Modell eine wörtlich aufgezeichnete Sequenz aus dem Trainingssatz wiederherstellen kann, wird diese Sequenz als „Extraktion“ und „Speicher“ bezeichnet Bilder mit hoher Auflösung, daher ist ein Wort-für-Wort-Abgleich von Speicherdefinitionen nicht geeignet. Das Folgende ist eine Erinnerung, die auf von Forschern definierten Bildähnlichkeitsmaßen basiert.

Wenn der Abstand zwischen einem generierten Bild x und mehreren Proben im Trainingssatz kleiner als ein bestimmter Schwellenwert ist, wird davon ausgegangen, dass die Probe aus dem Trainingssatz stammt, d. h. eidetische Memorisierung.

Dann entwarf der Artikel einen zweistufigen DatenextraktionsangriffMethode:

1. Generieren Sie eine große Anzahl von Bildern

Der erste Schritt ist zwar sehr einfach, aber rechenintensiv Sehr hoch: Erzeugt Bilder im Black-Box-Stil unter Verwendung der ausgewählten Eingabeaufforderung als Eingabe.

Die Forscher generierten 500 Kandidatenbilder für jede Textaufforderung, um die Wahrscheinlichkeit zu erhöhen, Erinnerungen zu entdecken.

2. Führen Sie eine Mitgliedschaftsinferenz durch

und markieren Sie die Bilder, von denen vermutet wird, dass sie basierend auf dem Trainingssatzspeicher generiert werden.

Die von den Forschern entwickelte Member-Inference-Angriffsstrategie basiert auf der folgenden Idee: Für zwei verschiedene zufällige Anfangssamen ist die Wahrscheinlichkeit einer Ähnlichkeit zwischen den beiden durch das Diffusionsmodell erzeugten Bildern sehr groß, und das ist auch möglich werden basierend auf dem Speicher unter der generierten Distanzmetrik berücksichtigt.

Extraktionsergebnisse

Um die Wirksamkeit des Angriffs zu bewerten, wählten die Forscher die 350.000 am häufigsten wiederholten Beispiele aus dem Trainingsdatensatz aus und generierten 500 Kandidatenbilder für jede Eingabeaufforderung (insgesamt wurden 175 Millionen Bilder generiert).

Sortieren Sie zunächst alle diese generierten Bilder nach dem durchschnittlichen Abstand zwischen den Bildern in der Clique, um diejenigen zu identifizieren, die wahrscheinlich durch das Speichern der Trainingsdaten generiert wurden.

Dann wurden diese generierten Bilder mit den Trainingsbildern verglichen und jedes Bild als „extrahiert“ und „nicht extrahiert“ markiert. Schließlich wurden 94 Bilder gefunden, bei denen der Verdacht bestand, dass sie aus dem Trainingssatz extrahiert wurden.

Durch visuelle Analyse wurden die Top 1000 Bilder manuell als „gespeichert“ oder „nicht gespeichert“ gekennzeichnet und es wurde festgestellt, dass 13 Bilder durch Kopieren von Trainingsbeispielen generiert wurden.

Nicht so gut wie GAN! Google, DeepMind und andere haben Artikel veröffentlicht: Diffusionsmodelle werden direkt aus dem Trainingssatz „kopiert'.

Anhand der P-R-Kurve ist diese Angriffsmethode sehr genau: Von 175 Millionen generierten Bildern können 50 gespeicherte Bilder identifiziert werden, und die Falsch-Positiv-Rate beträgt 0. Und alle generierten Bilder basieren auf dem Speicher kann mit einer Genauigkeit von mehr als 50 % extrahiert werden

Um besser zu verstehen, wie und warum Gedächtnis auftritt, trainierten die Forscher außerdem Hunderte von Vergleichsbildern auf dem CIFAR10 Small Diffusion Model, um die Auswirkungen von Modellgenauigkeit, Hyperparametern, Augmentation, und Deduplizierung beim Datenschutz.

Nicht so gut wie GAN! Google, DeepMind und andere haben Artikel veröffentlicht: Diffusionsmodelle werden direkt aus dem Trainingssatz „kopiert'.

Diffusion vs. GAN

Im Gegensatz zu Diffusionsmodellen werden GANs nicht explizit darauf trainiert, sich ihre Trainingsdatensätze zu merken und zu rekonstruieren.

GANs bestehen aus zwei konkurrierenden neuronalen Netzen: einem Generator und einem Diskriminator. Der Generator empfängt auch zufälliges Rauschen als Eingabe, muss dieses Rauschen jedoch im Gegensatz zum Diffusionsmodell in einem Vorwärtsdurchlauf in ein gültiges Bild umwandeln.

Während des Trainings von GAN muss der Diskriminator vorhersagen, ob das Bild vom Generator stammt, und der Generator muss sich selbst verbessern, um den Diskriminator zu täuschen.

Der Unterschied zwischen den beiden besteht also darin, dass der GAN-Generator nur indirekte Informationen über die Trainingsdaten für das Training verwendet (d. h. den Gradienten vom Diskriminator verwendet) und die Trainingsdaten nicht direkt als Eingabe erhält.

Nicht so gut wie GAN! Google, DeepMind und andere haben Artikel veröffentlicht: Diffusionsmodelle werden direkt aus dem Trainingssatz „kopiert'.

1 Million bedingungslos generierte Trainingsbilder, extrahiert aus verschiedenen vorab trainierten Generationsmodellen, dann wird das nach FID sortierte GAN-Modell (je niedriger, desto besser) oben platziert und das Diffusionsmodell wird unten platziert.

Die Ergebnisse zeigen, dass sich das Diffusionsmodell mehr als das GAN-Modell erinnert und bessere generative Modelle (niedrigere FID) dazu neigen, sich mehr Daten zu merken, das heißt, das Diffusionsmodell ist das am wenigsten private Bildmodell, dessen Form mehr als doppelt so hoch ist viele Trainingsdaten als GANs.

Nicht so gut wie GAN! Google, DeepMind und andere haben Artikel veröffentlicht: Diffusionsmodelle werden direkt aus dem Trainingssatz „kopiert'.

Und aus den oben genannten Ergebnissen lässt sich auch feststellen, dass die bestehende Technologie zur Verbesserung der Privatsphäre keinen akzeptablen Datenschutz bieten kann - Leistungskompromiss: Wenn Sie die Qualität der Generierung verbessern möchten, müssen Sie sich mehr Daten im Trainingssatz merken. Insgesamt beleuchtet dieses Papier die immer leistungsfähigeren Generationsmodelle und den Datenschutz und wirft Fragen darüber auf, wie Diffusionsmodelle funktionieren und wie sie verantwortungsvoll eingesetzt werden können.

Urheberrechtsproblem

Nicht so gut wie GAN! Google, DeepMind und andere haben Artikel veröffentlicht: Diffusionsmodelle werden direkt aus dem Trainingssatz „kopiert'.

Technisch gesehen ist die Rekonstruktion der Vorteil des Diffusionsmodells, aber aus urheberrechtlicher Sicht ist die Rekonstruktion eine Schwäche.

Künstler haben mehrfach über ihre Urheberrechtsprobleme gestritten, da die vom Diffusionsmodell erzeugten Bilder übermäßig ähnlich sind und die Trainingsdaten vorliegen.

Zum Beispiel ist es AI verboten, seine eigenen Werke für das Training zu verwenden, und den veröffentlichten Werken werden zahlreiche Wasserzeichen hinzugefügt, und Stable Diffusion hat dies ebenfalls angekündigt Es ist geplant, nur Dateien zu verwenden, die einen Trainingsdatensatz mit lizenzierten Inhalten enthalten, und bietet einen Opt-out-Mechanismus für Künstler.

Auch im Bereich NLP stehen wir vor diesem Problem. Einige Internetnutzer sagten, dass seit 1993 Millionen von Textwörtern veröffentlicht wurden, und zwar bei allen KI-Anwendungen, einschließlich ChatGPT-3 Es wird auf „gestohlene Inhalte“ trainiert und es ist unethisch, KI-basierte generative Modelle zu verwenden.

Obwohl es viele Artikel auf der Welt gibt, für normale Leute , Plagiat ist nur eine verzichtbare Abkürzung; für die Urheber ist der plagiierte Inhalt jedoch ihre harte Arbeit.

Wird das Diffusionsmodell in Zukunft noch Vorteile haben? Nicht so gut wie GAN! Google, DeepMind und andere haben Artikel veröffentlicht: Diffusionsmodelle werden direkt aus dem Trainingssatz „kopiert'.

Das obige ist der detaillierte Inhalt vonNicht so gut wie GAN! Google, DeepMind und andere haben Artikel veröffentlicht: Diffusionsmodelle werden direkt aus dem Trainingssatz „kopiert'.. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn

Heiße KI -Werkzeuge

Undresser.AI Undress

Undresser.AI Undress

KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover

AI Clothes Remover

Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool

Undress AI Tool

Ausziehbilder kostenlos

Clothoff.io

Clothoff.io

KI-Kleiderentferner

AI Hentai Generator

AI Hentai Generator

Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

R.E.P.O. Energiekristalle erklärten und was sie tun (gelber Kristall)
2 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌
Repo: Wie man Teamkollegen wiederbelebt
4 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island Abenteuer: Wie man riesige Samen bekommt
4 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌

Heiße Werkzeuge

Notepad++7.3.1

Notepad++7.3.1

Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version

SublimeText3 chinesische Version

Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1

Senden Sie Studio 13.0.1

Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6

Dreamweaver CS6

Visuelle Webentwicklungstools

SublimeText3 Mac-Version

SublimeText3 Mac-Version

Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Das weltweit leistungsstärkste Open-Source-MoE-Modell ist da, mit chinesischen Fähigkeiten, die mit GPT-4 vergleichbar sind, und der Preis beträgt nur fast ein Prozent von GPT-4-Turbo Das weltweit leistungsstärkste Open-Source-MoE-Modell ist da, mit chinesischen Fähigkeiten, die mit GPT-4 vergleichbar sind, und der Preis beträgt nur fast ein Prozent von GPT-4-Turbo May 07, 2024 pm 04:13 PM

Stellen Sie sich ein Modell der künstlichen Intelligenz vor, das nicht nur die Fähigkeit besitzt, die traditionelle Datenverarbeitung zu übertreffen, sondern auch eine effizientere Leistung zu geringeren Kosten erzielt. Dies ist keine Science-Fiction, DeepSeek-V2[1], das weltweit leistungsstärkste Open-Source-MoE-Modell, ist da. DeepSeek-V2 ist ein leistungsstarkes MoE-Sprachmodell (Mix of Experts) mit den Merkmalen eines wirtschaftlichen Trainings und einer effizienten Inferenz. Es besteht aus 236B Parametern, von denen 21B zur Aktivierung jedes Markers verwendet werden. Im Vergleich zu DeepSeek67B bietet DeepSeek-V2 eine stärkere Leistung, spart gleichzeitig 42,5 % der Trainingskosten, reduziert den KV-Cache um 93,3 % und erhöht den maximalen Generierungsdurchsatz auf das 5,76-fache. DeepSeek ist ein Unternehmen, das sich mit allgemeiner künstlicher Intelligenz beschäftigt

KAN, das MLP ersetzt, wurde durch Open-Source-Projekte auf Faltung erweitert KAN, das MLP ersetzt, wurde durch Open-Source-Projekte auf Faltung erweitert Jun 01, 2024 pm 10:03 PM

Anfang dieses Monats schlugen Forscher des MIT und anderer Institutionen eine vielversprechende Alternative zu MLP vor – KAN. KAN übertrifft MLP in Bezug auf Genauigkeit und Interpretierbarkeit. Und es kann MLP, das mit einer größeren Anzahl von Parametern ausgeführt wird, mit einer sehr kleinen Anzahl von Parametern übertreffen. Beispielsweise gaben die Autoren an, dass sie KAN nutzten, um die Ergebnisse von DeepMind mit einem kleineren Netzwerk und einem höheren Automatisierungsgrad zu reproduzieren. Konkret verfügt DeepMinds MLP über etwa 300.000 Parameter, während KAN nur etwa 200 Parameter hat. KAN hat eine starke mathematische Grundlage wie MLP und basiert auf dem universellen Approximationssatz, während KAN auf dem Kolmogorov-Arnold-Darstellungssatz basiert. Wie in der folgenden Abbildung gezeigt, hat KAN

Google ist begeistert: JAX-Leistung übertrifft Pytorch und TensorFlow! Es könnte die schnellste Wahl für das GPU-Inferenztraining werden Google ist begeistert: JAX-Leistung übertrifft Pytorch und TensorFlow! Es könnte die schnellste Wahl für das GPU-Inferenztraining werden Apr 01, 2024 pm 07:46 PM

Die von Google geförderte Leistung von JAX hat in jüngsten Benchmark-Tests die von Pytorch und TensorFlow übertroffen und belegt bei 7 Indikatoren den ersten Platz. Und der Test wurde nicht auf der TPU mit der besten JAX-Leistung durchgeführt. Obwohl unter Entwicklern Pytorch immer noch beliebter ist als Tensorflow. Aber in Zukunft werden möglicherweise mehr große Modelle auf Basis der JAX-Plattform trainiert und ausgeführt. Modelle Kürzlich hat das Keras-Team drei Backends (TensorFlow, JAX, PyTorch) mit der nativen PyTorch-Implementierung und Keras2 mit TensorFlow verglichen. Zunächst wählen sie eine Reihe von Mainstream-Inhalten aus

Hallo, elektrischer Atlas! Der Boston Dynamics-Roboter erwacht wieder zum Leben, seltsame 180-Grad-Bewegungen machen Musk Angst Hallo, elektrischer Atlas! Der Boston Dynamics-Roboter erwacht wieder zum Leben, seltsame 180-Grad-Bewegungen machen Musk Angst Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas tritt offiziell in die Ära der Elektroroboter ein! Gestern hat sich der hydraulische Atlas einfach „unter Tränen“ von der Bühne der Geschichte zurückgezogen. Heute gab Boston Dynamics bekannt, dass der elektrische Atlas im Einsatz ist. Es scheint, dass Boston Dynamics im Bereich kommerzieller humanoider Roboter entschlossen ist, mit Tesla zu konkurrieren. Nach der Veröffentlichung des neuen Videos wurde es innerhalb von nur zehn Stunden bereits von mehr als einer Million Menschen angesehen. Die alten Leute gehen und neue Rollen entstehen. Das ist eine historische Notwendigkeit. Es besteht kein Zweifel, dass dieses Jahr das explosive Jahr der humanoiden Roboter ist. Netizens kommentierten: Die Weiterentwicklung der Roboter hat dazu geführt, dass die diesjährige Eröffnungsfeier wie Menschen aussieht, und der Freiheitsgrad ist weitaus größer als der von Menschen. Aber ist das wirklich kein Horrorfilm? Zu Beginn des Videos liegt Atlas ruhig auf dem Boden, scheinbar auf dem Rücken. Was folgt, ist atemberaubend

KI untergräbt die mathematische Forschung! Der Gewinner der Fields-Medaille und der chinesisch-amerikanische Mathematiker führten 11 hochrangige Arbeiten an | Gefällt mir bei Terence Tao KI untergräbt die mathematische Forschung! Der Gewinner der Fields-Medaille und der chinesisch-amerikanische Mathematiker führten 11 hochrangige Arbeiten an | Gefällt mir bei Terence Tao Apr 09, 2024 am 11:52 AM

KI verändert tatsächlich die Mathematik. Vor kurzem hat Tao Zhexuan, der diesem Thema große Aufmerksamkeit gewidmet hat, die neueste Ausgabe des „Bulletin of the American Mathematical Society“ (Bulletin der American Mathematical Society) weitergeleitet. Zum Thema „Werden Maschinen die Mathematik verändern?“ äußerten viele Mathematiker ihre Meinung. Der gesamte Prozess war voller Funken, knallhart und aufregend. Der Autor verfügt über eine starke Besetzung, darunter der Fields-Medaillengewinner Akshay Venkatesh, der chinesische Mathematiker Zheng Lejun, der NYU-Informatiker Ernest Davis und viele andere bekannte Wissenschaftler der Branche. Die Welt der KI hat sich dramatisch verändert. Viele dieser Artikel wurden vor einem Jahr eingereicht.

Tesla-Roboter arbeiten in Fabriken, Musk: Der Freiheitsgrad der Hände wird dieses Jahr 22 erreichen! Tesla-Roboter arbeiten in Fabriken, Musk: Der Freiheitsgrad der Hände wird dieses Jahr 22 erreichen! May 06, 2024 pm 04:13 PM

Das neueste Video von Teslas Roboter Optimus ist veröffentlicht und er kann bereits in der Fabrik arbeiten. Bei normaler Geschwindigkeit sortiert es Batterien (Teslas 4680-Batterien) so: Der Beamte hat auch veröffentlicht, wie es bei 20-facher Geschwindigkeit aussieht – auf einer kleinen „Workstation“, pflücken und pflücken und pflücken: Dieses Mal wird es freigegeben. Eines der Highlights Der Vorteil des Videos besteht darin, dass Optimus diese Arbeit in der Fabrik völlig autonom und ohne menschliches Eingreifen während des gesamten Prozesses erledigt. Und aus Sicht von Optimus kann es auch die krumme Batterie aufnehmen und platzieren, wobei der Schwerpunkt auf der automatischen Fehlerkorrektur liegt: In Bezug auf die Hand von Optimus gab der NVIDIA-Wissenschaftler Jim Fan eine hohe Bewertung ab: Die Hand von Optimus ist der fünffingrige Roboter der Welt am geschicktesten. Seine Hände sind nicht nur taktil

FisheyeDetNet: der erste Zielerkennungsalgorithmus basierend auf einer Fischaugenkamera FisheyeDetNet: der erste Zielerkennungsalgorithmus basierend auf einer Fischaugenkamera Apr 26, 2024 am 11:37 AM

Die Zielerkennung ist ein relativ ausgereiftes Problem in autonomen Fahrsystemen, wobei die Fußgängererkennung einer der ersten Algorithmen ist, die eingesetzt werden. In den meisten Arbeiten wurde eine sehr umfassende Recherche durchgeführt. Die Entfernungswahrnehmung mithilfe von Fischaugenkameras für die Rundumsicht ist jedoch relativ wenig untersucht. Aufgrund der großen radialen Verzerrung ist es schwierig, die standardmäßige Bounding-Box-Darstellung in Fischaugenkameras zu implementieren. Um die obige Beschreibung zu vereinfachen, untersuchen wir erweiterte Begrenzungsrahmen-, Ellipsen- und allgemeine Polygondesigns in Polar-/Winkeldarstellungen und definieren eine mIOU-Metrik für die Instanzsegmentierung, um diese Darstellungen zu analysieren. Das vorgeschlagene Modell „fisheyeDetNet“ mit polygonaler Form übertrifft andere Modelle und erreicht gleichzeitig 49,5 % mAP auf dem Valeo-Fisheye-Kameradatensatz für autonomes Fahren

DualBEV: BEVFormer und BEVDet4D deutlich übertreffen, öffnen Sie das Buch! DualBEV: BEVFormer und BEVDet4D deutlich übertreffen, öffnen Sie das Buch! Mar 21, 2024 pm 05:21 PM

In diesem Artikel wird das Problem der genauen Erkennung von Objekten aus verschiedenen Blickwinkeln (z. B. Perspektive und Vogelperspektive) beim autonomen Fahren untersucht, insbesondere wie die Transformation von Merkmalen aus der Perspektive (PV) in den Raum aus der Vogelperspektive (BEV) effektiv ist implementiert über das Modul Visual Transformation (VT). Bestehende Methoden lassen sich grob in zwei Strategien unterteilen: 2D-zu-3D- und 3D-zu-2D-Konvertierung. 2D-zu-3D-Methoden verbessern dichte 2D-Merkmale durch die Vorhersage von Tiefenwahrscheinlichkeiten, aber die inhärente Unsicherheit von Tiefenvorhersagen, insbesondere in entfernten Regionen, kann zu Ungenauigkeiten führen. Während 3D-zu-2D-Methoden normalerweise 3D-Abfragen verwenden, um 2D-Features abzutasten und die Aufmerksamkeitsgewichte der Korrespondenz zwischen 3D- und 2D-Features über einen Transformer zu lernen, erhöht sich die Rechen- und Bereitstellungszeit.

See all articles