„AI Perspective Eye', dreifacher Marr-Preisträger Andrew, leitet ein Team, um das Problem der Okklusion und Vervollständigung eines beliebigen Objekts zu lösen

Okklusion ist eines der grundlegendsten, aber immer noch ungelösten Probleme in der Computer-Vision, da Okklusion das Fehlen visueller Informationen bedeutet, während maschinelle Vision-Systeme für die Wahrnehmung und das Verständnis auf visuelle Informationen angewiesen sind, und in der realen Welt zwischen Objekten Gegenseitige Okklusion ist überall. Die neueste Arbeit des Teams von Andrew Zisserman am VGG-Labor der Universität Oxford löste systematisch das Problem der Vervollständigung der Okklusion beliebiger Objekte und schlug einen neuen und genaueren Bewertungsdatensatz für dieses Problem vor. Diese Arbeit wurde von MPI-Chef Michael Black, dem offiziellen Account von CVPR, dem offiziellen Account des Department of Computer Science der University of Southern California usw. auf der X-Plattform gelobt. Das Folgende ist der Hauptinhalt des Papiers „Amodal Ground Truth and Completion in the Wild“.

• Papierlink: https://arxiv.org/pdf/2312.17247.pdf
• Projekthomepage: https://www.robots.ox.ac.uk/~vgg /research/amodal/
• Codeadresse: https://github.com/Championchess/Amodal-Completion-in-the-Wild

Die amodale Segmentierung dient dazu, das Objekt zu vervollständigen. Der verschlossene Teil ist das ist eine Formmaske, die die sichtbaren und unsichtbaren Teile des Objekts darstellt. Diese Aufgabe kann vielen nachgelagerten Aufgaben zugute kommen: Objekterkennung, Zielerkennung, Instanzsegmentierung, Bildbearbeitung, 3D-Rekonstruktion, Videoobjektsegmentierung, Unterstützung der Beziehungsbegründung zwischen Objekten, Robotermanipulation und -navigation, da bei diesen Aufgaben bekannt ist, dass das verdeckte Objekt vorhanden ist intakt Die Form wird helfen.

Allerdings ist die Bewertung der Leistung eines Modells für die nichtmodale Segmentierung in der realen Welt ein schwieriges Problem: Obwohl es in vielen Bildern eine große Anzahl verdeckter Objekte gibt, wie erhält man eine Referenz dafür? die vollständigen Formen dieser Objekte. Was ist mit Standard- oder nichtmodalen Masken? Frühere Arbeiten beinhalteten die manuelle Annotation nichtmodaler Masken, aber die Referenzstandards für eine solche Annotation lassen sich nur schwer vermeiden. Es gibt auch Arbeiten, bei denen synthetische Datensätze erstellt werden, z. B. das direkte Anhängen eines anderen Objekts an ein vollständiges Objekt vollständige Form des verdeckten Objekts, die so gewonnenen Bilder sind jedoch keine echten Bildszenen. Daher schlägt diese Arbeit eine Methode durch 3D-Modellprojektion vor, um einen großen realen Bilddatensatz (MP3D-Amodal) zu erstellen, der mehrere Objektkategorien abdeckt und amodale Masken bereitstellt, um die Leistung der amodalen Segmentierung genau zu bewerten. Der Vergleich verschiedener Datensätze ist wie folgt:

Konkret können wir am Beispiel des MatterPort3D-Datensatzes für jeden Datensatz mit echten Fotos und einer dreidimensionalen Struktur der Szene die Daten kombinieren aller Objekte in der Szene Die dreidimensionale Form wird gleichzeitig auf die Kamera projiziert, um die Modalmaske jedes Objekts (die sichtbare Form, da sich die Objekte gegenseitig verdecken) und dann die dreidimensionale Form jedes Objekts zu erhalten Die Szene wird separat auf die Kamera projiziert, um die nichtmodale Maske des Objekts, d. h. die vollständige Form, zu erhalten. Durch den Vergleich der modalen Maske und der nichtmodalen Maske können verdeckte Objekte herausgesucht werden.

Die Statistiken des Datensatzes lauten wie folgt:

Ein Beispiel des Datensatzes lautet wie folgt:

Lösen Sie die vollständige Form Rekonstruktionsaufgabe eines beliebigen Objekts. Der Autor extrahiert das Vorwissen über die vollständige Form des Objekts aus den Merkmalen des stabilen Diffusionsmodells, um eine nichtmodale Segmentierung jedes verdeckten Objekts durchzuführen. Die spezifische Architektur ist wie folgt (SDAmodal):

Die Motivation für den Vorschlag, die Stable Diffusion-Funktion zu verwenden, besteht darin, dass die Stable Diffusion die Fähigkeit hat, Bilder zu vervollständigen, sodass sie bis zu einem gewissen Grad alle Informationen über das Objekt enthalten kann, und weil die Stable Diffusion mit einem großen Umfang trainiert wurde Bei der Anzahl der Bilder kann davon ausgegangen werden, dass die Funktionen jedes Objekt in jeder Umgebung verarbeiten können. Im Gegensatz zu früheren zweistufigen Frameworks erfordert SDAmodal keine annotierten Okklusionsmasken als Eingabe; SDAmodal hat eine einfache Struktur, zeigt aber eine starke Fähigkeit zur Verallgemeinerung von Nullproben (vergleiche die Einstellungen F und H in der folgenden Tabelle, nur beim Training auf COCOA kann eine Verbesserung erzielt werden). auf einem anderen Datensatz in einer anderen Domäne und anderen Kategorien); selbst wenn es keine Annotation von verdeckten Objekten gibt, kann SDAmodal den vorhandenen Datensatz COCOA, der mehrere Arten von verdeckten Objekten abdeckt, und den neu vorgeschlagenen MP3D-Amodal-Datensatz verbessern. SOTA-Leistung (Einstellung H) wurde erreicht.

Neben quantitativen Experimenten spiegeln auch qualitative Vergleiche die Vorteile des SDAmodal-Modells wider: Aus der folgenden Abbildung (alle Modelle sind nur auf COCOA trainiert) lässt sich für verschiedene Arten von verdeckten Objekten erkennen, ob Unabhängig davon, ob es von COCOA oder einem anderen MP3D-Amodal stammt, kann SDAmodal den Effekt der nichtmodalen Segmentierung erheblich verbessern, und die vorhergesagte nichtmodale Maske kommt der realen näher.

Für weitere Einzelheiten lesen Sie bitte das Originalpapier.

Das obige ist der detaillierte Inhalt von„AI Perspective Eye', dreifacher Marr-Preisträger Andrew, leitet ein Team, um das Problem der Okklusion und Vervollständigung eines beliebigen Objekts zu lösen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!