Die Universität Beihang überwindet modale Barrieren und führt eine universelle physische Gegenangriffsmethode für sichtbare und infrarote Modi ein.

In den letzten Jahren hat sich die Erforschung der Sicherheitsbewertung visueller Wahrnehmungssysteme schrittweise vertieft und die Technologie zur Sicherheitsbewertung im sichtbaren Lichtmodus basierend auf verschiedenen Trägern wie Brillen, Aufklebern, Kleidung usw. erfolgreich implementiert. Es gibt auch einige neue Versuche Ausrichtung auf Infrarot-Modi. Sie können jedoch nur in einem einzigen Modus arbeiten.

Mit der Entwicklung der Technologie der künstlichen Intelligenz wurde die thermische Infrarotbildgebungstechnologie mit sichtbarem Licht bei vielen sicherheitskritischen Aufgaben wie Sicherheitsüberwachung und autonomem Fahren eingesetzt. Unter anderem kann die Bildgebung mit sichtbarem Licht während der Fahrt umfangreiche Texturinformationen liefern Tagsüber kann die Infrarotbildgebung die Wärmestrahlungsverteilung des Ziels bei Nacht deutlich anzeigen. Die Kombination beider bringt viele Vorteile mit sich, wie z. B. eine 24-Stunden-Vollabdeckung und keine Umgebungseinschränkungen für das visuelle Wahrnehmungssystem. Daher muss auch dringend eine einheitliche Sicherheitsbewertungsmethode für multimodale visuelle Wahrnehmungssysteme untersucht werden.

Allerdings ist die multimodale Beurteilung äußerst herausfordernd. Erstens ist es schwierig, Angriffsmethoden unter verschiedenen Imaging-Mechanismen universell anzuwenden. Frühere Methoden wurden auf der Grundlage der Bildgebungseigenschaften spezifischer Zielmodalitäten vorgeschlagen und sind in anderen Modalitäten nur schwer anwendbar. Darüber hinaus ist es schwierig, Stealth-Leistung, Produktionskosten und flexible Anwendung in Einklang zu bringen. Es ist nicht einfach, sowohl im sichtbaren Licht als auch im schwierigeren Infrarotmodus wirksam zu sein, und noch schwieriger ist es, eine kostengünstige und bequeme Herstellung und Verwendung zu erreichen.

Angesichts vieler Herausforderungen untersuchten Forscher des Beihang Institute of Artificial Intelligence die gemeinsamen Formattribute zwischen sichtbarem Licht und Infrarotmodi und schlugen innovativ einen „kreuzmodalen universellen Gegenmaßnahmen-Patch“ vor, um eine unsichtbare Synchronisation zwischen sichtbarem Licht und Infrarot zu erreichen . Es werden Materialien ausgewählt, die leicht zu beschaffen und kostengünstig sind und hervorragende Wärmedämmeigenschaften aufweisen, um praktische, gebrauchsfertige Pflaster herzustellen. Es schließt nicht nur die Lücken in der Robustheitsbewertungstechnologie der multimodalen Erkennung von sichtbarem Licht und Infrarot Systeme in der aktuellen physischen Welt, berücksichtigt aber auch die Einfachheit und Unmittelbarkeit. Experimente haben die Wirksamkeit dieser Methode unter verschiedenen Erkennungsmodellen und -modalitäten sowie ihre Verallgemeinerung in mehreren Szenarien nachgewiesen. Derzeit wurde dieses Papier von ICCV 2023 angenommen.

Papier-Link: https://arxiv.org/abs/2307.07859

Code-Link: https://github.com/Aries-iai/Cross-modal_Patch_Attack

Technische Punkte

Diese Forschung verwendet den Evolutionsalgorithmus als Grundgerüst, basierend auf den drei Perspektiven Formmodellierung, Formoptimierung und Modalbalance, um Schemadesign und Effektverbesserung durchzuführen. Der spezifische Prozess ist wie in der Abbildung dargestellt:

1. Multi-Anker-Formmodellierung basierend auf Spline-Interpolation die Patchform durch Ändern der Punktkoordinaten. Bei diesem Vorgang wird die Bewegung des Ankerpunkts nicht durch Richtung, Entfernung usw. eingeschränkt, wodurch der Suchraum für Patchformen effektiv vergrößert wird. Um die Natürlichkeit der Form sicherzustellen, wird auf dieser Grundlage auch die Spline-Interpolationsmethode verwendet, um glatte Verbindungen zu erzielen, und die Splines folgen den Kontrollpunkten genauer.

2. Grenzbegrenzter Formoptimierungsalgorithmus basierend auf differenzieller Evolution

Die Implementierung von Angriffen erfordert effektive Optimierungsmethoden aus der Perspektive von Zeitkosten und praktischen Auswirkungen usw. Und Verbesserungen werden aus den beiden Perspektiven Grenzsetzung und Fitnessfunktion vorgenommen:

(1) Grenzsetzung: Die Grenzsetzung für Ankerpunkte verbessert die Wirksamkeit der Verformung und reduziert den Zeitaufwand. Es gibt die folgenden Einstellungen: Im Kurvensegment werden keine Schleifen oder Selbstüberschneidungen gebildet. Im ungültigen Bereich werden keine Scheitelpunkte angezeigt.

Am Beispiel des Ankerpunkts

ist der blaue Teil im Bild unten die Legende zur Grenzeinstellung und der orange Teil das Fehlerbeispiel:

Über die Grenzbestimmung des Ankerpunkts

Der mathematische Ausdruck lautet wie folgt:

(2) Fitnessfunktion: Im Gegensatz zu früheren Arbeiten, die nur Angriffe in einem einzigen Modus bewerten, konzentriert sich diese Arbeit auf die beiden Modi sichtbares Licht und Infrarot Es gibt natürlich Unterschiede in der Wirkung ausgeglichener Modi. Um das Extrem der einfachen Optimierung eines einzelnen Modus zu vermeiden, schlugen die Forscher daher innovativ eine modalübergreifende Fitnessfunktion vor, die auf der Wahrnehmung des Detektor-Konfidenzwerts basiert und die Erkundung erfolgreicher Richtungen fördert und gleichzeitig die Unterschiede in den Auswirkungen der beiden ausbalanciert Modi und schließlich das Überleben des Stärksten basierend auf Punktzahlen. Unter Berücksichtigung des Unterschieds in der Angriffsschwierigkeit zwischen der Anfangsphase und der späteren Phase wird eine Exponentialfunktion anstelle einer linearen Funktion verwendet, um den Unterschied im Angriffsfortschritt in den verschiedenen Phasen hervorzuheben. Der Algorithmus wiederholt den Erkundungsprozess, bis beide Modi erfolgreich angreifen und die optimale Formstrategie ausgibt.Der vollständige Optimierungsprozess läuft wie folgt ab:

Experimentelle Ergebnisse

Experiment 1: Überprüfung der modalen Angriffsleistung für verschiedene Detektorserien

Experiment 2: Ablationsexperiment für Form

Experiment 3: Ablationsexperiment für modalübergreifende Fitnessfunktion

Experiment 4: Robustheit der Methode Verifizierung unter physikalischer Umsetzungsabweichung

Experiment 5: Methodenvaliditätsverifizierung unter verschiedenen physikalischen Bedingungen

Visualisierte Ergebnisse der Leistungsüberprüfung unter verschiedenen Winkel, Abstände, Körperhaltungen und Szenarien

Zusammenfassung

Diese Arbeit basiert auf natürlicher Formoptimierung und kombiniert Deformationspatches mit der Kombination von modalübergreifenden Angriffen, a Es wird eine Methode zur multimodalen Robustheitsbewertung im sichtbaren Infrarotbereich in physischen Umgebungen entwickelt. Mit dieser Methode kann die Robustheit eines multimodalen (sichtbares Licht-Infrarot) Zielerkennungssystems bewertet, das Detektormodell basierend auf den Bewertungsergebnissen effektiv korrigiert und gleichzeitig die Genauigkeit der Zielbilderkennung sowohl im sichtbaren Licht als auch im Infrarot verbessert werden In der Physik kann es tatsächlich in der Umgebung implementiert und angewendet werden und zur Robustheitsbewertung und Verbesserung multimodaler Erkennungssysteme beitragen.

Das obige ist der detaillierte Inhalt vonDie Universität Beihang überwindet modale Barrieren und führt eine universelle physische Gegenangriffsmethode für sichtbare und infrarote Modi ein.. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!