Autonome Fahrzeuge sind auf verschiedene Sensoren angewiesen, um Informationen über die Umgebung zu sammeln. Da das Verhalten des Fahrzeugs umweltbewusst geplant wird, ist seine Zuverlässigkeit aus Sicherheitsgründen von entscheidender Bedeutung. Aktive Lidar-Sensoren sind in der Lage, genaue 3D-Darstellungen von Szenen zu erstellen, was sie zu einer wertvollen Ergänzung des Umweltbewusstseins autonomer Fahrzeuge macht. Die Leistung von LiDAR ändert sich bei widrigen Wetterbedingungen wie Nebel, Schnee oder Regen aufgrund von Lichtstreuung und Okklusion. Diese Einschränkung hat in letzter Zeit zu einer umfangreichen Forschung zu Methoden zur Abmilderung der Verschlechterung der Wahrnehmungsleistung geführt.
In diesem Artikel werden verschiedene Aspekte der LiDAR-basierten Umgebungserfassung zum Umgang mit widrigen Wetterbedingungen gesammelt, analysiert und diskutiert. Besprochen werden Themen wie die Verfügbarkeit geeigneter Daten, die Verarbeitung und Entrauschung von Rohpunktwolken, robuste Wahrnehmungsalgorithmen und Sensorfusion zur Minderung von durch widriges Wetter verursachten Mängeln. Darüber hinaus identifiziert das Papier die dringendsten Lücken in der aktuellen Literatur und zeigt vielversprechende Forschungsrichtungen auf.
LiDAR-Sensoren finden in letzter Zeit immer mehr Beachtung im Bereich des autonomen Fahrens [1]. Es liefert spärliche, aber genaue Tiefeninformationen und ist damit eine wertvolle Ergänzung zu eingehender untersuchten Sensoren wie Kameras und Radar. Ein Lidar-Sensor ist ein aktiver Sensor, das heißt er sendet Lichtimpulse aus, die von der Umgebung reflektiert werden. Der Sensor erfasst dann das reflektierte Licht und misst anhand der verstrichenen Zeit den Abstand zur Umgebung. Neben der Zeit können auch andere Eigenschaften ausgewertet werden, beispielsweise die Lichtmenge und die Signalausdehnung. In den meisten Fällen werden mechanische Komponenten mit mehreren Laserdioden kombiniert, um eine dünne Punktwolke der gesamten Szene zu erzeugen [1]. Es gibt verschiedene Sensoren auf dem Markt.
LiDAR-Sensoren haben bei widrigen Wetterbedingungen verschiedene Nachteile. Erstens kann es bei Temperaturen unter dem Gefrierpunkt zum Einfrieren des Sensors oder zu anderen mechanischen Komplikationen kommen. Für den Grad der Verschlechterung spielen interne und strukturelle Faktoren wie Sensorik, Modell und Montageort eine Rolle. Darüber hinaus kann widriges Wetter Intensitätswerte, Punktanzahlen und andere Punktwolkeneigenschaften beeinflussen (siehe Abbildung 1). Im Allgemeinen wird das emittierte Licht zurückgestreut oder umgelenkt, wenn aufgrund von Staub oder Unwettern Partikel in der Luft angetroffen werden. Dies führt zu verrauschten Abstands- und Reflexionsmessungen in der Punktwolke, da einige Laserimpulse vorzeitig zum Sensor zurückkehren oder in der Atmosphäre verloren gehen. Rauschen ist besonders schädlich, wenn Szenenerkennungsalgorithmen angewendet werden. In solchen sicherheitskritischen Anwendungsfällen ist die Aufrechterhaltung einer zuverlässig hohen Vorhersageleistung besonders wichtig. Daher sind Gegenmaßnahmen erforderlich, um die Verschlechterung der Lidar-Sensorleistung unter widrigen Wetterbedingungen zu minimieren oder zumindest die Einschränkungen des Sensors in realen Szenarien zu erkennen.
Die meisten hochmodernen Algorithmen basieren auf Deep-Learning-Algorithmen (DL), die auf großen Datenmengen basieren, um universelle Eigenschaften der Umgebung abzuleiten. Während es eine Forschungsrichtung gibt, die sich auf die unbeaufsichtigte Wahrnehmung konzentriert, erfordern die meisten neueren Arbeiten eine entsprechende Kennzeichnung von Rohdaten. Dazu gehören Begrenzungsrahmen zur Objekterkennung und punktweise Klassenbezeichnungen zur semantischen Segmentierung. Die manuelle Beschriftung spärlicher und verrauschter Punktwolken ist nicht nur schwierig, sondern auch kostspielig und fehleranfällig. Besonders interessant ist daher die Frage, wie man bestehende Punktwolken mit wetterspezifischem Rauschen simulieren bzw. anreichern kann.
Obwohl es umfangreiche Untersuchungen zur Analyse des Leistungsabfalls von Lidar-Sensoren unter extremen Wetterbedingungen gibt, fehlt eine umfassende Zusammenfassung zu algorithmischen Gegenmaßnahmen zur Verbesserung der Wahrnehmung. Darüber hinaus befassten sich Untersuchungen zum autonomen Fahren bei extremen Wetterbedingungen mit der wetterbedingten Sensorverschlechterung, identifizierten jedoch keine wetterbedingten Probleme, die speziell für Lidar-Sensoren gelten. In diesem Artikel werden verschiedene Methoden zur Bewältigung widriger Wetterbedingungen für die Lidar-Sensorik zusammengefasst und analysiert. Daher behandelt das Papier dieses Thema aus drei verschiedenen Perspektiven:
Abschließend fassen wir die fehlenden Lücken in der aktuellen Technologie und die vielversprechendsten Forschungsrichtungen zusammen.
Um ein DL-Modell für jede Art von Wahrnehmungsaufgabe zu trainieren, ist eine große Datenmenge erforderlich. Bei den noch vorherrschenden überwachten Methoden müssen diese Daten sogar durch automatisierte Etikettierungsmethoden oder manuell gekennzeichnet werden. In jedem Fall ist die Beschaffung genau gekennzeichneter, spärlicher LIDAR-Daten teuer und umständlich und wird zusätzlich erschwert, wenn die Rohpunktwolke durch wetterbedingtes Rauschen verfälscht wird.
Daher werden wertvolle Datensätze mit hochwertigen Labels benötigt. Im Allgemeinen gibt es drei Möglichkeiten, LIDAR-Punktwolken mit wettercharakteristischen Rauschmustern zu erhalten: reale Aufnahmen, erweiterte Punktwolken und simulierte Punktwolken. Die erste wurde mithilfe eines Testfahrzeugs mit geeigneter Sensorkonfiguration bei extremen Wetterbedingungen erstellt. Der letztere Ansatz erfordert physikalische Modelle oder DL-basierte Methoden, um Teile oder ganze Punktwolken zu erstellen.
Datensätze aus der realen Welt
Die meisten vorhandenen Datensätze für Lidar-Wahrnehmungsbenchmarks wurden unter günstigen Wetterbedingungen aufgezeichnet. Um die entwickelten Wahrnehmungsalgorithmen in der realen Welt nutzen zu können, muss der zugrunde liegende Datensatz alle Wetterbedingungen widerspiegeln. Neben klaren Wetterbedingungen gibt es umfangreiche Datensätze, die explizit Regen, Schnee und Nebel umfassen.
Tabelle I zeigt einen Überblick über öffentlich verfügbare Datensätze, die zur Untersuchung der Lidar-Wahrnehmung bei Unwettern verwendet werden. Die Datensätze wurden unter unterschiedlichen Bedingungen aufgenommen und variieren stark in der Größe. Die meisten davon wurden tatsächlich in realen Fahrszenarien aufgezeichnet, während zwei davon (teilweise) aus Wetterkammern stammten. Wetterkammern haben den Vorteil, dass sie eine vollständige Kontrolle über die Wetterbedingungen und die Umgebung, d. h. im Hinblick auf Hindernisse, haben. Dennoch spiegeln sie die realen Situationen nicht vollständig wider.
Darüber hinaus verwendet jeder Datensatz ein anderes Sensor-Setup. [27] speziell Benchmarking von Lidar-Herstellern und -Modellen unter extremen Wetterbedingungen. Zusätzlich zu LiDAR-Sensoren bieten alle Datensätze RGB-Kameraaufzeichnungen, und einige Datensätze umfassen sogar Radar-, Stereo-, Ereignis-, Gated- oder Infrarotkameras.
Diese Datensätze sollen verschiedene Wahrnehmungs- und Fahraufgaben autonomer Fahrzeuge lösen. Fast alle Sensorkonfigurationen (außer [21]) umfassen Positionierungs- und Bewegungssensoren, nämlich GPS/GNSS und IMU. Daher eignen sie sich zum Entwickeln und Testen von SLAM-Algorithmen. Alle Datensätze bieten Beschriftungen für die Objekterkennung oder punktweise Segmentierung, mit Ausnahme von [29], das nur Bewegungs-GT bereitstellt.
Schließlich enthalten alle Datensätze einige Metadaten zu den Wetterbedingungen. Dies ist entscheidend für die Entwicklung nahezu aller Arten von Wahrnehmungsmodellen bei extremen Wetterbedingungen. Zumindest für eine gründliche Überprüfung ist es von entscheidender Bedeutung, die Intensität und Art der umgebenden Wetterbedingungen zu verstehen. Nur ein Datensatz liefert punktuelle Wetterkennzeichnungen, nämlich Schneefall am Straßenrand und Schneeansammlung.
Der Vorteil eines Datensatzes, der aus realen Datensätzen besteht, besteht darin, dass er äußerst realistisch ist. Der Nachteil besteht darin, dass Beschriftungen für aufgezeichnete Szenen nur teilweise verfügbar sind (Punkt für Punkt) oder, wenn die Daten in einer Wetterkammer aufgezeichnet werden, auf komplexere reale Szenarien beschränkt sind. Die manuelle Punkt-für-Punkt-Beschriftung von LIDAR-Punktwolken unter widrigen Wetterbedingungen stellt eine besondere Herausforderung dar, da es in vielen Fällen unpraktisch ist, Störechos oder Rauschen vom tatsächlich reflektierten Signal zu unterscheiden.
Weather Augmentation
Die Ausweitung ungünstiger Wettereffekte auf vorhandene Datensätze bietet eine effiziente Möglichkeit, große Datenmengen zu generieren, anstatt neue Datensätze mühsam mit unterschiedlichen ungünstigen Wettereffekten zu sammeln und zu kennzeichnen. In der Regel werden physikalisch oder empirisch basierte Augmentationsmodelle verwendet, um bestimmte ungünstige Wettereffekte in Punktwolken mit klarem Wetter zu verstärken, unabhängig davon, ob sie aus der realen Welt oder aus Simulationen stammen. Dies ermöglicht es, Szenen zu erhalten, die durch wetterspezifisches Rauschen verfälscht sind, während alle interessanten Randfälle und Anmerkungen, die bereits im Datensatz vorhanden sind, erhalten bleiben.
Die Augmentationsmethode definiert die Zuordnung von klaren Wetterpunkten zu entsprechenden Punkten unter widrigen Wetterbedingungen. Zu diesem Zweck wird häufig auf das theoretische Lidar-Modell in [32] zurückgegriffen, das die Auswirkungen von ungünstigem Regen, Nebel und Schnee modelliert. Es modelliert die empfangene Intensitätsverteilung als lineares System, indem es den ausgesendeten Impuls mit der Szenenreaktion faltet. Die Szenenreaktion modelliert Reflexionen von festen Objekten sowie Rückstreuung und Dämpfung aufgrund von Unwettern.
Eine praktischere Nebelverbesserung wird in [9] eingeführt, die direkt auf Punktwolken angewendet werden kann. Sie basiert auf der maximalen Sichtweite, die eine Funktion der Messintensität, der Lidar-Parameter und der optischen Sichtweite bei Nebel ist. Wenn die Entfernung eines klaren Wetterpunkts geringer ist als die maximale Betrachtungsentfernung, erscheint ein zufälliger Streupunkt, oder der Punkt geht mit einer bestimmten Wahrscheinlichkeit verloren. Das Modell berücksichtigt Niederschläge, indem es Sichtbarkeitsparameter und Streuwahrscheinlichkeiten in Niederschlagsraten umwandelt.
Allerdings ignorieren diese Modelle die Strahldivergenz der ausgesendeten Lidar-Pulse, die zur Regenverstärkung berücksichtigt werden. Hier wird die Anzahl der Schnittpunkte eines überabgetasteten Strahls, der die Strahldivergenz simuliert, mit einem kugelförmigen Regentropfen berechnet. Wenn die Anzahl der Schnittpunkte einen bestimmten Schwellenwert überschreitet, wird ein Streupunkt hinzugefügt. Die Augmentationsmethode in [35] erweitert diesen Ansatz so, dass fehlende Punkte möglich sind. Darüber hinaus funktioniert es gut bei Schnee und Nebel.
Eine weitere Verbesserung für Nebel, Schnee und Regen wird in [36] eingeführt. Das Modell arbeitet im Leistungsbereich und verlässt sich beispielsweise nicht auf die Berechnung von Kreuzungspunkten wie die zuvor diskutierten Methoden. Darüber hinaus wird eine rechnerisch effizientere Strategie zur Abtastung der Streupunktentfernung verwendet, um die Strahldivergenz zu simulieren. Typischerweise vergleicht das Modell zunächst die von festen Objekten und zufällig ausgewählten Streukörpern reflektierte gedämpfte Leistung mit einem abstandsabhängigen Rauschschwellenwert. Streupunkte werden hinzugefügt, wenn ihre Kraft die Kraft des festen Objekts übersteigt. Liegt ein Punkt unterhalb der distanzabhängigen Rauschschwelle, geht der Punkt verloren.
Neben physikbasierten Modellen können auch empirische Modelle zur Erweiterung genutzt werden. Empirische Methoden zur Verbesserung des von anderen Fahrzeugen aufgewirbelten Sprühnebels finden sich in [38]. Im Mittelpunkt dieses Modells steht die Beobachtung aus speziellen Experimenten, dass Sprays in Clustern organisiert sind. Ein weiterer datengesteuerter Ansatz wird in [39] vorgeschlagen, der auf Sprühszenen aus dem Waymo-Datensatz basiert. In [40] wird eine rechenintensivere Spray-Enhancement-Methode vorgeschlagen, die auf einem Renderer mit einer Physik-Engine basiert.
Schließlich können DL-basierte Methoden zur Verbesserung ungünstiger Wetterbedingungen angewendet werden. In [41] wird, inspiriert von der Bild-zu-Bild-Übersetzung, eine auf generativen gegnerischen Netzwerken (GAN) basierende Methode vorgeschlagen, die in der Lage ist, Punktwolken von sonnigen in neblige oder regnerische Tage umzuwandeln. Sie verglichen ihre Ergebnisse qualitativ mit echten Nebel- und Regenwolken aus Wetterkammern.
Die Beurteilung der Qualität und des Realismus von Augmentationsmethoden ist jedoch eine Herausforderung. Einige Autoren nutzen Wetterkammern oder andere kontrollierte Umgebungen, um Vergleiche mit realen Wettereffekten zu ermöglichen. Darüber hinaus gilt eine Erweiterungsmethode im Allgemeinen als realistisch, wenn sie zur wahrgenommenen Leistung unter realen widrigen Wetterbedingungen beiträgt.
In diesem Abschnitt werden Methoden zum Umgang mit widrigen Wetterbedingungen vorgestellt, die auf Sensorik oder Punktwolken basieren, also unabhängig von der eigentlichen Erfassungsaufgabe. Daher analysiert das Papier die allgemeine sensorbezogene Wetterrobustheit und die Möglichkeit, den Grad der Leistungsverschlechterung in Abhängigkeit von den Wetterbedingungen abzuschätzen. Darüber hinaus gibt es zahlreiche Studien zur Entfernung von wetterbedingtem Rauschen aus Lidar-Punktwolken mithilfe klassischer Entrauschungsmethoden und DL.
Sensorbedingte Wetterrobustheit
Je nach Technologie, Ausstattung und Konfiguration sind verschiedene Lidar-Modelle mehr oder weniger von den Wetterbedingungen betroffen. Aufgrund von Augensicherheitseinschränkungen und der Unterdrückung von Umgebungslicht dominieren zwei Betriebswellenlängen von Lidar-Sensoren: 905 nm und 1550 nm, wobei 905 nm der am häufigsten verfügbare Sensor ist. Dies ist teilweise auf die bessere Leistung bei widrigen Wetterbedingungen zurückzuführen, d. h. auf eine geringere Absorption durch Regentropfen, ein besseres Reflexionsvermögen bei Schnee und eine geringere Verschlechterung bei Nebel. Für eine umfassende Diskussion der Lidar-Technologie und Wellenlängen unter extremen Wetterbedingungen verweisen wir auf [17].
Darüber hinaus wurde die Leistung von Full Waveform Lidar (FWL) unter extremen Wetterbedingungen untersucht. FWL misst nicht nur ein oder zwei Echos, sondern alle schwächeren Echos und misst so effektiv mehr Lärm, sammelt aber auch mehr Informationen über die Umgebung. Obwohl FWL hohe Rechenressourcen erfordert, hat es sich für die Analyse des umgebenden Mediums als nützlich erwiesen, was die Grundlage dafür bilden kann, selbst sich ändernde Bedingungen zu verstehen und dynamisch anzupassen.
Abschätzung der Sensorverschlechterung und Wetterklassifizierung
Da sich Lidar-Sensoren bei unterschiedlichen Wetterbedingungen unterschiedlich verschlechtern, ist die Schätzung des Grads der Sensorverschlechterung der erste Schritt bei der Verarbeitung beschädigter Lidar-Punktwolken. Bei der Entwicklung von Methoden zur besseren Identifizierung von Erfassungsgrenzen wurden Fortschritte erzielt, um zu verhindern, dass sich Fehlerkennungen auf nachgelagerte Aufgaben übertragen.
Erstens legen einige Studien zur Charakterisierung der Sensordegradation unter verschiedenen Wetterbedingungen eine solide Grundlage für die Kalibrierung und Weiterentwicklung von Sensoren bei extremen Wetterbedingungen, obwohl ihre Wetterklassifizierungsfähigkeiten noch nicht bewertet wurden. Die erste Arbeit zur tatsächlichen Simulation der Auswirkungen von Regenfällen auf Lidar-Sensoren wird in
[33] vorgestellt. Die Autoren schlagen ein mathematisches Modell vor, das aus der Lidar-Gleichung abgeleitet ist und eine Schätzung der Leistungsverschlechterung auf der Grundlage der Niederschlagsmenge und der maximalen Erfassungsreichweite ermöglicht.
In nachfolgenden Forschungsarbeiten wurde die Abschätzung der Sensorverschlechterung unter extremen Wetterbedingungen als Anomalieerkennungsaufgabe und Verifizierungsaufgabe formuliert. Ersteres verwendet ein DL-basiertes Modell, das darauf ausgelegt ist, eine latente Darstellung zu erlernen, die einen klaren LiDAR-Scan von einem verregneten LiDAR-Scan unterscheidet, wodurch das Ausmaß der Leistungsverschlechterung quantifiziert werden kann. Der letztere Ansatz schlägt die Verwendung von Reinforcement Learning (RL)-Modellen vor, um Fehler in Objekterkennungs- und -verfolgungsmodellen zu identifizieren.
Während die oben genannten Methoden darauf abzielen, die Verschlechterung der Sensorleistung selbst zu quantifizieren, konzentriert sich eine andere Reihe von Studien auf die Klassifizierung der Umgebungswetterbedingungen (d. h. klar, regnerisch, Nebel und Schnee). Zufriedenstellende Ergebnisse wurden mit Hilfe klassischer Methoden des maschinellen Lernens (k-nächste Nachbarn und Support-Vektor-Maschinen) erzielt, die auf handgefertigten Funktionen von LiDAR-Punktwolken basieren: [10] schlug einen Funktionssatz zur Durchführung einer punktweisen Wetterklassifizierung vor.
[51] entwickelte ein probabilistisches Modell für die Frame-für-Frame-Regression der Niederschlagsrate. In Zusammenarbeit mit Experten leiteten sie genaue Niederschlagsmengen aus LIDAR-Punktwolken ab.
Es ist zu beachten, dass die meisten Methoden auf Daten trainiert und ausgewertet werden, die von Wetterkammern gesammelt werden. Während die Fähigkeit, die Wetterbedingungen sorgfältig zu kontrollieren, eine hohe Reproduzierbarkeit ermöglicht, spiegeln die Daten oft nicht genau die realen Bedingungen wider. Um die Klassifizierungsfähigkeit jeder Methode zu bewerten, ist eine gründliche Untersuchung realer Daten erforderlich [50].
Punktwolken-Entrauschung
Wettereffekte spiegeln sich in LiDAR-Punktwolken als spezifische Rauschmuster wider. Wie in Abschnitt 1 erwähnt, können sie Einfluss auf Faktoren wie die Anzahl der Messungen in der Punktwolke und den maximalen Erfassungsbereich haben. Punktwolken können mit verschiedenen Methoden entrauscht werden, um eindeutige Messungen zu rekonstruieren, anstatt die Punktwolke mit wetterspezifischem Rauschen zu ergänzen. Zusätzlich zu den klassischen Filteralgorithmen sind kürzlich einige DL-basierte Entrauschungsarbeiten erschienen.
Neben der Anwendung von Wahrnehmungsaufgaben wie der Objekterkennung auf entrauschten Punktwolken sind Metriken wie Präzision (Erhaltung von Umgebungsmerkmalen) und Rückruf (Herausfiltern von wetterbedingtem Rauschen) entscheidend für die Bewertung der Leistung klassischer Filtermethoden. Um diese Metriken zu berechnen, sind Punkt-für-Punkt-Markierungen erforderlich, um Wetterkategorien wie Schneepartikel zu berücksichtigen.
Radius Outlier Removal (ROR) filtert Rauschen basierend auf der Nachbarschaft eines beliebigen Punktes. Bei Lidar-Messungen entfernter Objekte wird dies problematisch, da die Punktwolke von Natur aus dünner wird. Fortgeschrittene Methoden gehen dieses Problem an, indem sie den Schwellenwert basierend auf der Erfassungsentfernung dynamisch anpassen (Dynamic Radius Outlier Removal (DROR)) oder den durchschnittlichen Abstand zu den Nachbarn jedes Punkts in der Punktwolke berücksichtigen (Statistical Outlier Removal). Beide Verfahren weisen hohe Laufzeiten auf und sind daher für autonomes Fahren nahezu ungeeignet. Fast Clustering Statistical Outlier Removal (FCSOR) und Dynamic Statistical Outlier Removal (DSOR) schlagen beide Methoden vor, um die Rechenlast zu reduzieren und gleichzeitig Wetterartefakte aus Punktwolken zu entfernen.
Die Rauschunterdrückungsmethode von Lidar am Straßenrand basiert auf einem Hintergrundmodell historischer Daten (das zur Reparatur von Sensoren am Straßenrand verwendet werden kann) in Kombination mit den Grundprinzipien der klassischen Rauschunterdrückung zur Identifizierung dynamischer Punkte. [57] filterten Wettergeräusche von realen Objekten mithilfe von Intensitätsschwellen. Leider ist dies nicht ohne weiteres auf Lidar-Sensoren anwendbar, die an fahrenden Fahrzeugen montiert sind.
Im Gegensatz zu klassischen Entrauschungsmethoden ist die DL-basierte Lidar-Punktwolken-Entrauschung aufgrund der Fähigkeit des Modells, die zugrunde liegende Struktur des Wetterrauschens direkt zu verstehen, beliebt: Erstens wurden auf Convolutional Neural Network (CNN) basierende Modelle für eine effektive Wetterentrauschung verwendet. Durch die Verwendung zeitlicher Daten zur Differenzierung wird die wetterspezifische Rauschunterdrückung weiter genutzt, da sich Wetterrauschen natürlich häufiger ändert als der Szenenhintergrund oder sogar Objekte innerhalb der Szene. CNN-basierte Methoden (insbesondere Voxel-basierte Methoden) übertreffen klassische Entrauschungsmethoden hinsichtlich der Rauschfilterung. Da GPUs außerdem schneller rechnen, sind ihre Inferenzzeiten kürzer.
Zusätzlich zu überwachten CNN-Methoden sind auch unbeaufsichtigte Methoden wie CycleGANs in der Lage, verrauschte Punktwolkeneingaben in klare Lidar-Scans umzuwandeln. Ihre Natur ist jedoch immer noch verrauscht und die resultierenden Punktwolken lassen sich nur schwer auf ihre Authentizität überprüfen.
Obwohl es gute Bemühungen gibt, die durch widrige Wetterbedingungen verursachte Feldverschiebung zu reduzieren, gibt es mehrere Möglichkeiten, LiDAR-Wahrnehmungsmodelle unabhängig von der Datenqualität robuster zu machen Geräuschpegel. Hier gibt es drei Arbeitsabläufe: Nutzung der Sensorfusion, Verbesserung des Trainings durch Datenanreicherung mit wetterspezifischem Rauschen oder ein allgemeiner Ansatz zur Modellrobustheit gegenüber Domänenverschiebungen, um Leistungseinbußen auszugleichen. Es ist zu beachten, dass Sensorfusionsverfahren die einzigen sind, die neben der Objekterkennung auch mehrere Sensoraufgaben lösen können. Nach bestem Wissen der Arbeit gibt es keine Literatur zu anderen Wahrnehmungsaufgaben wie der semantischen Segmentierung.
Sensorfusion zur Bewältigung von Unwettern nutzen
Generell lässt sich sagen, dass jeder Sensor in der Sensorgruppe für autonomes Fahren seine Vor- und Nachteile hat. Die häufigsten Sensoren dieser Sensorgruppe sind RGB-Kameras, Radar und Lidar. Wie in Abschnitt 1 erwähnt, wird die Lidar-Wahrnehmung beeinträchtigt, wenn auf sichtbare Partikel in der Luft wie Staub, Regen, Schnee oder Nebel trifft. Die Kamera reagiert empfindlicher auf starken Lichteinfall und Halo-Effekte. Radar wiederum ist gegen beides immun, verfügt jedoch nicht über die Fähigkeit, statische Objekte und feine Strukturen zu erkennen. Daher ist es notwendig, verschiedene Sensoren zu verschmelzen, um ihre jeweiligen Mängel abzumildern und eine robuste Wahrnehmung unter verschiedenen Umgebungsbedingungen zu fördern.
Frühe Arbeiten zur Sensorfusion zur Bekämpfung der negativen Auswirkungen des Wetters auf die Sensorwahrnehmung konzentrierten sich auf die Entwicklung robuster Datenkorrelationsrahmen. Aktuelle Forschungsströme nutzen DL-basierte Methoden für eine robuste multimodale Wahrnehmung und befassen sich hauptsächlich mit der Frage der frühen versus späten Fusion, um Robustheit unter widrigen Wetterbedingungen zu erreichen.
Die Wahl der vorderen oder hinteren Fusion scheint von der Sensorauswahl, der Datendarstellung und der erwarteten Ausfallrate abzuhängen. Unter der Annahme, dass nicht alle fusionierten Sensoren im gleichen Ausmaß beeinträchtigt sind und mindestens einer von ihnen voll funktionsfähig ist, scheint die späte Fusion besser zu sein als die frühe Fusion. In diesem Fall ist das Modell in der Lage, den Sensorfluss selbstständig zu verarbeiten, sich auf funktionierende Sensoren zu verlassen und fehlerhafte Sensoren zu ignorieren. Stattdessen hilft die frühe Fusion von Radar- und Lidar-Tiefenkarten dabei, Fehlerkennungen zu filtern und saubere Scans zu erzielen.
Die Datendarstellung ist ein weiterer Faktor, der teilweise zur Beantwortung der Frage der frühen versus späten Fusion beiträgt. Die Vogelperspektive (BEV) von LiDAR-Sensoren erleichtert die Objekterkennung erheblich, indem sie die Auflösung von Objekten verbessert. Daher erleidet jedes Modell, das gelernt hat, sich auf die entsprechenden LIDAR-Funktionen zu verlassen, einen Leistungsverlust, wenn die LIDAR-Daten beschädigt sind. Der vollständige Sensorausfall konnte mithilfe eines Lehrer-Schüler-Netzwerks erfolgreich behoben werden.
Letztendlich basieren einige Sensorfusionsmethoden auf der Kombination früher und später Fusion in einem einzigen Modell und nutzen Konzepte wie zeitliche Daten und regionalbasierte Fusion [72] oder Aufmerksamkeitskarten [73]. Eine weitere Möglichkeit ist die in [21] vorgeschlagene Fusion der adaptiven Entropiekontrolle.
Neben der Vorhersageleistung sollte auch die Modelllaufzeit bei der Entwicklung neuer Wahrnehmungsmethoden berücksichtigt werden. [68] führten eine neue Metrik ein, die die Vorhersageleistung, die die räumliche Segmentierung vorantreibt, mit der Inferenzlaufzeit kombiniert. Interessanterweise erzielte das reine Lidar-Modell bei dieser Kennzahl die höchste Punktzahl.
Es besteht kein Zweifel daran, dass es praktisch ist, einen Sensorausfall bei widrigen Wetterbedingungen mit einem nicht betroffenen Sensor zu kompensieren. Wenn jedoch daran gearbeitet wird, die Wahrnehmung bei widrigen Wetterbedingungen ausschließlich mithilfe von Lidar zu verbessern, können sicherheitskritische Anwendungen wie das autonome Fahren zuverlässiger werden.
Verbesserung des Trainings durch Datenerweiterung
Während Datenerweiterung in DL-Trainingsstrategien weit verbreitet ist, ist die Erzeugung von wetterspezifischem Rauschen eine besondere Herausforderung. Abschnitt 2 stellt verschiedene Methoden zur Erzeugung spezifischer Wettergeräusche in Lidar-Punktwolken vor. Die Nutzung der Datenerweiterung während des Trainings von Wahrnehmungsmodellen ist ein radialer Ansatz zur Punktwolken-Entrauschung, der in III diskutiert wurde. Das Ziel besteht nicht darin, wetterbedingte Geräusche zu entfernen, sondern das Modell an genau diese Geräusche zu gewöhnen. Es hat sich gezeigt, dass die Wetterverstärkung im Hinblick auf die Robustheit wirksamer ist als die Rauschunterdrückung, was wertvolle Hinweise darauf liefert, welche Forschungsrichtungen in Zukunft im Vordergrund stehen sollten.
Im Allgemeinen haben einige Arbeiten die Vorteile einer solchen Datenerweiterung zur Trainingszeit durch die Auswertung dieser Daten in der Aufgabe 3D-Objekterkennung demonstriert.
Viele Arbeiten befassen sich mit dem Problem, den besten Feature-Extraktor für eine robuste Lidar-Wahrnehmung unter extremen Wetterbedingungen auszuwählen. Punktbasierte und voxelisierte Methoden scheinen zumindest im Hinblick auf die Objekterkennung weniger von verstärkten Wettereffekten betroffen zu sein, was darauf hindeutet, dass durch eine sorgfältige Auswahl von Wahrnehmungsmodellen eine gewisse Robustheit erreicht werden kann. Darüber hinaus scheint es eine Wechselwirkung zwischen der Modellarchitektur und durch Unwetter verursachten Punktwolkenschäden zu geben. Die in [4] vorgeschlagene Feuchtgebietserweiterung half nur einigen Modellen und zeigte, dass durch Strahlenstreuung verursachte Erkennungsprobleme je nach Modellarchitektur mehr oder weniger schwerwiegend sind.
Darüber hinaus scheinen die Größe und Form von Objekten eine Rolle beim Grad der Leistungsverschlechterung eines Erkennungsmodells zu spielen. Das bedeutet, dass kleinere und unterrepräsentierte Klassen, wie etwa die Radfahrerklasse im STF-Datensatz, anfälliger für Wetterveränderungen sind als besser repräsentierte Klassen, wie etwa Autos und Fußgänger. Daher ist die Anzahl der (klaren) annotierten Objekte im Trainingssatz ein guter Indikator für die Objekterkennungsleistung auch unter widrigen Wetterbedingungen. Dies zeigt, dass wettergestütztes Training nicht nur zur Verbesserung der Erkennungsleistung bei klarem Wetter beiträgt, sondern interessanterweise auch den gegenteiligen Effekt zu haben scheint.
Robuster Wahrnehmungsalgorithmus
Während Fusionsmethoden mit komplementären Sensoren den wetterbedingten Leistungsabfall jedes Sensors mildern können, können sie nur als Lösung für aktuelle praktische Probleme dienen. Änderungen der Wetterbedingungen können als Sonderfall der Domänenübertragung betrachtet werden, und daher können die zur Überbrückung der Domänenlücke entwickelten Methoden auf die Domänenübertragung von Wetter zu Wetter (z. B. Sonne/Nebel/Schnee) angewendet werden. [77] bieten einen umfassenden Überblick über adaptive Methoden im aktuellen Stand der Technik, befassen sich jedoch hauptsächlich mit Problemen im Zusammenhang mit unterschiedlichen Sensorauflösungen oder verfügbaren Daten und deren Bezeichnungen.
In [78] schlugen die Autoren eine Domänenübertragung von Datensatz zu Datensatz vor, die indirekt Wetteränderungen einschließt. Sie verwendeten eine Lehrer-Schüler-Umgebung zur Objekterkennung, bei der die Lehrer für Waymo Open (sonnige Tage) geschult wurden und Etiketten für teils Waymo Open und teils Kirkland (regnerische Tage) erstellten, während die Schüler in allen Etiketten geschult und auf Kirkland angewendet wurden. Interessanterweise schienen die Schüler die Zieldomäne besser zu verallgemeinern, was darauf hindeutet, dass sie mit Unwettern zurechtkamen. Es ist jedoch zu beachten, dass Domänenlücken nicht auf Änderungen zwischen Wetterbedingungen beschränkt sind und andere Faktoren wie Sensorauflösung und Kennzeichnungsstrategien wetterbedingte Lücken überdecken können. Die Autoren von
[79] schlugen eine robuste Objekterkennungspipeline vor, die einen Aufmerksamkeitsmechanismus und eine globale kontextbezogene Merkmalsextraktion umfasst und es dem Modell ermöglicht, wetterbedingte Geräusche zu ignorieren und gleichzeitig die gesamte Szene zu verstehen. Obwohl ihre Methode in beiden Domänen (KITTI, sonnig und CADC, regnerisch) gleichzeitig nicht gut funktioniert, liefert das gemeinsame Training auf Basis des maximalen Differenzverlusts vielversprechende Ergebnisse und schneidet sowohl in der Quell- als auch in der Zieldomäne gut ab. Auch hier ist unklar, welche Elemente des Modells auf Änderungen der Wetterbedingungen selbst zurückzuführen sind, da die Variation von Datensatz zu Datensatz sehr stark zu sein scheint.
[80] konzentriert sich auf die Minderung der wetterbedingten Sensorbeeinträchtigung von RGB-Kameras und Lidar. Obwohl sie die Sensorfusion (abgeleitet von der in [21] vorgeschlagenen Entropiefusion) sowie die Datenerweiterung von zwei Sensoren nutzen, fördern ihre Arbeiten stark die Verwendung einer Reihe von Methoden zur Überbrückung der Lücke mit mehreren unbekannten Zieldomänen zur Zielerkennung. Dies erreichen sie durch die Einführung von Domänendiskriminatoren und selbstüberwachtem Lernen durch Pre-Training-Strategien. Ihre Ergebnisse zeigen, dass sich ihre multimodale Multiobjekt-Domänenanpassungsmethode beispielsweise gut auf Nebelszenen übertragen lässt.
In diesem Umfragepapier skizziert dieses Papier die aktuellen Forschungsrichtungen in der Lidar-basierten Umgebungswahrnehmung für autonomes Fahren unter extremen Wetterbedingungen. Das Papier bietet eine eingehende Analyse und Diskussion der Verfügbarkeit von Trainingsdaten für Deep-Learning-Algorithmen, wahrnehmungsunabhängiger Punktwolkenverarbeitungstechniken zur Erkennung von Wetterbedingungen und zur Rauschunterdrückung von Lidar-Scans sowie modernste Methoden für eine robuste Lidar-Wahrnehmung . Im Folgenden werden die vielversprechendsten Forschungsrichtungen zusammengefasst und verbleibende Lücken identifiziert.
Ungünstige Wetterdaten: Es gibt mehrere autonome Fahrdatensätze einschließlich Lidar-Sensoren, die auch widrige Wetterbedingungen abdecken. Die meisten von ihnen bieten Objektbezeichnungen, aber nur eines verfügt über punktuelle Klassenbezeichnungen. Es ist klar, dass geeignete reale Datensätze benötigt werden, um die wachsende Zahl von Deep-Learning-basierten Lidar-Sensoralgorithmen zu trainieren und zu validieren. Einige Arbeiten verwenden wetterspezifische Datenanreicherung, um ungünstige Wettereffekte zu simulieren, es fehlt jedoch eine Methode zur Bewertung der Realitätsnähe der erzeugten Anreicherungen.
Punktwolkenverarbeitung und Rauschunterdrückung: Verschiedene Lidar-Technologien reagieren unterschiedlich auf widrige Wetterbedingungen. Während die Sensorverschlechterung unter extremen Wetterbedingungen intensiv untersucht wurde, mangelt es an einer systematischen Analyse der Auswirkungen auf Sensoralgorithmen. Hier werden Methoden zur Abschätzung der Sensordegradation nützlich sein. Darüber hinaus gibt es derzeit laufende Forschungen zum Cloud-Denoising, doch bestehende statistische Methoden haben sich als weniger effektiv erwiesen als die Verwendung von Methoden zur Wetterverstärkung im Training. Moderne Methoden, etwa auf Basis von CNNs oder GANs, könnten diese Lücke schließen.
Robuste Lidar-Sensorik: Viele Forschungsarbeiten konzentrieren sich auf die Eindämmung der Sensorverschlechterung mithilfe der Sensorfusion. Obwohl dies zu überzeugenden Ergebnissen führte, sollte die Verbesserung der Wahrnehmungsfähigkeiten allein durch Lidar bei widrigen Wetterbedingungen nicht übersehen werden. Ausgefeilte Domänenanpassungsmethoden wie Anomalieerkennung oder Unsicherheitsmodellierung können zur Lösung dieses Problems beitragen. Die Beobachtung des Vorhandenseins von wetterbedingtem Lärm in Lidar-Punktwolken aus einer anderen Perspektive könnte neue Forschungsströme eröffnen, die die durch widrige Wetterbedingungen verursachten Lücken im Feld schließen. Die Qualität der Untersuchung von Lücken in diesem Bereich lässt das Potenzial eines allgemeinen Ansatzes zur Domänenanpassung erkennen.
Das obige ist der detaillierte Inhalt vonLiDAR-Sensortechnologielösung unter extremen Wetterbedingungen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
Welche Fähigkeiten sind erforderlich, um in der PHP-Branche zu arbeiten?
Lösung für Socket-Fehler 10054
So verbinden Sie VB mit dem Zugriff auf die Datenbank
So kaufen und verkaufen Sie Bitcoin legal
Java-Mitgliedsvariablen
Vier Hauptmerkmale der Blockchain
So entfernen Sie die Firefox-Sicherheitssperre
himmelblaucmyk
