악천후 조건에서의 LiDAR 감지 기술 솔루션

01 Abstract

자율주행차는 다양한 센서를 사용하여 주변 환경에 대한 정보를 수집합니다. 차량의 동작은 환경 인식을 바탕으로 계획되므로 안전상의 이유로 신뢰성이 매우 중요합니다. 능동형 LiDAR 센서는 장면을 정확하게 3D로 표현할 수 있어 자율주행차의 환경 인식에 귀중한 추가 요소가 됩니다. LiDAR 성능은 빛의 산란 및 폐색으로 인해 안개, 눈, 비와 같은 악천후 조건에서 변경됩니다. 이러한 제한으로 인해 최근 지각 성능 저하를 완화하는 방법에 대한 상당한 연구가 촉발되었습니다.

이 기사에서는 악천후에 대처하기 위한 LiDAR 기반 환경 감지의 다양한 측면을 수집, 분석 및 논의합니다. 적절한 데이터의 가용성, 원시 포인트 클라우드 처리 및 노이즈 제거, 강력한 인식 알고리즘, 악천후로 인한 결함을 완화하기 위한 센서 융합 등의 주제가 논의됩니다. 또한 이 논문은 현재 문헌에서 가장 시급한 격차를 확인하고 유망한 연구 방향을 식별합니다.

02 소개

LiDAR 센서는 최근 자율주행 분야에서 점점 더 많은 주목을 받고 있습니다[1]. 드물지만 정확한 깊이 정보를 제공하므로 카메라 및 레이더와 같이 더 깊이 연구된 센서를 보완하는 귀중한 도구가 됩니다. LiDAR 센서는 능동형 센서입니다. 즉, 환경에 의해 반사되는 빛의 펄스를 방출합니다. 그런 다음 센서는 반사된 빛을 포착하고 경과 시간을 기준으로 환경까지의 거리를 측정합니다. 시간 외에도 빛의 양, 신호의 길이 등 다른 특성을 평가할 수 있습니다. 대부분의 경우 전체 장면의 희박한 포인트 클라우드를 생성하기 위해 여러 레이저 다이오드와 결합된 기계 구성 요소가 있습니다[1]. 시중에는 다양한 센서가 있습니다.

LiDAR 센서는 악천후 조건에서 다양한 단점을 가지고 있습니다. 첫째, 영하의 온도에서는 센서 동결 또는 기타 기계적 합병증이 발생할 수 있습니다. 센서 기술, 모델, 장착 위치 등 내부 및 구조적 요인이 성능 저하 정도에 영향을 미칩니다. 또한 악천후는 강도 값, 포인트 수 및 기타 포인트 클라우드 특성에 영향을 미칠 수 있습니다(그림 1 참조). 일반적으로 먼지나 악천후로 인해 공기 중에 입자가 발생하면 방출된 빛이 후방 산란되거나 방향이 전환됩니다. 이로 인해 일부 레이저 펄스가 조기에 센서로 돌아오거나 대기 중에서 손실되기 때문에 포인트 클라우드에서 거리 및 반사율 측정 시 잡음이 발생합니다. 소음은 장면 이해 알고리즘을 적용할 때 특히 해롭습니다. 안전이 중요한 이 사용 사례에서는 안정적으로 높은 예측 성능을 유지하는 것이 특히 중요합니다. 따라서 악천후 조건에서 라이더 감지 성능 저하를 최소화하거나 최소한 실제 시나리오에서 센서의 한계를 감지하기 위한 대책이 필요합니다.

대부분의 최첨단 알고리즘은 환경의 보편적 특성을 도출하기 위해 대량의 데이터에 의존하는 딥 러닝(DL) 알고리즘에 의존합니다. 비지도 인식에 초점을 맞춘 일련의 연구가 있지만, 가장 최근의 연구에서는 원시 데이터에 상응하는 라벨링이 필요합니다. 여기에는 객체 감지를 위한 경계 상자와 의미론적 분할을 위한 포인트별 클래스 레이블이 포함됩니다. 희박하고 노이즈가 많은 포인트 클라우드에 수동으로 레이블을 지정하는 것은 어려울 뿐만 아니라 비용이 많이 들고 오류가 발생하기 쉽습니다. 따라서 날씨별 노이즈로 기존 포인트 클라우드를 시뮬레이션하거나 향상시키는 방법에 대한 질문은 특히 흥미롭습니다.

악천후에서 라이더 센서의 성능 저하를 분석하는 연구는 많지만, 인식 개선을 위한 알고리즘적 대책에 대한 종합적인 요약은 부족합니다. 또한 악천후에서의 자율 주행에 대한 조사에서는 기상으로 인한 센서 성능 저하를 해결했지만 LiDAR 센서와 관련된 기상 관련 문제는 확인하지 못했습니다. 이 기사에서는 LiDAR 감지를 위한 악천후 조건에 대처하는 다양한 방법을 요약하고 분석합니다. 따라서 이 논문에서는 세 가지 다른 관점에서 이 주제를 다룹니다.

• 데이터 가용성: 강력한 라이더 인식 알고리즘을 개발하기 위한 실제 및 합성 데이터 세트
• 포인트 클라우드 조작: 센서별 날씨 견고성 및 인식 독립적 포인트 클라우드 처리(예: 날씨 분류, 포인트 클라우드 노이즈 제거)
• 강력한 인식: 여러 센서를 융합하여 인식을 조정하거나 개선할 수 있는 강력한 인식 알고리즘으로, 훈련 중에 조정됩니다. 날씨로 인한 처리를 위한 모델의 전반적인 견고성 포인트 클라우드의 노이즈.

마지막으로 현재 기술에서 누락된 격차와 가장 유망한 연구 방향을 요약합니다.

03 악천후 데이터

모든 유형의 인식 작업에 대해 DL 모델을 훈련하려면 많은 양의 데이터가 필요합니다. 여전히 지배적인 감독 방법의 경우 이 데이터는 자동 라벨링 방법이나 수동으로 라벨을 지정해야 합니다. 어느 쪽이든, 정확하게 레이블이 지정된 희소 라이더 데이터를 얻는 것은 비용이 많이 들고 번거로우며, 원시 포인트 클라우드가 날씨로 인한 노이즈로 인해 손상되면 더욱 어려워집니다.

따라서 고품질 라벨이 포함된 귀중한 데이터세트가 필요합니다. 일반적으로 날씨 특성 노이즈 패턴이 있는 LiDAR 포인트 클라우드를 얻는 데는 실제 기록, 향상된 포인트 클라우드, 시뮬레이션 포인트 클라우드의 세 가지 옵션이 있습니다. 첫 번째는 악천후 조건에서 적절한 센서가 설치된 테스트 차량을 사용하여 생성되었습니다. 후자의 접근 방식에는 부분 또는 전체 포인트 클라우드를 생성하기 위한 물리적 모델 또는 DL 기반 방법이 필요합니다.

실제 데이터 세트

LiDAR 인식 벤치마크를 위한 대부분의 기존 데이터 세트는 유리한 기상 조건에서 기록되었습니다. 개발된 인식 알고리즘을 현실 세계에서 사용하려면 기본 데이터 세트가 모든 기상 조건을 반영해야 합니다. 맑은 날씨 외에도 비, 눈, 안개를 명시적으로 포함하는 광범위한 데이터 세트가 있습니다.

표 I은 악천후 조건에서 LiDAR 감지를 연구하는 데 사용되는 공개적으로 사용 가능한 데이터 세트의 개요를 보여줍니다. 데이터 세트는 다양한 조건에서 기록되었으며 크기도 크게 다릅니다. 그 중 대부분은 실제로 실제 운전 시나리오에서 기록되었으며, 그 중 두 개는 (부분적으로) 기상 관측소에서 기록되었습니다. 기상실은 기상 조건과 주변 환경(예: 장애물)을 완벽하게 제어할 수 있다는 장점이 있습니다. 그럼에도 불구하고 실제 상황을 완전히 반영하지는 않습니다.

또한 각 데이터세트는 서로 다른 센서 설정을 사용합니다. [27] 특히 악천후 조건에서 LiDAR 제조업체 및 모델을 벤치마킹했습니다. LiDAR 센서 외에도 모든 데이터 세트는 RGB 카메라 녹화를 제공하며 일부 데이터 세트에는 레이더, 스테레오, 이벤트, 게이트 또는 적외선 카메라도 포함됩니다.

이러한 데이터 세트는 자율 차량의 다양한 인식 및 운전 작업을 해결하도록 설계되었습니다. 거의 모든 센서 설정([21] 제외)에는 위치 확인 및 모션 센서, 즉 GPS/GNSS 및 IMU가 포함됩니다. 따라서 SLAM 알고리즘을 개발하고 테스트하는 데 적합합니다. 모션 GT만 제공하는 [29]를 제외한 모든 데이터 세트는 객체 감지 또는 점별 분할을 위한 레이블을 제공합니다.

마지막으로 모든 데이터 세트에는 기상 조건에 대한 일부 메타데이터가 포함되어 있습니다. 이는 악천후 조건에서 거의 모든 유형의 인식 모델을 개발하는 데 중요합니다. 적어도 철저한 검증을 위해서는 주변 기상 조건의 강도와 특성을 이해하는 것이 중요합니다. 단 하나의 데이터 세트만이 지점별 날씨 라벨, 즉 도로변 강설량 및 적설량을 제공합니다.

실제 기록으로 구성된 데이터 세트의 장점은 현실성이 높다는 것입니다. 단점은 기록된 장면의 레이블이 부분적으로만(점별로) 사용 가능하거나 데이터가 기상실에 기록된 경우 더 복잡한 실제 시나리오로 제한된다는 것입니다. 악천후 조건에서 LiDAR 점 구름을 수동으로 지점별로 라벨링하는 것은 많은 경우 실제 반사된 신호에서 클러터나 노이즈를 구별하는 것이 비현실적이기 때문에 특히 어렵습니다.

날씨 증강

악천후 효과를 기존 데이터 세트로 확장하면 지루하게 새로운 데이터 세트를 수집하고 다양한 악천후 효과로 레이블을 지정하는 대신 대량의 데이터를 생성하는 효율적인 방법을 제공합니다. 일반적으로 물리적 또는 경험적 기반 증강 모델은 실제 세계에서 구동하든 시뮬레이션에서 구동하든 관계없이 특정 악천후 효과를 맑은 날씨 포인트 클라우드로 보강하는 데 사용됩니다. 이를 통해 데이터 세트에 이미 존재하는 모든 흥미로운 엣지 케이스와 주석을 보존하면서 날씨 관련 소음으로 인해 손상된 장면을 얻을 수 있습니다.

증강 방법은 맑은 날씨 지점에서 악천후 조건의 해당 지점으로의 매핑을 정의합니다. 이를 위해 역비, 안개 및 눈의 영향을 모델로 하는 [32]의 이론적 LiDAR 모델을 자주 참조합니다. 방출된 펄스를 장면 응답과 컨볼루션하여 수신된 강도 분포를 선형 시스템으로 모델링합니다. 장면 반응은 고체 물체의 반사뿐만 아니라 악천후로 인한 후방 산란 및 감쇠를 모델링합니다.

포인트 클라우드에 직접 적용할 수 있는 보다 실용적인 안개 강화 기능이 [9]에 도입되었습니다. 이는 측정 강도, LiDAR 매개변수 및 안개에서의 광학 가시성의 함수인 최대 시야 범위를 기반으로 합니다. 맑은 날씨 지점의 거리가 최대 관측 거리보다 낮을 경우 무작위로 산란 지점이 나타나거나 일정 확률로 해당 지점이 사라지게 됩니다. 이 모델은 가시성 매개변수와 산란 확률을 강우량으로 변환하여 강우량을 수용합니다.

그러나 이러한 모델은 강우 강화로 간주되는 방출된 LiDAR 펄스의 빔 발산을 무시합니다. 여기서는 구형 빗방울과 빔 발산을 시뮬레이션하는 슈퍼샘플링 빔의 교차 수를 계산합니다. 교차점이 특정 임계값을 초과하면 분산점이 추가됩니다. [35]의 증대 방법은 누락된 점이 가능하도록 이 접근 방식을 확장합니다. 또한 눈과 안개 속에서도 잘 작동합니다.

안개, 눈, 비에 대한 또 다른 개선 사항이 [36]에 도입되었습니다. 모델은 전력 영역에서 작동하며, 예를 들어 이전에 논의한 방법과 같은 교차점 계산에 의존하지 않습니다. 또한, 계산적으로 더욱 효율적인 산란점 거리 샘플링 전략을 사용하여 빔 발산을 시뮬레이션합니다. 일반적으로 모델은 먼저 고체 물체와 무작위로 샘플링된 산란체에서 반사된 감쇠된 전력을 거리에 따른 소음 임계값과 비교합니다. 산점도의 힘이 고체 물체의 힘을 초과하는 경우 추가됩니다. 점이 거리 종속 노이즈 임계값보다 낮으면 해당 점이 손실됩니다.

물리 기반 모델 외에도 경험적 모델을 사용하여 향상시킬 수도 있습니다. 다른 차량에 의해 말려진 스프레이에 대한 경험적 향상 방법은 [38]에서 찾을 수 있습니다. 이 모델의 핵심은 스프레이가 클러스터로 구성된다는 전용 실험의 관찰입니다. Waymo 데이터 세트의 스프레이 장면에 의존하는 또 다른 데이터 기반 접근 방식이 [39]에서 제안되었습니다. [40]에서는 물리 엔진이 있는 렌더러에 의존하는 계산 비용이 더 많이 드는 스프레이 강화 방법이 제안되었습니다.

마지막으로 DL 기반 방법을 악천후 강화에 적용할 수 있습니다. [41]에서는 이미지 대 이미지 변환에서 영감을 받아 포인트 클라우드를 화창한 날에서 안개 또는 비오는 날로 변환할 수 있는 GAN(Generative Adversarial Network) 기반 방법을 제안했습니다. 그들은 결과를 기상 관측소의 실제 안개 및 비구름과 질적으로 비교했습니다.

그러나 증강 방법의 품질과 현실성을 평가하는 것은 어렵습니다. 일부 저자는 실제 날씨 효과와 비교할 수 있도록 기상 챔버 또는 기타 통제된 환경을 사용합니다. 또한 증강 방법은 실제 악천후 조건에서 인지된 성능에 기여하는 경우 일반적으로 현실적인 것으로 간주됩니다.

04 포인트 클라우드 처리 및 노이즈 제거

이 섹션에서는 실제 감지 작업과 별개로 센서 기술이나 포인트 클라우드를 기반으로 하는 악천후 조건을 처리하는 방법을 제시합니다. 따라서 본 논문에서는 일반적인 센서 관련 기상 견고성을 분석하고, 기상 조건에 따른 성능 저하 정도를 추정할 수 있는 가능성을 분석한다. 또한 고전적인 노이즈 제거 방법과 DL을 사용하여 LiDAR 포인트 클라우드에서 날씨로 인한 노이즈를 제거하는 방법에 대한 수많은 연구가 있습니다.

센서 관련 날씨 견고성

기술, 기능 및 구성에 따라 다양한 LiDAR 모델이 날씨 조건의 영향을 어느 정도 받습니다. 눈 안전 제한 및 주변광 억제로 인해 라이더 센서의 두 가지 작동 파장인 905nm와 1550nm가 지배적이며, 905nm가 가장 많이 사용되는 센서입니다. 이는 부분적으로 악천후 조건에서 더 나은 성능을 발휘하기 때문입니다. 즉, 빗방울에 의한 흡수율이 낮고, 눈 속에서 반사율이 향상되고, 안개 속에서 성능 저하가 적습니다. 악천후 조건에서 LiDAR 기술과 파장에 대한 포괄적인 논의는 [17]을 참조하십시오.

또한 악천후 조건에서의 FWL(Full Waveform LiDAR) 성능도 연구되었습니다. FWL은 한두 개의 에코뿐만 아니라 모든 약한 에코를 측정하여 더 많은 소음을 효과적으로 측정하는 동시에 주변 환경에 대한 더 많은 정보를 수집합니다. FWL은 높은 계산 리소스가 필요하지만 주변 매체를 분석하는 데 유용한 것으로 입증되었으며, 이는 변화하는 조건도 이해하고 동적으로 조정할 수 있는 기반을 제공할 수 있습니다.

센서 저하 예측 및 날씨 분류

LiDAR 센서는 날씨 조건에 따라 성능이 다르게 저하되므로 센서 성능 저하 정도를 추정하는 것이 손상된 LiDAR 포인트 클라우드를 처리하는 첫 번째 단계입니다. 잘못된 감지가 다운스트림 작업으로 전파되는 것을 방지하기 위해 감지 한계를 더 잘 식별하는 방법을 개발하는 데 진전이 있었습니다.

먼저, 다양한 기상 조건에서 센서 성능 저하를 특성화하는 일부 연구는 기상 분류 기능이 아직 평가되지 않았지만 악천후 조건에서 센서의 교정 및 추가 개발을 위한 견고한 기반을 마련합니다. LiDAR 센서에 대한 강우의 영향을 실제로 시뮬레이션하는 첫 번째 작업은

[33]에 나와 있습니다. 저자는 LiDAR 방정식에서 파생된 수학적 모델을 제안하고 강우량과 최대 감지 범위를 기반으로 성능 저하 추정을 허용합니다.

후속 연구에서는 악천후 하에서의 센서 성능 저하 추정을 이상 탐지 작업과 검증 작업으로 공식화했습니다. 전자는 명확한 LiDAR 스캔과 비오는 LiDAR 스캔을 구별하는 잠재 표현을 학습하여 성능 저하 정도를 정량화할 수 있도록 설계된 DL 기반 모델을 사용합니다. 후자의 접근 방식은 강화 학습(RL) 모델을 사용하여 객체 감지 및 추적 모델의 실패를 식별하는 것을 제안합니다.

위의 방법은 센서 성능 자체의 저하를 정량화하는 것을 목표로 하지만, 또 다른 일련의 연구는 주변 기상 조건(예: 맑음, 비, 안개 및 눈)의 분류에 중점을 둡니다. LiDAR 포인트 클라우드의 수작업 기능을 기반으로 한 고전적인 기계 학습 방법(k-최근접 이웃 및 지원 벡터 머신)의 도움으로 만족스러운 결과를 얻었습니다. [10]은 포인트별 날씨 분류를 수행하는 기능 세트를 제안했습니다.

[51]은 강우량의 프레임별 회귀에 대한 확률 모델을 개발했습니다. 그들은 전문가와 협력하여 LiDAR 포인트 클라우드에서 강우량을 정확하게 추론했습니다.

대부분의 방법은 기상 관측소에서 수집된 데이터를 바탕으로 훈련되고 평가된다는 점에 유의해야 합니다. 기상 조건을 신중하게 제어할 수 있으면 재현성이 높지만 데이터가 실제 조건을 정확하게 반영하지 못하는 경우가 많습니다. 각 방법의 분류 능력을 평가하기 위해서는 실제 데이터에 대한 철저한 연구가 필요하다[50].

포인트 클라우드 노이즈 제거

날씨 효과는 LiDAR 포인트 클라우드에 특정 노이즈 패턴으로 반영됩니다. 섹션 1에서 언급했듯이 포인트 클라우드의 측정 횟수 및 최대 감지 범위와 같은 요소에 영향을 미칠 수 있습니다. 포인트 클라우드는 날씨별 노이즈로 포인트 클라우드를 강화하는 대신 명확한 측정값을 재구성하는 다양한 방법으로 노이즈를 제거할 수 있습니다. 고전적인 필터링 알고리즘 외에도 일부 DL 기반 노이즈 제거 작업이 최근에 등장했습니다.

노이즈가 제거된 포인트 클라우드에서 객체 감지와 같은 인식 작업을 적용하는 것 외에도 정밀도(환경 특징 보존) 및 재현율(날씨로 인한 노이즈 필터링)과 같은 측정항목은 기존 필터링 방법의 성능을 평가하는 데 중요합니다. 이러한 측정항목을 계산하려면 눈 입자와 같은 날씨 범주를 설명하는 단계별 마커가 필요합니다.

Radius Outlier Removal(ROR)은 특정 지점 근처를 기준으로 노이즈를 필터링합니다. 이는 포인트 클라우드가 자연스럽게 희박해지기 때문에 멀리 있는 물체의 LiDAR 측정에 문제가 됩니다. 고급 방법은 감지 거리(DROR(동적 반경 이상값 제거))를 기반으로 임계값을 동적으로 조정하거나 포인트 클라우드에 있는 각 점의 이웃까지의 평균 거리를 고려(통계적 이상값 제거)함으로써 이 문제를 해결합니다. 두 방법 모두 실행 시간이 길어 자율 주행에 거의 부적합합니다. FCSOR(Fast Clustering Statistical Outlier Removal) 및 DSOR(Dynamic Statistical Outlier Removal)은 모두 포인트 클라우드에서 날씨 아티팩트를 제거하는 동시에 계산 부하를 줄이는 방법을 제안합니다.

노변 LiDAR의 노이즈 제거 방법은 동적 지점을 식별하기 위해 기존 노이즈 제거에 사용되는 기본 원리와 결합된 과거 데이터의 배경 모델(도로변 센서를 수정하는 데 사용할 수 있음)에 의존합니다. [57] 강도 임계값을 사용하여 실제 물체에서 날씨 소음을 필터링했습니다. 안타깝게도 이는 움직이는 차량에 장착된 LiDAR 센서에는 쉽게 적용할 수 없습니다.

전통적인 노이즈 제거 방법과 달리 DL 기반 LiDAR 포인트 클라우드 노이즈 제거는 날씨 소음의 기본 구조를 직접 이해하는 모델의 능력 때문에 널리 사용됩니다. 첫째, CNN(컨볼루션 신경망) 기반 모델은 효과적인 날씨 노이즈 제거에 사용되었습니다. 차별화를 위해 시간 데이터를 사용하면 날씨 관련 노이즈 제거를 더욱 활용할 수 있습니다. 왜냐하면 당연히 날씨 노이즈는 장면 배경이나 장면 내의 개체보다 더 자주 변하기 때문입니다. CNN 기반 방법(특히 복셀 기반 방법)은 노이즈 필터링 측면에서 기존 노이즈 제거 방법보다 성능이 뛰어납니다. 또한 GPU는 더 빠르게 계산하므로 추론 시간이 더 짧습니다.

지도 CNN 방법 외에도 CycleGAN과 같은 비지도 방법은 잡음이 있는 포인트 클라우드 입력을 명확한 LiDAR 스캔으로 변환할 수 있습니다. 그러나 그 특성은 여전히 ​​시끄럽고 결과로 생성된 포인트 클라우드의 진위 여부를 확인하기가 어렵습니다.

05 강력한 LiDAR 인식

악천후로 인한 현장 이동을 줄이기 위한 좋은 노력이 있지만, 악천후 조건에서 LiDAR 인식 모델을 더욱 강력하게 만들 수 있는 몇 가지 방법이 있습니다. 소음 수준. 여기에는 세 가지 워크플로우가 있습니다. 센서 융합 활용, 날씨별 노이즈를 사용한 데이터 증강을 통한 교육 강화, 성능 저하를 보상하기 위해 도메인 이동에 대한 모델 견고성에 대한 일반적인 접근 방식입니다. 센서 융합 방법은 물체 감지 외에 여러 감지 작업을 해결하는 유일한 방법이라는 점에 유의해야 합니다. 논문이 아는 한, 의미론적 분할과 같은 다른 지각 작업에 관한 문헌은 없습니다.

센서 융합을 이용한 악천후 대응

일반적으로 자율주행 센서군에 속한 각 센서에는 장단점이 있다고 할 수 있습니다. 이 센서 그룹에서 가장 일반적인 센서는 RGB 카메라, 레이더 및 LiDAR입니다. 섹션 1에서 언급했듯이, LiDAR 인식은 먼지, 비, 눈 또는 안개와 같은 눈에 보이는 공기 중의 입자를 만날 때 영향을 받습니다. 카메라는 강한 빛 입사 및 후광 효과에 더 민감합니다. 레이더는 두 가지 모두에 면역이지만 정적 물체와 미세 구조를 감지하는 능력은 부족합니다. 따라서 각각의 단점을 완화하고 다양한 환경 조건에서 강력한 인식을 촉진하기 위해 다양한 센서를 융합하도록 강제합니다.

견고한 데이터 상관 관계 프레임워크 개발에 초점을 맞춘 센서 인식에 대한 날씨의 악영향을 방지하기 위한 센서 융합에 대한 초기 작업입니다. 최근 연구 흐름은 강력한 다중 모드 인식을 위해 DL 기반 방법을 활용하고 주로 악천후 조건에서 견고성을 달성하기 위해 초기 핵융합과 후기 핵융합 문제를 다룹니다.

전면 또는 후면 융합의 선택은 센서 선택, 데이터 표현 및 예상 실패율에 따라 달라지는 것 같습니다. 융합된 모든 센서가 동일한 수준으로 저하되지 않고 그 중 적어도 하나가 완전히 기능한다고 가정하면 후기 융합이 조기 융합보다 나은 것으로 보입니다. 이 경우 모델은 센서 흐름을 독립적으로 처리할 수 있으며 작동 중인 센서에 의존하고 결함이 있는 센서를 무시할 수 있습니다. 대신 레이더와 LiDAR 깊이 맵을 조기에 융합하면 잘못된 감지를 필터링하여 깨끗한 스캔을 달성하는 데 도움이 됩니다.

데이터 표현은 초기 융합과 후기 융합 질문에 부분적으로 답하는 데 도움이 되는 또 다른 요소입니다. LiDAR 센서의 조감도(BEV)는 물체의 분해능을 향상시켜 물체 감지를 크게 촉진합니다. 따라서 각각의 LiDAR 기능에 의존하는 방법을 학습한 모든 모델은 LiDAR 데이터가 손상되면 성능 손실을 겪게 됩니다. 전체 센서 오류는 교사-학생 네트워크를 사용하여 성공적으로 해결되었습니다.

궁극적으로 일부 센서 융합 방법은 초기 및 후기 융합을 단일 모델로 결합하고 시간 데이터 및 지역 기반 융합[72] 또는 주의 지도[73]와 같은 개념을 활용하는 데 의존합니다. 또 다른 가능성은 [21]에서 제안된 적응형 엔트로피 제어의 융합이다.

새로운 인식 방법을 개발할 때는 예측 성능 외에도 모델 런타임도 고려해야 합니다. [68]은 공간 분할을 유도하는 예측 성능과 추론 런타임을 결합하는 새로운 측정 기준을 도입했습니다. 흥미롭게도 LiDAR 전용 모델이 이 지표에서 가장 높은 점수를 받았습니다.

영향을 받지 않는 센서로 악천후 조건에서 센서 고장을 보상하는 것이 편리하다는 것은 의심의 여지가 없습니다. 그러나 LiDAR만을 사용하여 악천후 조건에서 인식을 개선하기 위해 노력하면 자율 주행과 같이 안전이 중요한 애플리케이션의 신뢰성이 더욱 높아질 수 있습니다.

데이터 증강을 통한 훈련 강화

데이터 증강은 DL 훈련 전략에 널리 사용되지만 특히 어려운 점은 날씨 관련 소음의 생성입니다. 섹션 2에서는 LiDAR 포인트 클라우드에서 날씨별 노이즈를 생성하는 다양한 방법을 제시합니다. 지각 모델을 훈련하는 동안 데이터 확대를 활용하는 것은 III에서 논의한 포인트 클라우드 노이즈 제거에 대한 방사형 접근 방식입니다. 목표는 날씨로 인한 소음을 제거하는 것이 아니라 모델이 이 정확한 소음에 익숙해지도록 하는 것입니다. 견고성 측면에서 기상 개선이 잡음 제거보다 더 효과적인 것으로 나타났으며, 이는 향후 연구 방향이 강조되어야 하는 귀중한 힌트를 제공합니다.

일반적으로 일부 연구에서는 3D 개체 감지 작업에서 이러한 데이터를 평가하여 훈련 시 이러한 데이터 증대의 이점을 입증했습니다.

악천후 조건에서 강력한 LiDAR 인식을 위한 최상의 특징 추출기를 선택하는 문제를 다루는 많은 작업이 있습니다. 포인트 기반 및 복셀화된 방법은 적어도 객체 감지와 관련하여 강화된 날씨 효과의 영향을 덜 받는 것으로 보이며, 이는 지각 모델의 신중한 선택을 통해 어느 정도 견고성을 달성할 수 있음을 시사합니다. 또한 모델 아키텍처와 악천후로 인한 포인트 클라우드 손상 간에 상호 작용이 있는 것으로 보입니다. [4]에서 제안된 습지 확장은 일부 모델에만 도움이 되었으며, 광선 산란으로 인한 감지 문제는 모델 아키텍처에 따라 다소 심각하다는 것을 보여줍니다.

또한 물체의 크기와 모양은 모든 감지 모델의 성능 저하 정도에 영향을 미치는 것으로 보입니다. 이는 STF 데이터 세트의 자전거 타는 사람 클래스와 같이 더 작고 과소 대표되는 클래스가 자동차 및 보행자와 같이 더 잘 대표되는 클래스보다 날씨 개선에 더 취약하다는 것을 의미합니다. 따라서 훈련 세트에 있는 (명확한) 주석이 달린 객체의 수는 악천후 조건에서도 객체 감지 성능을 나타내는 좋은 지표입니다. 이는 날씨 증강 훈련이 맑은 날씨에서 탐지 성능을 향상시키는 데 도움이 될 뿐만 아니라 흥미롭게도 반대 효과도 있는 것으로 보입니다.

강력한 인식 알고리즘

상보적인 센서와의 융합 방식은 기상 조건으로 인한 각 센서의 성능 저하를 완화할 수 있지만 현재의 실질적인 문제에 대한 해결책 역할만 할 수 있습니다. 기상 조건의 변화는 도메인 이전의 특별한 경우로 간주될 수 있으므로 도메인 간격을 메우기 위해 개발된 방법은 날씨 간(예: 맑음/안개/눈) 도메인 이전에 적용될 수 있습니다. [77]은 현재 기술 수준의 적응형 방법에 대한 포괄적인 개요를 제공하지만 주로 다양한 센서 해상도 또는 사용 가능한 데이터 및 해당 레이블과 관련된 문제를 다룹니다.

[78]에서 저자는 날씨 변화를 간접적으로 포함하는 데이터세트 간 도메인 이전을 제안했습니다. 교사는 Waymo Open(맑은 날)에 대해 교육을 받고 일부 Waymo Open 및 일부 Kirkland(비오는 날)에 대한 라벨을 생성했으며 학생들은 모든 라벨에 대한 교육을 받고 Kirkland에 적용되는 객체 감지를 위해 교사-학생 설정을 사용했습니다. 흥미롭게도 학생들은 대상 지역에 대해 더 잘 일반화하는 것처럼 보였으며 이는 악천후에 대처할 수 있음을 나타냅니다. 그러나 도메인 격차는 기상 조건 간의 변화에만 국한되지 않으며 센서 해상도 및 라벨링 전략과 같은 기타 요소가 날씨로 인한 격차를 가릴 수 있다는 점에 유의해야 합니다.

[79]의 저자는 모델이 전체 장면을 이해하면서 날씨로 인한 소음을 무시할 수 있도록 주의 메커니즘과 전역 상황별 특징 추출을 포함하는 강력한 객체 감지 파이프라인을 제안했습니다. 그들의 방법은 두 도메인(KITTI, sunny 및 CADC, rain)에서 동시에 잘 수행되지 않지만 최대 차이 손실을 기반으로 한 공동 훈련은 유망한 결과를 낳고 소스 도메인과 대상 도메인 모두에서 잘 수행됩니다. 여기서도 데이터세트 간 변동이 매우 강한 것으로 나타나 모델의 어떤 요소가 기상 조건 자체의 변화에 ​​기인하는지 불분명합니다.

[80]은 RGB 카메라와 LiDAR의 날씨로 인한 센서 성능 저하를 완화하는 데 중점을 둡니다. 그들은 센서 융합([21]에서 제안된 엔트로피 융합에서 파생됨)과 두 센서의 데이터 증대를 활용하지만, 그들의 작업은 표적 탐지를 위해 알려지지 않은 여러 표적 도메인과의 격차를 해소하는 일련의 방법 사용을 강력하게 촉진합니다. 사전 훈련 전략을 통해 도메인 판별자와 자기 지도 학습을 도입하여 이를 달성합니다. 그들의 결과는 다중 모달, 다중 객체 도메인 적응 방법이 예를 들어 안개 장면에 잘 일반화된다는 것을 보여줍니다.

06 토론 및 결론

본 설문지에서는 가혹한 기상 조건에서 자율 주행을 위한 LiDAR 기반 환경 인식에 대한 현재 연구 방향을 간략하게 설명합니다. 이 논문에서는 딥 러닝 알고리즘을 위한 교육 데이터의 가용성, 기상 조건 감지 및 LiDAR 스캔 소음 제거를 위한 인식 독립적 포인트 클라우드 처리 기술, 강력한 LiDAR 인식을 위한 최첨단 방법에 대한 심층 분석 및 논의를 제공합니다. . 다음에서는 가장 유망한 연구 방향을 요약하고 남은 격차를 확인합니다.

악천후 데이터: 악천후 조건도 다루는 LiDAR 센서를 포함하여 여러 가지 자율 주행 데이터 세트가 있습니다. 대부분은 객체 레이블을 제공하지만 단 하나만 포인트별 클래스 레이블을 갖습니다. 분명히 점점 더 많은 딥 러닝 기반 LiDAR 감지 알고리즘을 훈련하고 검증하려면 적합한 실제 데이터 세트가 필요합니다. 일부 작업에서는 악천후 효과를 시뮬레이션하기 위해 날씨 관련 데이터 보강을 사용하지만 생성된 보강의 현실성을 평가하는 방법이 없습니다.

포인트 클라우드 처리 및 노이즈 제거: 다양한 라이더 기술이 악천후 조건에 다르게 반응합니다. 악천후 하에서의 센서 성능 저하가 집중적으로 연구되었지만 감지 알고리즘에 미치는 영향에 대한 체계적인 분석이 부족합니다. 여기서는 센서 성능 저하 추정 방법이 유용할 것입니다. 또한 현재 구름 노이즈 제거에 대한 연구가 진행 중이지만 기존 통계 방법은 훈련에서 날씨 증강 방법을 사용하는 것보다 덜 효과적인 것으로 입증되었습니다. CNN이나 GAN을 기반으로 하는 최신 방법은 이러한 격차를 해소할 수 있습니다.

강력한 LiDAR 감지: 많은 연구가 센서 융합을 통해 센서 성능 저하를 완화하는 데 중점을 두고 있습니다. 이로 인해 주목할만한 결과가 나왔지만 악천후 조건에서 LiDAR만 사용하여 인식 능력을 향상시키는 것도 간과해서는 안 됩니다. 이상 탐지나 불확실성 모델링과 같은 정교한 도메인 적응 방법이 이 문제를 해결하는 데 도움이 될 수 있습니다. 다른 관점에서 LiDAR 포인트 클라우드에서 날씨로 인한 소음의 존재를 관찰하면 악천후로 인해 발생하는 현장의 격차를 해소하는 새로운 연구 흐름이 열릴 수 있습니다. 이 영역의 격차를 조사하는 품질은 일반적인 영역 적응 접근 방식의 잠재력을 시사합니다.

위 내용은 악천후 조건에서의 LiDAR 감지 기술 솔루션의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!