안녕하세요 여러분, Heart of Autonomous Driving의 초대에 진심으로 감사드립니다. 여기서 우리의 작업을 여러분과 공유하게 되어 영광입니다.
첨단 운전 보조 시스템(ADAS) 및 자율 주행의 온라인 3D 다중 객체 추적(MOT) 기술 운전(AD)은 중요한 응용 가치를 가지고 있습니다. 최근 몇 년 동안 고성능 3차원 인식에 대한 업계의 요구가 지속적으로 증가함에 따라 온라인 3D MOT 알고리즘이 점점 더 광범위한 연구와 관심을 받고 있습니다. 4D 밀리미터파 레이더(4D 이미징 레이더라고도 함) 또는 라이더 포인트 클라우드 데이터의 경우 현재 ADAS 및 AD 분야에서 사용되는 대부분의 온라인 3D MOT 알고리즘은 포스트 기반 포인트 타겟 추적(TBD-POT) 프레임워크를 채택합니다. -탐지 추적 전략. 그러나 또 다른 중요한 MOT 프레임워크인 JDT-EOT(관절 탐지 및 추적 전략) 기반 확장 객체 추적은 ADAS 및 AD 분야에서 완전히 연구되지 않았습니다. 이 기사에서는 처음으로 실제 온라인 3D MOT 애플리케이션 시나리오에서 TBD-POT, JDT-EOT 및 제안된 TBD-EOT 프레임워크의 성능을 체계적으로 논의하고 분석합니다. 특히, 본 논문에서는 VoD(View-of-Delft) 및 TJ4DRadSet 두 데이터 세트의 4D 이미징 레이더 포인트 클라우드 데이터에 대한 세 가지 프레임워크의 SOTA 구현 성능을 평가하고 비교합니다. 실험 결과에 따르면 기존 TBD-POT 프레임워크는 계산 복잡성이 낮고 추적 성능이 높다는 장점이 있으며 동시에 3D MOT 작업의 첫 번째 선택으로 사용할 수 있습니다. 이 기사에서 제안한 TBD-EOT 프레임워크는 다음과 같습니다. 특정 시나리오에서 TBD-EOT를 능가하는 능력이 있습니다. POT 프레임워크의 잠재력. 최근 학계의 주목을 받고 있는 JDT-EOT 프레임워크가 ADAS 및 AD 시나리오에서 성능이 좋지 않다는 점은 주목할 가치가 있습니다. 이 기사에서는 다양한 성능 평가 지표를 기반으로 위의 실험 결과를 분석하고 실제 응용 시나리오에서 알고리즘 추적 성능을 향상시킬 수 있는 솔루션을 제공합니다. 4D 이미징 레이더 기반의 온라인 3D MOT 알고리즘에 대해 위 연구는 ADAS 및 AD 분야 최초의 성능 벤치마크 테스트를 제공하고 이러한 알고리즘의 설계 및 적용에 대한 중요한 관점과 제안을 제공합니다
온라인 3D 다중 객체 추적(MOT)은 첨단 운전자 지원 시스템(ADAS) 및 자율 주행(AD)의 중요한 구성 요소입니다. 최근에는 센서 및 신호처리 기술의 발달로 카메라, 라이다, 레이더 등 다양한 형태의 센서를 기반으로 한 온라인 3D MOT 기술이 큰 주목을 받고 있다. 다양한 센서 중 레이더는 극한 조명 및 악천후 조건에서 작동할 수 있는 유일한 저가형 센서로 인스턴스 분할, 표적 탐지, MOT 등의 센싱 작업에 널리 사용되어 왔습니다. 그러나 기존 자동차 레이더는 범위와 도플러 속도로 표적을 효과적으로 구별할 수 있지만 레이더 측정의 낮은 각도 분해능은 여전히 표적 탐지 및 다중 표적 추적 알고리즘의 성능을 제한합니다. 기존 자동차 레이더와 달리 최근 등장한 MIMO 기술을 기반으로 한 4D 이미징 레이더는 표적의 거리, 속도, 방위각, 피치 각도 정보를 측정할 수 있어 레이더 기반 3D MOT에 대한 새로운 개발 가능성을 제공합니다.
3D MOT 알고리즘의 설계 패러다임은 모델 기반과 딥러닝 기반의 두 가지 범주로 나눌 수 있습니다. 모델 기반 설계 패러다임은 효율적이고 신뢰할 수 있는 3D MOT 방법을 개발하는 데 적합한 신중하게 설계된 다목적 동적 모델과 측정 모델을 사용합니다. 일반적인 모델 기반 MOT 프레임워크 중 탐지-사후 추적 전략을 사용하는 포인트 타겟 추적 프레임워크는 학계와 업계에서 널리 수용되고 있습니다. 포인트 타겟 추적 프레임워크에서는 각 타겟이 한 번의 센서 스캔에서 하나의 측정 포인트만 생성한다고 가정합니다. 그러나 LiDAR 및 4D 이미징 레이더의 경우 타겟은 한 번의 스캔에서 여러 측정 포인트를 생성하는 경우가 많습니다. 따라서 표적 추적을 수행하기 전에 먼저 동일한 표적에서 여러 번 측정한 내용을 표적 탐지기를 통해 표적 탐지 프레임과 같은 탐지 결과로 처리해야 합니다. 실제 라이더 포인트 클라우드 데이터를 기반으로 한 많은 3D MOT 작업에서 탐지 후 추적 프레임워크의 효율성이 검증되었습니다.
또 다른 모델 기반 MOT 프레임워크로 JDT(관절 탐지 및 추적) 전략을 사용하는 확장된 대상 추적(EOT), 최근 학계에서 큰 주목을 받았습니다. POT와 달리 EOT는 대상이 한 번의 센서 스캔으로 여러 측정값을 생성할 수 있다고 가정하므로 JDT를 구현할 때 추가 대상 감지 모듈이 필요하지 않습니다. 관련 연구에서는 JDT-EOT가 실제 LiDAR 포인트 클라우드 및 자동차 레이더 감지 포인트 데이터에서 단일 대상을 추적할 때 우수한 성능을 달성할 수 있다고 지적했습니다. 그러나 복잡한 ADAS 및 AD 시나리오의 온라인 3D MOT 작업의 경우 실제 데이터를 사용하여 EOT를 평가하는 연구는 거의 없으며 이러한 연구에서는 ADAS/AD에 대해 다양한 유형의 대상에 대한 EOT 프레임워크의 MOT 성능을 자세히 평가하지 않습니다. 널리 인정되는 성능 지표를 사용한 실험 결과에 대한 체계적인 분석은 없습니다. 이 기사의 연구는 EOT 프레임워크가 복잡한 ADAS 및 AD 시나리오에 적용될 수 있고 기존 TBD-POT 프레임워크보다 더 나은 추적 성능 및 컴퓨팅 효율성을 달성할 수 있는지 여부에 대한 포괄적인 평가 및 분석을 통해 처음으로 이 공개 질문에 대답하려고 시도합니다. 이 기사의 주요 내용은 다음과 같습니다.
이 섹션에서는 다음 그림과 같이 TBD-POT, JDT-EOT 및 TBD-EOT를 포함하여 4D 이미징 레이더 포인트 클라우드 데이터에 대한 온라인 3D MOT를 위한 세 가지 알고리즘 프레임워크를 소개합니다.
재작성된 내용: A. 프레임워크 1: 탐지 후 추적 전략을 사용한 지점 표적 추적(미정 - 지점 표적 추적) 
TBD-POT 프레임워크는 다양한 센서 수용을 기반으로 하는 MOT 연구에서 널리 사용되었습니다. 이 추적 프레임워크에서 4D 이미징 레이더 포인트 클라우드는 먼저 표적 탐지기에 의해 처리되어 3D 탐지 프레임을 생성하고 표적 위치, 탐지 프레임 크기, 방향, 표적 범주, 탐지 점수 및 기타 정보와 같은 정보를 제공합니다. 계산을 단순화하기 위해 POT 알고리즘은 일반적으로 직각 좌표계의 2차원 목표 위치를 측정값으로 선택하고 조감도(BEV)에서 MOT를 수행합니다. 추정된 목표 위치는 3D 감지 프레임의 다른 정보와 결합되어 최종 3D 추적 결과를 얻습니다. TBD-POT 프레임워크에는 두 가지 주요 장점이 있습니다. 1) POT 알고리즘은 추적 성능을 향상시키기 위해 대상 유형 및 탐지 점수와 같은 추가 정보를 활용할 수 있습니다. 2) POT 알고리즘은 일반적으로 EOT 알고리즘보다 계산이 덜 복잡합니다. 우리는 LiDAR 기반 온라인 3D MOT 작업에서 SOTA 성능을 달성하는 POT 알고리즘으로 GNN-PMB(Global Nearest Neighbor Poisson Multi-Bernoulli Filter)를 선택합니다. GNN-PMB는 PMB 밀도를 전파하여 다중 대상 상태를 추정합니다. 여기서 감지되지 않은 대상은 PPP(Poisson Point Process)로 모델링되고 감지된 대상은 MB(Multi-Bernoulli) 밀도로 모델링됩니다. 데이터 연관은 로컬 및 글로벌 가정을 관리하여 달성됩니다. 매 순간 측정값은 이미 추적된 대상, 새로 감지된 대상 또는 잘못된 경보와 연관되어 다양한 지역 가설을 형성할 수 있습니다. 호환 가능한 로컬 가정은 모든 현재 목표와 측정값 간의 관계를 설명하는 전역 가정에 통합됩니다. 여러 전역 가설을 계산하고 전파하는 PMBM(Poisson Multi-Bernoulli Mixture) 필터와 달리 GNN-PMB는 최적의 전역 가설만 전파하므로 계산 복잡성이 줄어듭니다. 요약하면, 이 논문에서 연구된 최초의 온라인 3D MOT 프레임워크는 딥 러닝 기반 표적 탐지기와 GNN-PMB 알고리즘
B을 결합합니다. 프레임워크 2: 공동 탐지 및 추적 전략(JDT-EOT)을 사용한 확장된 표적 추적첫 번째 프레임워크 TBD-POT와 달리 JDT-EOT 프레임워크는 여러 대상을 동시에 탐지하고 추적하여 4D 이미징 레이더 포인트 클라우드를 직접 처리할 수 있습니다. 먼저 포인트 클라우드를 클러스터링하여 가능한 측정 분할(포인트 클러스터)을 형성한 다음 EOT 알고리즘은 이러한 포인트 클러스터를 사용하여 3D MOT를 수행합니다. 이론적으로 포인트 클라우드는 전처리된 3D 탐지 프레임보다 더 풍부한 정보를 갖고 있기 때문에 이 프레임워크는 표적 위치와 모양을 더 정확하게 추정하고 놓친 표적 탐지를 줄일 수 있습니다. 그러나 클러터가 많은 4D 영상 레이더 포인트 클라우드의 경우 정확한 측정 구분을 생성하기가 어렵습니다. 서로 다른 대상의 포인트 클라우드의 공간 분포도 다를 수 있으므로 JDT-EOT 프레임워크는 일반적으로 가능한 한 많은 측정 분할을 생성하기 위해 서로 다른 매개변수 설정과 결합된 DBSCAN 및 k-평균과 같은 여러 클러스터링 알고리즘을 사용합니다. 이는 EOT의 계산 복잡성을 더욱 증가시키고 이 프레임워크의 실시간 성능에 영향을 미칩니다. 이 기사에서는 JDT-EOT 프레임워크를 구현하기 위해 GGIW(Gamma Gaussian Inverse Wishart) 분포를 기반으로 하는 PMBM 필터를 선택합니다. GGIW-PMBM 필터는 SOTA 추정 정확도와 계산 복잡도를 갖춘 EOT 알고리즘 중 하나입니다. PMBM 필터가 선택된 이유는 알고리즘이 MBM(Multi-Bernoulli Mixture) 밀도를 사용하여 대상을 모델링하고 레이더 측정의 높은 불확실성에 더 잘 대처할 수 있는 여러 전역 가정을 전파하기 때문입니다. GGIW 모델은 대상에서 생성된 측정 지점의 수가 푸아송 분포를 따르고 단일 측정은 가우스 분포를 따른다고 가정합니다. 이 가정 하에서 각 대상의 모양은 역 Wishart(IW) 밀도로 설명되는 타원이며, 타원의 장축과 단축을 사용하여 대상의 직사각형 윤곽선을 형성할 수 있습니다. 이 형상 모델링은 상대적으로 간단하고 다양한 유형의 대상에 적합하며 기존 EOT 알고리즘 구현 중에서 계산 복잡성이 가장 낮습니다.
C. 프레임워크 3: 탐지 후 추적 전략을 사용한 확장 객체 추적(TBD-EOT)EOT 프레임워크에서 딥러닝 객체 탐지기를 활용하기 위해 우리는 세 번째 MOT 프레임워크인 TBD-EOT를 제안합니다. 완전한 포인트 클라우드에 클러스터링되는 JDT-EOT 프레임워크와 달리 TBD-EOT 프레임워크는 클러스터링 전에 먼저 타겟 3D 감지 프레임 내에서 유효한 레이더 측정 포인트를 선택합니다. 이러한 측정 포인트는 타겟에서 나올 가능성이 높습니다. JDT-EOT와 비교하여 TBD-EOT 프레임워크에는 두 가지 장점이 있습니다. 첫째, 클러터로 인해 발생할 수 있는 측정 지점을 제거함으로써 EOT 알고리즘의 데이터 연관 단계의 계산 복잡도가 크게 줄어들고 오탐지 횟수도 줄어들 수 있습니다. 둘째, EOT 알고리즘은 탐지기에서 파생된 정보를 활용하여 추적 성능을 더욱 향상시킬 수 있습니다. 예를 들어, 다양한 대상 카테고리에 대해 서로 다른 추적 매개변수를 설정하고, 감지 점수가 낮은 대상 감지 프레임을 삭제하는 등의 작업을 수행합니다. TBD-EOT 프레임워크는 배포 시 TBD-POT과 동일한 대상 탐지기를 사용하고 GGIW-PMBM을 EOT 필터로 사용합니다.
A. 데이터 세트 및 평가 지표
이 글은 VoD 데이터 세트의 0, 8, 12, 18번 시퀀스와 0, 10번 시퀀스에 있습니다. TJ4DRadSet 3개의 MOT 프레임워크 중 23, 31, 41개가 자동차, 보행자 및 자전거 카테고리에서 평가되었습니다. TBD-POT 및 TBD-EOT 프레임워크에 입력된 표적 탐지 결과는 4D 이미징 레이더 포인트 클라우드의 SOTA 표적 탐지기 중 하나인 SMURF에서 제공됩니다. JDT-EOT는 타겟 유형 정보를 얻을 수 없기 때문에 GGIW-PMBM 알고리즘의 상태 추출 과정에서 타겟의 모양과 크기를 기반으로 카테고리를 결정하는 휴리스틱 타겟 분류 단계를 추가했습니다.
이 기사의 후속 평가에서는 MOTA, MOTP, TP, FN, FP 및 IDS를 포함하여 일반적으로 사용되는 MOT 성과 지표 세트를 선택했습니다. 또한 새로운 MOT 성능 지표인 HOTA(고차 추적 정확도)도 적용했습니다. HOTA는 탐지 정확도(DetA), 연관 정확도(AssA), 위치 정확도(LocA) 하위 지표로 분해될 수 있어 MOT 성능을 보다 명확하게 분석하는 데 도움이 됩니다.
추적 프레임워크 성능 비교 내용을 다시 작성해야 합니다.
VoD 데이터 세트에서 세 가지 MOT 프레임워크인 SMURF + GNN-PMB, GGIW-PMBM 및 SMURF + GGIW의 알고리즘 구현에 대해 매개변수 튜닝이 수행되었습니다. -PMBM. 그 성능은 다음 표와 같습니다.
TJ4DRadSet 데이터 세트의 각 알고리즘 성능은 다음 표와 같습니다.
1) GGIW-PMBM의 성능
실험 결과는 다음과 같습니다. 그 GGIW-PMBM 성능이 예상보다 낮습니다. 추적 결과에는 다수의 FP와 FN이 포함되어 있으므로 세 가지 범주에 대한 GGIW-PMBM의 탐지 정확도가 낮습니다. 이러한 현상의 원인을 분석하기 위해 분류되지 않은 추적 결과를 이용하여 아래 표와 같이 TP와 FN을 계산하였다. 세 가지 범주에서 TP의 수가 크게 증가한 것을 볼 수 있으며, 이는 GGIW-PMBM이 실제 목표 위치에 가까운 추적 결과를 생성할 수 있음을 나타냅니다. 그러나 아래 그림과 같이 GGIW-PMBM이 추정한 대부분의 표적은 길이와 너비가 유사하여 휴리스틱 표적 분류 단계에서 표적 크기에 따라 표적 유형을 효과적으로 구분하지 못하여 추적 성능에 부정적인 영향을 미칩니다.
두 데이터 세트에서 GGIW-PMBM의 성능 차이를 추가로 분석했습니다. TJ4DRadSet 데이터세트에서 보행자와 자전거 타는 사람의 MOTA 측정항목은 VoD 데이터세트의 측정항목보다 훨씬 낮습니다. 이는 GGIW-PMBM이 TJ4DRadSet에서 더 많은 잘못된 궤적을 생성한다는 것을 나타냅니다. 이러한 현상이 발생하는 이유는 아래 그림과 같이 TJ4DRadSet 데이터세트에 도로 양쪽의 장애물에 대한 더 많은 측정값이 포함되어 있기 때문일 수 있습니다. 대부분의 도로변 장애물은 고정되어 있으므로 이 문제는 클러스터링 전에 방사 속도가 낮은 레이더 측정 지점을 제거하면 개선될 수 있습니다. TJ4DRadSet은 아직 자율주행차 모션 데이터를 공개하지 않았기 때문에 이 기사에서는 추가적인 실험적 증거를 제공하지 않습니다. 그럼에도 불구하고 유사한 처리 단계가 고정된 표적의 레이더 포인트 클라우드에도 영향을 미쳐 이러한 표적이 올바르게 추적되지 않을 가능성이 높아지는 것으로 추측할 수 있습니다. 전반적으로 GGIW-PMBM은 실제 4D에서 제대로 작동하지 못했습니다. 이미징 레이더 포인트 클라우드의 우수한 성능은 표적 탐지기가 제공하는 추가 정보가 없으면 알고리즘이 휴리스틱 방법을 통해 추적 결과의 범주를 판단하거나 포인트 클라우드를 표적 및 배경 클러터와 구별하기가 어렵다는 것입니다.
2) SMURF + GNN-PMB 및 SMURF + GGIW-PMBM의 성능
SMURF+GNN-PMB 및 SMURF+GGIW-PMBM은 모두 물체 감지기의 정보를 활용합니다. 실험 결과에 따르면 자동차 카테고리에서 전자의 성능이 후자보다 훨씬 더 나은 것으로 나타났는데, 이는 주로 후자가 자동차 목표에 대한 위치 정확도가 낮기 때문입니다. 이 현상의 주된 이유는 포인트 클라우드 분포 모델링의 오류입니다. 아래 그림과 같이 차량 표적의 경우 레이더 포인트 클라우드가 레이더 센서에 더 가까운 쪽에 밀집되는 경향이 있습니다. 이는 측정 지점이 대상 표면에 균일하게 분포되어 SMURF + GGIW-PMBM으로 추정된 대상 위치와 모양이 실제 값에서 벗어나게 한다는 GGIW 모델의 가정과 일치하지 않습니다. 따라서 차량과 같은 대형 표적을 추적할 때 가우스 프로세스와 같은 보다 정확한 표적 측정 모델을 사용하면 TBD-EOT 프레임워크가 더 나은 성능을 달성하는 데 도움이 될 수 있지만 이로 인해 알고리즘의 계산 복잡성이 증가할 수도 있습니다
우리는 또한 자전거 타는 사람 카테고리에서 SMURF + GGIW-PMBM과 SMURF + GNN-PMB 사이의 성능 격차가 줄어들었고 보행자 카테고리에서는 전자의 HOTA 지수가 후자보다 훨씬 더 우수하다는 것을 알 수 있습니다. 또한 SMURF+GGIW-PMBM은 보행자 및 자전거 카테고리에 대한 IDS 수가 적습니다. 이러한 현상의 원인은 다음과 같습니다. 첫째, GGIW-PMBM은 추정된 GGIW 밀도를 기반으로 표적의 탐지 확률을 적응적으로 계산합니다. 상관 가설. 점의 수와 공간 분포. 보행자 및 자전거 타는 사람과 같은 작은 대상의 경우 레이더 포인트가 대상 표면에 보다 고르게 분포되어 있으며 GGIW 모델 가정과 더 일치합니다. 따라서 SMURF + GGIW-PMBM은 포인트 클라우드의 정보를 사용하여 탐지를 보다 정확하게 추정할 수 있습니다. 확률 및 관련 가설 가능성을 통과하여 경로 중단 및 잘못된 상관 관계를 줄여 위치 지정, 상관 관계 및 ID 유지 관리 성능을 향상시킵니다.
이 문서에서는 4D 이미징 레이더 포인트 클라우드를 기반으로 하는 온라인 3D MOT 작업에서 POT 및 EOT 프레임워크의 성능을 비교합니다. 우리는 VoD 및 TJ4DRadSet 데이터 세트의 자동차, 보행자 및 자전거 타는 사람 카테고리에서 세 가지 프레임워크인 TBD-POT, JDT-EOT 및 TBD-EOT의 추적 성능을 평가합니다. 결과는 전통적인 TBD-POT 프레임워크가 여전히 효과적이며 알고리즘 구현 SMURF+GNN-PMB가 자동차 및 자전거 타는 사람 카테고리에서 가장 좋은 성능을 발휘한다는 것을 보여줍니다. 그러나 JDT-EOT 프레임워크는 클러터 측정을 효과적으로 제거할 수 없어 측정 구분 가정이 너무 많아 GGIW-PMBM의 성능이 만족스럽지 않습니다. 본 논문에서 제안한 TBD-EOT 프레임워크에서 SMURF + GGIW-PMBM은 보행자 카테고리에서 최고의 상관관계 및 위치 정확도를 달성하고, 보행자 및 자전거 카테고리에서 신뢰할 수 있는 ID 추정을 달성하여 TBD-POT 프레임워크 잠재력 이상의 성능을 보여줍니다. . 그러나 SMURF + GGIW-PMBM은 불균일하게 분포된 레이더 포인트 클라우드를 효과적으로 모델링할 수 없으므로 차량 표적에 대한 추적 성능이 저하됩니다. 따라서 향후에는 보다 현실적이고 계산 복잡도가 낮은 확장된 대상 모델에 대한 추가 연구가 필요합니다
다시 작성해야 할 내용은 다음과 같습니다. 원본 링크: https://mp.weixin.qq. com/s/ZizQlEkMQnlKWclZ8Q3iog
위 내용은 4D 이미징 레이더와 3D 다중 표적 추적을 결합하는 방법은 무엇입니까? TBD-EOT가 답이 될 수 있습니다!의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
