ICLR'24 사진 없는 새로운 아이디어! LaneSegNet: 차선 분할 인식 기반 지도 학습

앞서 작성 및 작성자의 개인적 이해

자율주행 시스템의 하류 적용을 위한 핵심 정보로 지도는 일반적으로 차선이나 중앙선으로 표시됩니다. 그러나 기존의 지도 학습 문헌은 주로 차선의 기하학적 기반 위상 관계를 탐지하거나 중심선을 감지하는 데 중점을 두고 있습니다. 두 방법 모두 차선과 중앙선 사이의 고유한 관계, 즉 차선이 중앙선을 묶는다는 점을 무시합니다. 단순히 하나의 모델에서 두 가지 유형의 차선을 예측하는 것은 학습 목표에서 상호 배타적이지만, 본 논문에서는 기하학적 정보와 위상적 정보를 완벽하게 결합하는 새로운 표현으로 차선 분할을 제안하여 LaneSegNet을 제안합니다. 이는 도로 구조의 완전한 표현을 얻기 위해 차선 세그먼트를 생성하는 최초의 엔드투엔드 매핑 네트워크입니다. LaneSegNet에는 두 가지 주요 수정 사항이 있습니다. 하나는 장거리 기능 공간 내에서 주요 영역 세부 정보를 캡처하는 데 사용되는 차선 주의 모듈입니다. 다른 하나는 참조점의 동일한 초기화 전략으로, 차선 주의를 위한 위치 사전 학습을 향상시킵니다. OpenLane-V2 데이터 세트에서 LaneSegNet은 지도 요소 감지(+4.8 mAP), 차선 중앙선 인식(+6.9 DETl) 및 새로 정의된 차선 세그먼트 인식(+5.6 mAP)이라는 세 가지 작업에서 이전의 유사한 제품에 비해 상당한 이점을 가지고 있습니다. 또한 14.7FPS의 실시간 추론 속도를 달성했습니다.

오픈 소스 링크: https://github.com/OpenDriveLab/LaneSegNet

요약하면 이 기사의 주요 기여는 다음과 같습니다.

• 이 기사에서는 새로운 차선 세그먼트 인식을 새로운 지도로 소개합니다. 학습 공식 . 기하학적 요소와 토폴로지 요소가 포함되어 있습니다. 우리는 이것이 현장에 새로운 통찰력을 가져다 주기를 바랍니다.
• 본 논문에서는 차선 구간 인식을 위해 제안된 엔드투엔드 네트워크인 LaneSegNet을 제안합니다. 장거리 주의를 포착하기 위한 머리-영역 메커니즘을 갖춘 차선 주의 모듈과 차선 주의 이전에 위치를 향상시키기 위한 기준점에 대한 동일한 초기화 전략을 포함하여 두 가지 새로운 수정 사항이 제안되었습니다.

관련 작업 검토

중앙선 인식: 차량 탑재 센서 데이터의 중앙선 인식(본 논문의 차선 지도 학습과 동일)이 최근 큰 주목을 받고 있습니다. STSU는 중앙선을 감지하기 위해 DETR과 유사한 네트워크를 제안한 다음, 연결성을 결정하기 위해 MLP(다층 퍼셉트론) 모듈을 제안했습니다. STSU를 기반으로 Can et al.은 겹치는 행의 올바른 순서를 보장하기 위해 추가적인 최소 루프 쿼리를 도입했습니다. CenterLineDet은 중심선을 정점으로 취급하고 모방 학습을 통해 훈련된 그래프 업데이트 모델을 설계합니다. 테슬라가 차선 지도를 문장으로 표현하기 위해 '차선 언어'라는 개념을 제안했다는 점은 주목할 만하다. 주의 기반 모델은 차선 표시와 연결성을 반복적으로 예측합니다. 이러한 분할 방법 외에도 LaneGAP에서는 추가 변환 알고리즘을 사용하여 차선 지도를 복구하는 경로 방법도 도입합니다. TopoNet은 완전하고 다양한 주행 장면 그래프를 목표로 하고, 네트워크 내 중앙선의 연결성을 명시적으로 모델링하고, 교통 요소를 작업에 통합합니다. 본 연구에서는 차선 그래프를 구성하기 위해 세그먼트 방법을 채택합니다. 그러나 차선 세그먼트를 중심선을 차선 그래프의 꼭지점으로 삼는 대신 차선 세그먼트를 모델링하는 이전 방법과 달리 세그먼트 수준의 기하학적 정보와 의미 정보를 편리하게 통합할 수 있습니다.

지도 요소 감지: 이전 작업에서는 투영 오류를 극복하기 위해 지도 요소 감지를 카메라 평면에서 3D 공간으로 끌어올리는 데 주의를 기울였습니다. BEV 감지의 대중적인 추세에 따라 최근 연구는 분할 및 벡터화 방법을 사용하여 HD 지도를 학습하는 데 중점을 둡니다. 지도 분할은 차선, 횡단보도, 운전 가능 구역과 같은 각 순수 BEV 그리드의 의미를 예측합니다. 이들 작품은 주로 투시도(PV)에서 BEV로의 변환 모듈이 다릅니다. 그러나 분할된 맵은 다운스트림 모듈에서 사용되는 직접적인 정보를 제공할 수 없습니다. HDMapNet은 복잡한 후처리를 통해 분할 맵을 그룹화하고 벡터화하여 이 문제를 처리합니다.

촘촘한 분할은 픽셀 수준의 정보를 제공하지만 여전히 겹치는 요소의 복잡한 관계를 건드릴 수는 없습니다. VectorMapNet은 차선 위치를 순차적으로 디코딩하기 위해 대략적인 키포인트를 사용하여 각 지도 요소를 일련의 점으로 직접 표현할 것을 제안합니다. MapTR은 모델링 모호성을 제거하고 성능과 효율성을 향상시키기 위해 통합 순열 기반 포인트 시퀀스 모델링 접근 방식을 탐색합니다. PivotNet은 중복성을 줄이고 정확도를 높이기 위해 앙상블 예측 프레임워크에서 피벗 기반 표현을 사용하여 매핑 요소를 추가로 모델링합니다. StreamMapNet은 다지점 주의 및 시간 정보를 활용하여 원격 지도 요소 감지의 안정성을 향상시킵니다. 실제로 벡터화는 차선의 방향 정보를 풍부하게 하기 때문에 벡터화 기반 방법은 교대 감독을 통해 중앙선 인식에 쉽게 적용할 수 있습니다. 이 작업에서 우리는 도로의 모든 HD 지도 요소에 대해 통합되고 배우기 쉬운 표현인 차선 분할을 제안합니다.

LaneSegNet에 대한 자세한 설명

차선 분할 인식 작업 설명

Lane Segment의 인스턴스에는 도로의 기하학적, 의미적 측면이 포함되어 있습니다. 기하학의 경우 벡터화된 중앙선과 해당 차선 경계로 구성된 선분으로 표현될 수 있습니다. 각 선은 3D 공간에서 순서가 지정된 점 모음으로 정의됩니다. 또는 해당 차선 내에서 주행 가능한 영역을 정의하는 닫힌 다각형으로 형상을 설명할 수 있습니다.

의미 측면에서 보면 차선 구간 카테고리 C(예: 차선 구간, 횡단보도)와 왼쪽/오른쪽 차선 경계의 선 스타일(예: 보이지 않음, 실선, 점선): {}가 포함됩니다. 이러한 세부 정보는 자율 주행 차량에 감속 요구 사항과 차선 변경 가능성에 대한 중요한 통찰력을 제공합니다.

또한 토폴로지 정보는 경로 계획에 중요한 역할을 합니다. 이 정보를 표현하기 위해 Lane Segment에 대한 차선 그래프를 구성하고 G = (V, E)로 표시합니다. 각 차선 세그먼트는 집합 V로 표시되는 그래프의 노드이며, 집합 E의 가장자리는 차선 세그먼트 간의 연결을 나타냅니다. 이 차선 그래프를 저장하기 위해 인접 행렬을 사용합니다. 여기서 행렬 요소(i, j)는 j번째 Lane Segment가 i번째 Lane Segment를 따르는 경우에만 1로 설정되고, 그렇지 않으면 0으로 유지됩니다.

LaneSegNet Framework

LaneSegNet의 전체 프레임워크는 그림 2에 나와 있습니다. LaneSegNet은 특정 BEV 범위 내에서 차선 세그먼트를 인식하기 위해 서라운드 이미지를 입력으로 사용합니다. 이 섹션에서는 먼저 BEV 기능을 생성하는 데 사용되는 LaneSeg 인코더를 간략하게 소개합니다. 그런 다음 차선 분할 디코더와 차선 주의를 소개합니다. 마지막으로 훈련 손실과 함께 차선 분할 예측기를 제안합니다.

LaneSeg Encoder

인코더는 차선 세그먼트 추출을 위해 서라운드 이미지를 BEV 기능으로 변환합니다. 우리는 표준 ResNet-50 백본을 활용하여 원시 이미지에서 특징 맵을 파생합니다. 그런 다음 BEVFormer를 사용하는 PV-BEV 인코더 모듈이 뷰 변환에 사용됩니다.

LaneSeg Decoder

Transformer 기반 감지 방법은 디코더를 활용하여 BEV 기능에서 기능을 수집하고 여러 계층을 통해 디코더 쿼리를 업데이트합니다. 각 디코더 계층은 self-attention, cross-attention 메커니즘 및 피드포워드 네트워크를 활용하여 쿼리를 업데이트합니다. 또한 학습 가능한 위치 쿼리가 사용됩니다. 그러면 업데이트된 쿼리가 출력되어 다음 단계로 전달됩니다.

복잡하고 길쭉한 지도 형상으로 인해 장거리 BEV 기능을 수집하는 것은 온라인 매핑 작업에 매우 중요합니다. 이전 작업에서는 계층적(인스턴스 포인트) 디코더 쿼리와 변형 가능한 주의를 활용하여 각 포인트 쿼리에 대한 로컬 특징을 추출했습니다. 이 접근 방식은 장거리 정보 캡처를 방지하지만 쿼리 수가 증가하여 계산 비용이 높아집니다.

Lane Segment는 장면 그래프 작성을 위한 레인 인스턴스 표현으로 인스턴스 수준에서 우수한 특성을 갖습니다. 우리의 목표는 다중 지점 쿼리를 사용하는 것이 아니라 단일 인스턴스 쿼리를 사용하여 차선 세그먼트를 나타내는 것입니다. 따라서 핵심 과제는 단일 인스턴스 쿼리를 사용하여 글로벌 BEV 기능에 집중하는 방법입니다.

Lane Attention: 타겟 감지에서 변형 어텐션은 타겟보다 앞선 위치를 사용하고 타겟 기준점 근처의 어텐션 값 중 작은 부분에만 사전 필터로 집중하여 수렴을 크게 가속화합니다. 레이어 반복 중에 참조점은 예측 대상의 중앙에 배치되어 학습 가능한 샘플링 오프셋을 통해 참조점 주위에 분산된 주의 값의 샘플링 위치를 구체화합니다. 샘플링 오프셋의 의도적인 초기화에는 2D 대상 앞의 형상이 포함됩니다. 이를 통해 다중 분기 메커니즘은 그림 3a와 같이 각 방향의 특성을 잘 포착할 수 있습니다.

지도 학습의 맥락에서 Li 등은 중심선을 예측하기 위해 순진한 변형 주의를 사용했습니다. 그러나 그림 3b에서 볼 수 있듯이 기준점의 순진한 배치로 인해 고독한 범위 주의를 얻지 못할 수도 있습니다. 또한 대상의 길쭉한 모양과 복잡한 시각적 단서(예: 실선과 점선 사이의 중단점을 정확하게 예측)로 인해 이 프로세스에는 작업에 대한 추가 적응형 설계가 필요합니다. 이러한 모든 특성을 고려할 때, 네트워크는 장거리 상황 정보에 집중하는 것뿐만 아니라 지역 세부 정보를 정확하게 추출하는 능력도 필요합니다. 따라서 장거리 정보를 효과적으로 인식하기 위해서는 샘플링 위치를 넓은 지역에 분산시키는 것이 좋습니다. 반면, 로컬 세부정보는 핵심 사항을 식별하기 위해 쉽게 구별할 수 있어야 합니다. 단일 Attention 헤드 내에서 가치 특성 간에 경쟁 관계가 있지만 Attention 프로세스 동안 서로 다른 헤드 간의 가치 특성이 유지될 수 있다는 점은 주목할 가치가 있습니다. 따라서 특정 지역의 지역적 특징에 대한 관심을 높이기 위해 이 속성을 명시적으로 활용하는 것이 유망합니다.

이를 위해 이 글에서는 헤드-지역 메커니즘 구축을 제안합니다. 먼저 차선 세그먼트 영역 내에서 여러 참조점을 균등하게 배포합니다. 그런 다음 샘플링 위치는 로컬 영역의 각 참조 지점을 중심으로 초기화됩니다. 복잡한 로컬 세부 정보를 보존하기 위해 그림 3c에 표시된 것처럼 각 헤드가 로컬 영역 내의 특정 샘플링 위치 집합에 초점을 맞추는 다중 분기 메커니즘을 사용합니다.

차선 주의 모듈에 대한 수학적 설명이 제공됩니다. BEV 특징, i번째 차선 세그먼트 질의 특징 qi 및 기준점 세트 pi를 입력으로 하여 차선 주의는 다음과 같이 계산됩니다.

기준점의 동일한 초기화: 기준점의 위치는 차선 주의입니다. 모듈 기능 결정 요인. 각 인스턴스 쿼리의 관심 영역을 실제 형상 및 위치와 정렬하기 위해 그림 3c와 같이 각 인스턴스 쿼리의 참조점 p는 이전 레이어의 Lane Segment 예측을 기반으로 배포됩니다. 그리고 예측을 반복적으로 개선합니다.

이전 작업에서는 첫 번째 레이어에 제공된 참조 포인트가 위치 쿼리 임베딩에서 파생된 학습 가능한 사전 변수로 개별적으로 초기화되어야 한다고 주장했습니다. 그러나 위치 쿼리는 입력 이미지와 독립적이기 때문에 이 초기화 방법은 기하학적 및 사전 위치를 기억하는 모델의 능력을 제한할 수 있으며 잘못 생성된 초기화 위치도 훈련에 장애가 될 수 있습니다.

따라서 Lane Segment 디코더의 첫 번째 레이어에 대해 동일한 초기화 전략을 제안합니다. 첫 번째 레이어에서 각 헤드는 위치 쿼리에 의해 생성된 동일한 참조점을 사용합니다. 기존 방법의 참조점 분산 초기화(예: 각 쿼리에 대해 여러 참조점 초기화)와 비교할 때 동일한 초기화는 복잡한 형상의 간섭을 필터링하여 위치 사전 학습을 더욱 안정적으로 만듭니다. 동일한 초기화가 직관적이지 않은 것처럼 보일 수 있지만 작동하는 것으로 관찰되었습니다.

LaneSeg Predictor

우리는 여러 예측 분기에서 MLP를 사용하여 기하학적, 의미적, 위상적 측면을 고려하여 차선 세그먼트 쿼리에서 최종 예측 차선 세그먼트를 생성합니다.

기하학의 경우 먼저 중심선의 벡터화된 점 위치를 3차원 좌표로 회귀하기 위해 중심선 회귀 분기를 설계했습니다. 출력 형식은 다음과 같습니다. 왼쪽과 오른쪽 차선 경계의 대칭으로 인해 오프셋을 예측하기 위해 오프셋 분기를 도입합니다. 그 형식은 다음과 같습니다. 따라서 왼쪽 및 오른쪽 차선 경계 좌표는 다음을 사용하여 계산할 수 있습니다.

차선 세그먼트가 운전 가능 영역으로 개념화될 수 있다고 가정하고 인스턴스 분할 분기를 예측 변수에 통합합니다. 의미론적으로 3개의 분류 분기는 C의 분류 점수와 C의 점수를 병렬로 예측합니다. 토폴로지 분기는 업데이트된 쿼리 기능을 입력으로 사용하고 MLP를 사용하여 차선 그래프 G의 가중치 인접 행렬을 출력합니다.

Training Loss

LaneSegNet은 헝가리 알고리즘을 사용하여 예측과 실제값 간의 일대일 최적 할당을 효율적으로 계산하는 DETR과 유사한 패러다임을 채택합니다. 그런 다음 분포 결과를 기반으로 훈련 손실을 계산합니다. 손실 함수는 기하학적 손실, 분류 손실, 레인라인 분류 손실, 위상적 손실의 네 부분으로 구성됩니다.

기하학적 손실은 예측된 각 차선 세그먼트의 기하학적 구조를 감독합니다. 바이너리 매칭 결과에 따라 예측된 벡터화된 각 Lane Segment에 GT Lane Segment가 할당됩니다. 벡터화된 기하학적 손실은 할당된 차선 세그먼트 쌍 사이에서 계산된 맨해튼 거리로 정의됩니다.

실험 결과

주요 실험 구조

차선 세그먼트 인식: 표 1에서는 LaneSegNet을 여러 가지 최첨단 방법인 MapTR, MapTRv2 및 TopoNet과 비교했습니다. Lane Segment 라벨을 사용하여 모델을 재교육합니다. LaneSegNet은 mAP에서 다른 방법보다 최대 9.6% 뛰어난 성능을 발휘하며, 평균 거리 오류는 상대적으로 12.5% ​​감소합니다. LaneSegNet-mini는 또한 16.2의 더 높은 FPS로 이전 방법보다 성능이 뛰어납니다.

정성적 결과는 그림 4에 나와 있습니다.

Map 요소 감지: 지도 요소 감지 방법과의 보다 공정한 비교를 위해 LaneSegNet의 예측 Lane Segment를 차선 쌍으로 분해합니다. 지도 요소 탐지 지표를 사용하는 최첨단 방법과 비교합니다. 우리는 분해된 차선과 횡단보도 라벨을 재교육을 위한 여러 가지 최첨단 방법에 제공합니다. 실험 결과는 표 2에 나와 있으며, 이는 LaneSegNet이 맵 요소 감지 작업에서 항상 다른 방법보다 성능이 우수하다는 것을 보여줍니다. 공정하게 비교하면 LaneSegNet은 추가 감독을 통해 도로 형상을 더 잘 복구합니다. 이는 Lane Segment 학습 표현이 도로 기하학적 정보를 포착하는 데 능숙하다는 것을 보여줍니다.

중앙선 인식: 또한 LaneSegNet을 표 3의 최첨단 중앙선 인식 방법과 비교합니다. 일관성을 위해 재교육을 위해 Lane Segment에서도 중심선을 추출합니다. 차선 지도 인식 작업에서 LaneSegNet의 성능이 다른 방법에 비해 상당히 높다는 결론을 내릴 수 있습니다. 추가적인 지리적 모니터링을 통해 LaneSegNet은 뛰어난 토폴로지 추론 기능도 보여줍니다. 추론 능력은 강력한 위치 파악 및 탐지 능력과 밀접한 관련이 있음이 입증되었습니다.

Ablation 실험

Lane Segment 공식: 표 4에서는 제안된 Lane Segment 학습 공식의 설계 장점과 훈련 효율성을 검증하기 위해 ablation을 제공합니다. 처음 두 행의 개별적으로 훈련된 모델과 비교하여 중앙선과 지도 요소의 공동 훈련은 4행에 표시된 것처럼 두 가지 주요 측정항목에서 전체 평균 1.3 향상을 가져오며 다중 작업 훈련의 타당성을 보여줍니다. 그러나 추가 범주를 추가하여 단일 분기에서 중심선과 지도 요소를 훈련하는 일반적인 접근 방식은 상당한 성능 저하를 초래합니다. 위의 순진한 단일 분기 방법과 비교하여 차선 세그먼트 레이블로 훈련된 모델은 상당한 성능 향상을 얻었습니다(행 3과 5 사이의 비교를 위해 OLS에서 +7.2, mAP에서 +4.4). 이는 다양한 도로 정보 간의 긍정적인 상호 작용을 검증합니다. 우리의 지도 학습 공식화. 우리 모델은 특히 중앙선 인식(OLS +4.8)에서 다중 분기 방법보다 성능이 뛰어납니다. 이는 기하학이 맵 학습 공식에서 토폴로지 추론을 안내할 수 있음을 보여줍니다. 여기서 다중 분기 모델은 CL 전용 모델(행 1과 4 사이의 +0.6 OLS)보다 약간만 성능이 뛰어납니다. 작은 감소는 선 분류 오류로 인해 발생하는 예측 결과의 재구성 과정에서 발생합니다.

차선 주의 모듈: 우리가 시연하는 주의 모듈 제거는 표 5에 나와 있습니다. 공정한 비교를 용이하게 하기 위해 프레임워크의 차선 주의 모듈을 대체 주의 설계로 교체합니다. 신중하게 설계한 Lane Attention을 갖춘 LaneSegNet은 이러한 방법보다 훨씬 뛰어난 성능을 보여 상당한 개선을 보여줍니다(1행에 비해 mAP가 3.9 향상되고 TOPII가 1.2 향상됨). 또한 계층적 쿼리 설계에 비해 쿼리 수가 줄어들어 디코더 지연 시간을 23.45ms에서 20.96ms로 더욱 줄일 수 있습니다.

결론

본 논문에서는 새로운 지도 학습 공식으로 Lane Segment 인식을 제안하고, 이 문제를 특별히 겨냥한 엔드투엔드 네트워크인 LaneSegNet을 제안합니다. 네트워크 외에도 장거리 주의를 포착하기 위해 머리-영역 메커니즘을 사용하는 차선 주의 모듈과 차선 주의 위치를 ​​향상시키기 위한 동일한 기준점 초기화 전략을 포함하여 두 가지 혁신적인 개선 사항이 제안되었습니다. 학습. OpenLane-V2 데이터 세트의 실험 결과는 우리 설계의 효율성을 보여줍니다.

제한사항 및 향후 작업. 계산상의 제한으로 인해 제안된 LaneSegNet을 더 많은 추가 백본으로 확장하지 않습니다. 차선 세그먼트 인식 및 LaneSegNet의 공식화는 다운스트림 작업에 도움이 될 수 있으며 향후 탐색할 가치가 있습니다.

위 내용은 ICLR'24 사진 없는 새로운 아이디어! LaneSegNet: 차선 분할 인식 기반 지도 학습의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!