공동 운전 시나리오에서 깊이, 자세 및 도로 추정을 위한 인식 네트워크

7월 22일에 게재된 arXiv 논문 "JPerceiver: Joint Perception Network for Depth, Pose and Layout Estimation in Driving Scenes"에는 호주 시드니 대학교 Tao Dacheng 교수와 베이징 JD 연구소의 연구 결과가 보고되어 있습니다.

깊이 추정, 시각적 주행 거리 측정(VO) 및 조감도(BEV) 장면 레이아웃 추정은 자율 주행에서 동작 계획 및 내비게이션의 기초가 되는 운전 장면 인식을 위한 세 가지 핵심 작업입니다. 상호보완적이지만 일반적으로 별도의 작업에 중점을 두고 세 가지 작업을 모두 동시에 처리하는 경우는 거의 없습니다.

간단한 접근 방식은 순차적 또는 병렬 방식으로 독립적으로 수행하는 것이지만 세 가지 단점이 있습니다. 즉, 1) 깊이와 VO 결과는 고유한 규모 모호성 문제의 영향을 받습니다. 2) BEV 레이아웃은 일반적으로 도로 및 VO에 대해 별도로 추정됩니다. 3) 깊이 맵은 장면 레이아웃을 추론하는 데 유용한 기하학적 단서이지만 BEV 레이아웃은 실제로 깊이 관련 정보를 사용하지 않고 정면 이미지에서 직접 예측됩니다.

본 논문에서는 이러한 문제를 해결하고 단안 비디오 시퀀스에서 규모 인식 깊이, VO 및 BEV 레이아웃을 동시에 추정하기 위한 공동 인식 프레임워크 JPerceiver를 제안합니다. 횡단 기하학적 변환(CGT)을 사용하여 신중하게 설계된 규모 손실을 기반으로 도로 레이아웃에서 깊이 및 VO까지 절대 규모를 전파합니다. 동시에 크로스 뷰 및 CCT(교차 모달 전송) 모듈은 주의 메커니즘을 통해 도로 및 차량 레이아웃을 추론하기 위해 깊이 신호를 사용하도록 설계되었습니다.

JPerceiver는 CGT 규모 손실 및 CCT 모듈이 작업 간 지식 전달을 촉진하고 각 작업에 대한 기능 학습을 촉진하는 엔드투엔드 다중 작업 학습 방법으로 교육되었습니다.

코드와 모델을 다운로드할 수 있습니다

https://github.com/sunnyHelen/JPerceiver.

그림과 같이 JPerceiver는 깊이, 자세, 도로 레이아웃의 세 가지 네트워크로 구성됩니다. , 모두 인코더-디코더 아키텍처를 기반으로 합니다. 깊이 네트워크는 현재 프레임 It의 깊이 맵 Dt를 예측하는 것을 목표로 하며, 여기서 각 깊이 값은 3D 점과 카메라 사이의 거리를 나타냅니다. 포즈 네트워크의 목표는 현재 프레임 It과 인접한 프레임 It+m 사이의 포즈 변환 Tt→t+m을 예측하는 것입니다. 도로 레이아웃 네트워크의 목표는 현재 프레임의 BEV 레이아웃 Lt, 즉 탑 뷰 데카르트 평면에서 도로와 차량의 의미론적 점유를 추정하는 것입니다. 세 가지 네트워크는 훈련 중에 공동으로 최적화됩니다.

깊이와 포즈를 예측하는 두 개의 네트워크는 자체 감독 방식으로 광도 손실과 평활도 손실로 공동 최적화됩니다. 또한 CGT 스케일 손실은 단안 깊이 및 VO 추정의 스케일 모호성 문제를 해결하기 위해 설계되었습니다.

스케일 인식 환경 인식을 달성하기 위해 BEV 레이아웃의 스케일 정보를 사용하여 깊이 추정 및 VO를 위해 CGT의 스케일 손실을 제안합니다. BEV 레이아웃은 BEV 데카르트 평면에서 의미론적 점유를 보여주기 때문에 차량 전면의 Z 미터 범위와 왼쪽 및 오른쪽의 (Z/2) 미터 범위를 각각 포괄합니다. 이는 그림과 같이 자체 차량에 대한 각 픽셀의 미터법 거리 zij인 자연스러운 거리 필드 z를 제공합니다.

BEV 평면은 지면이고 그 원점은 정확히 지면의 원점에 있다고 가정합니다. 자체 차량 좌표계 다음으로 카메라 외부 매개변수를 기반으로 호모그래피 변환을 통해 BEV 평면을 전방 카메라에 투영할 수 있습니다. 따라서 BEV 거리 필드 z는 위 그림과 같이 전방 카메라에 투영될 수 있으며 예측 깊이 d를 조정하는 데 사용되어 CGT 스케일 손실을 도출합니다.

도로 레이아웃 추정의 경우 인코더 -디코더는 네트워크 구조를 사용합니다. 공유 인코더는 다양한 의미 카테고리의 BEV 레이아웃을 동시에 학습하기 위해 특징 추출기 및 다양한 디코더로 사용된다는 점은 주목할 가치가 있습니다. 또한 CCT 모듈은 기능 상호 작용 및 작업 간 지식 전달을 향상시키고 BEV의 공간 추론을 위한 3차원 기하학적 정보를 제공하도록 설계되었습니다. 도로 레이아웃 네트워크를 정규화하기 위해 다양한 손실 조건을 함께 결합하여 하이브리드 손실을 형성하고 다양한 클래스의 균형 잡힌 최적화를 달성합니다.

CCT는 전방 뷰 특징 Ff, BEV 레이아웃 특징 Fb, 재변환된 전방 특징 Ff' 및 전방 깊이 특징 FD 간의 상관 관계를 연구하고 그림에 표시된 대로 그에 따라 레이아웃 특징을 개선합니다. 두 부분, 즉

CCT- 크로스 뷰 모듈 및 크로스 모달 모듈의 CV 및 CCT-CM.

CCT에서 Ff와 Fd는 해당 지각 분기의 인코더에 의해 추출되고, Fb는 Ff를 BEV로 변환하기 위한 뷰 투영 MLP에 의해 획득되고, 동일한 MLP를 제한하여 Ff′로 다시 변환하기 위한 사이클 손실이 발생합니다.

CCT-CV에서는 교차 주의 메커니즘을 사용하여 전방 시야와 BEV 특징 사이의 기하학적 대응을 발견한 다음 전방 시야 정보의 개선을 안내하고 BEV 추론을 준비합니다. 전방 보기 이미지 기능을 최대한 활용하기 위해 Fb 및 Ff는 각각 쿼리 및 키로 Qbi 및 Kbi 패치에 투영됩니다.

전방 보기 기능을 활용하는 것 외에도 CCT-CM은 Fd의 3D 기하학적 정보를 부과하기 위해 배포됩니다. Fd는 전방 영상에서 추출되므로 Ff를 브리지로 사용하여 교차 모달 간격을 줄이고 Fd와 Fb 사이의 대응 관계를 학습하는 것이 합리적입니다. Fd는 Value 역할을 함으로써 BEV 정보와 관련된 귀중한 3차원 기하학적 정보를 획득하고 도로 레이아웃 추정의 정확도를 더욱 향상시킵니다.

다양한 레이아웃을 동시에 예측하기 위한 공동 학습 프레임워크를 탐색하는 과정에서 다양한 의미 카테고리의 기능과 분포에 큰 차이가 있습니다. 기능의 경우 일반적으로 주행 시나리오의 도로 레이아웃을 연결해야 하고 다양한 차량 대상을 분할해야 합니다.

분포의 경우 회전 장면보다 직선 도로 장면이 더 많이 관찰되며 이는 실제 데이터 세트에서 합리적입니다. 이러한 차이와 불균형은 BEV 레이아웃 학습의 어려움을 증가시키며, 특히 이 경우 단순 교차 엔트로피(CE) 손실 또는 L1 손실이 실패하기 때문에 다양한 범주를 공동으로 예측하는 데 어려움을 겪습니다. 분포 기반 CE 손실, 지역 기반 IoU 손실, 경계 손실 등 여러 분할 손실을 하이브리드 손실로 결합하여 각 카테고리의 레이아웃을 예측합니다.

실험 결과는 다음과 같습니다.

위 내용은 공동 운전 시나리오에서 깊이, 자세 및 도로 추정을 위한 인식 네트워크의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!