목차
네트워크 구조
실험 결과
기술 주변기기 일체 포함 저 멀리! BEVHeight++: 길가의 시각적 3D 타겟 감지를 위한 새로운 솔루션!

저 멀리! BEVHeight++: 길가의 시각적 3D 타겟 감지를 위한 새로운 솔루션!

Oct 05, 2023 pm 07:57 PM
체계 자율주행

거리에 구애받지 않는 공식을 달성하기 위해 지면 높이로 회귀하여 카메라 인식 전용 방법에 대한 최적화 프로세스를 단순화합니다. 도로변 카메라의 3D 감지 벤치마크에서 이 방법은 이전의 모든 비전 중심 방법을 크게 능가합니다. BEVDepth에 비해 NDS +1.9% 및 mAP +1.1%의 상당한 개선이 이루어졌습니다. nuScenes 테스트 세트에서 이 방법은 NDS와 mAP가 각각 +2.8%와 +1.7% 증가하는 등 상당한 진전을 이루었습니다.

제목: BEVHeight++: 강력한 시각 중심 3D 객체 감지를 향하여

논문 링크: https://arxiv.org/pdf/2309.16179.pdf

저자 소속: Tsinghua University, Sun Yat-sen University, Cainiao Network, Beijing University

중국 최초의 자율주행 커뮤니티에서: 마침내 20개 이상의 기술 방향 학습 경로 구축 완료(BEV 인식/3D 감지/다중 센서 융합/SLAM 및 계획 등)

최근 자율주행 운전 시스템은 차량 센서를 위한 감지 방법 개발에 중점을 두고 있지만 종종 간과되는 대안은 감지 기능을 가시 범위 이상으로 확장하기 위해 스마트 길가 카메라를 사용하는 것입니다. 저자는 최첨단 비전 중심 BEV 감지 방법이 길가 카메라에서 제대로 작동하지 않는다는 것을 발견했습니다. 왜냐하면 이들 방법은 주로 자동차와 지면의 깊이 차이가 거리에 따라 급격히 줄어드는 카메라 중심 부근의 깊이를 회복하는 데 중점을 두기 때문입니다. 이 기사에서 저자는 이 문제를 해결하기 위해 BEVHeight++라는 간단하면서도 효과적인 방법을 제안합니다. 기본적으로 저자는 거리에 구애받지 않는 공식을 달성하기 위해 지면의 높이로 회귀하여 카메라 인식 전용 방법의 최적화 프로세스를 단순화합니다. 높이와 깊이 인코딩 기술을 결합함으로써 2D에서 BEV 공간으로의 보다 정확하고 강력한 투영이 달성됩니다. 이 방법은 도로변 카메라에 대한 인기 있는 3D 감지 벤치마크에서 이전의 모든 비전 중심 방법보다 훨씬 뛰어납니다. 자가 차량 장면의 경우 BEVHeight++는 깊이 전용 방법보다 성능이 뛰어납니다

특히 nuScenes 검증 세트에서 평가할 때 BEVDepth에 비해 NDS +1.9% 및 mAP +1.1%의 상당한 개선이 이루어졌습니다. 또한, nuScenes 테스트 세트에서 이 방법은 NDS와 mAP가 각각 +2.8%와 +1.7% 증가하는 등 상당한 진전을 이루었습니다.

저 멀리! BEVHeight++: 길가의 시각적 3D 타겟 감지를 위한 새로운 솔루션!

그림 1: (a) 단안 이미지에서 3D 경계 상자를 생성하기 위해 최첨단 방법은 먼저 명시적 또는 암시적으로 픽셀당 깊이를 예측하여 전경 객체와 객체의 3D 위치를 결정합니다. 배경. 그러나 이미지의 픽셀당 깊이를 플롯했을 때 자동차가 카메라에서 멀어짐에 따라 지붕 위의 점과 주변 지면 사이의 차이가 빠르게 줄어들어 특히 원거리 객체의 경우 최적화가 최적이 아닌 것으로 나타났습니다. . (b) 대신, 픽셀당 높이를 지면에 플롯하고 이 차이가 거리에 관계없이 불가지론적이며 네트워크가 객체를 감지하는 데 시각적으로 더 적합하다는 것을 관찰합니다. 그러나 높이 예측만으로는 3D 위치를 직접 회귀할 수 없습니다. (c) 이를 위해 우리는 이 문제를 해결하기 위한 새로운 프레임워크 BEVHeight++를 제안합니다. 경험적 결과에 따르면 우리의 방법은 깨끗한 설정에서 5.49%, 잡음이 많은 설정에서 28.2%만큼 최상의 방법보다 성능이 뛰어난 것으로 나타났습니다.

네트워크 구조

저 멀리! BEVHeight++: 길가의 시각적 3D 타겟 감지를 위한 새로운 솔루션!

예측 높이와 깊이 비교. (a) 이전 깊이 기반 방법과 제안된 높이 기반 파이프라인에 대한 개요입니다. 본 논문은 새로운 2D to 3D 프로젝션 모듈을 제안한다는 점에 유의하시기 바랍니다. (b) 픽셀당 깊이(상단)와 지면 높이(하단)의 히스토그램을 플로팅하면 깊이 범위가 200m를 넘는 반면 높이는 5m 이내이므로 높이를 배우기 더 쉬운 것을 명확하게 관찰할 수 있습니다.

저 멀리! BEVHeight++: 길가의 시각적 3D 타겟 감지를 위한 새로운 솔루션!

이미지에는 대상의 행 좌표와 깊이 및 높이 사이에 상관관계가 있습니다. 이미지에서 대상의 위치는 (u, v)로 정의할 수 있습니다. 여기서 v는 이미지의 행 좌표를 나타냅니다. (a)에서는 정규 분포에 롤 및 피치 방향의 회전 오프셋을 추가하여 노이즈를 도입하는 시각적 예를 보여줍니다. (b)에서는 깊이 분포의 산점도를 보여줍니다. (c)에서는지면 위의 높이를 보여줍니다. 높이에 대한 노이즈 설정이 깊이에 비해 원래 분포와 더 많이 겹치는 것을 볼 수 있으며 이는 높이 추정이 더 강력하다는 것을 나타냅니다

저 멀리! BEVHeight++: 길가의 시각적 3D 타겟 감지를 위한 새로운 솔루션!

BEVHeight++의 전체 프레임워크에는 깊이 기반 분기(청록색), 높이 기반 분기(녹색) 및 기능 융합 프로세스(회색)라는 세 가지 하위 네트워크가 포함되어 있습니다. 깊이 기반 파이프라인은 추정된 픽셀당 깊이를 사용하여 이미지 보기 기능을 깊이 기반 BEV 기능(D 기반 BEV)으로 변환합니다. 높이 기반 파이프라인은 이미지 뷰의 리프트 기능에 대한 지상 높이 예측을 사용하여 높이 기반 BEV 기능(H 기반 BEV)을 생성합니다. 특징 융합에는 이미지 융합과 조감도 융합이 포함됩니다. 이미지-뷰 융합은 후속 업그레이드 작업에 사용되는 계단식 높이 분포와 이미지 특징을 통해 융합 특징을 얻습니다. 조감도 융합은 Deformable Cross Attention을 통해 높이 기반 BEV 특징과 깊이 기반 BEV 특징으로부터 융합된 BEV 특징을 얻은 후 이를 감지 헤드의 입력으로 사용합니다

저 멀리! BEVHeight++: 길가의 시각적 3D 타겟 감지를 위한 새로운 솔루션!

저 멀리! BEVHeight++: 길가의 시각적 3D 타겟 감지를 위한 새로운 솔루션!

실험 결과

저 멀리! BEVHeight++: 길가의 시각적 3D 타겟 감지를 위한 새로운 솔루션!

저 멀리! BEVHeight++: 길가의 시각적 3D 타겟 감지를 위한 새로운 솔루션!

저 멀리! BEVHeight++: 길가의 시각적 3D 타겟 감지를 위한 새로운 솔루션!

저 멀리! BEVHeight++: 길가의 시각적 3D 타겟 감지를 위한 새로운 솔루션!

다시 작성해야 하는 내용은 다음과 같습니다. 원본 링크: https://mp.weixin.qq.com/s/AdCXYzHIy2lTfAHk2AZ4_w

위 내용은 저 멀리! BEVHeight++: 길가의 시각적 3D 타겟 감지를 위한 새로운 솔루션!의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

뜨거운 도구

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

CUDA의 보편적인 행렬 곱셈: 입문부터 숙련까지! CUDA의 보편적인 행렬 곱셈: 입문부터 숙련까지! Mar 25, 2024 pm 12:30 PM

GEMM(일반 행렬 곱셈)은 많은 응용 프로그램과 알고리즘의 중요한 부분이며 컴퓨터 하드웨어 성능을 평가하는 중요한 지표 중 하나이기도 합니다. GEMM 구현에 대한 심층적인 연구와 최적화는 고성능 컴퓨팅과 소프트웨어와 하드웨어 시스템 간의 관계를 더 잘 이해하는 데 도움이 될 수 있습니다. 컴퓨터 과학에서 GEMM의 효과적인 최적화는 컴퓨팅 속도를 높이고 리소스를 절약할 수 있으며, 이는 컴퓨터 시스템의 전반적인 성능을 향상시키는 데 중요합니다. GEMM의 작동 원리와 최적화 방법에 대한 심층적인 이해는 현대 컴퓨팅 하드웨어의 잠재력을 더 잘 활용하고 다양하고 복잡한 컴퓨팅 작업에 대한 보다 효율적인 솔루션을 제공하는 데 도움이 될 것입니다. GEMM의 성능을 최적화하여

자율주행 시나리오에서 롱테일 문제를 해결하는 방법은 무엇입니까? 자율주행 시나리오에서 롱테일 문제를 해결하는 방법은 무엇입니까? Jun 02, 2024 pm 02:44 PM

어제 인터뷰 도중 롱테일 관련 질문을 해본 적이 있느냐는 질문을 받아서 간략하게 요약해볼까 생각했습니다. 자율주행의 롱테일 문제는 자율주행차의 엣지 케이스, 즉 발생 확률이 낮은 가능한 시나리오를 말한다. 인지된 롱테일 문제는 현재 단일 차량 지능형 자율주행차의 운영 설계 영역을 제한하는 주요 이유 중 하나입니다. 자율주행의 기본 아키텍처와 대부분의 기술적인 문제는 해결되었으며, 나머지 5%의 롱테일 문제는 점차 자율주행 발전을 제한하는 핵심이 되었습니다. 이러한 문제에는 다양한 단편적인 시나리오, 극단적인 상황, 예측할 수 없는 인간 행동이 포함됩니다. 자율 주행에서 엣지 시나리오의 "롱테일"은 자율주행차(AV)의 엣지 케이스를 의미하며 발생 확률이 낮은 가능한 시나리오입니다. 이런 희귀한 사건

화웨이의 Qiankun ADS3.0 지능형 운전 시스템은 8월에 출시될 예정이며 처음으로 Xiangjie S9에 출시될 예정입니다. 화웨이의 Qiankun ADS3.0 지능형 운전 시스템은 8월에 출시될 예정이며 처음으로 Xiangjie S9에 출시될 예정입니다. Jul 30, 2024 pm 02:17 PM

7월 29일, AITO Wenjie의 400,000번째 신차 출시 행사에 Huawei 전무이사이자 Terminal BG 회장이자 Smart Car Solutions BU 회장인 Yu Chengdong이 참석하여 연설을 했으며 Wenjie 시리즈 모델이 출시될 것이라고 발표했습니다. 올해 출시 예정 지난 8월 Huawei Qiankun ADS 3.0 버전이 출시되었으며, 8월부터 9월까지 순차적으로 업그레이드를 추진할 계획입니다. 8월 6일 출시되는 Xiangjie S9에는 화웨이의 ADS3.0 지능형 운전 시스템이 최초로 탑재됩니다. LiDAR의 도움으로 Huawei Qiankun ADS3.0 버전은 지능형 주행 기능을 크게 향상시키고, 엔드투엔드 통합 기능을 갖추고, GOD(일반 장애물 식별)/PDP(예측)의 새로운 엔드투엔드 아키텍처를 채택합니다. 의사결정 및 제어), 주차공간부터 주차공간까지 스마트 드라이빙의 NCA 기능 제공, CAS3.0 업그레이드

자율주행과 궤도예측에 관한 글은 이 글이면 충분합니다! 자율주행과 궤도예측에 관한 글은 이 글이면 충분합니다! Feb 28, 2024 pm 07:20 PM

자율주행 궤적 예측은 차량의 주행 과정에서 발생하는 다양한 데이터를 분석하여 차량의 향후 주행 궤적을 예측하는 것을 의미합니다. 자율주행의 핵심 모듈인 궤도 예측의 품질은 후속 계획 제어에 매우 중요합니다. 궤적 예측 작업은 풍부한 기술 스택을 보유하고 있으며 자율 주행 동적/정적 인식, 고정밀 지도, 차선, 신경망 아키텍처(CNN&GNN&Transformer) 기술 등에 대한 익숙함이 필요합니다. 시작하기가 매우 어렵습니다! 많은 팬들은 가능한 한 빨리 궤도 예측을 시작하여 함정을 피하기를 희망합니다. 오늘은 궤도 예측을 위한 몇 가지 일반적인 문제와 입문 학습 방법을 살펴보겠습니다. 관련 지식 입문 1. 미리보기 논문이 순서대로 되어 있나요? A: 먼저 설문조사를 보세요, p

SIMPL: 자율 주행을 위한 간단하고 효율적인 다중 에이전트 동작 예측 벤치마크 SIMPL: 자율 주행을 위한 간단하고 효율적인 다중 에이전트 동작 예측 벤치마크 Feb 20, 2024 am 11:48 AM

원제목: SIMPL: ASimpleandEfficientMulti-agentMotionPredictionBaselineforAutonomousDriving 논문 링크: https://arxiv.org/pdf/2402.02519.pdf 코드 링크: https://github.com/HKUST-Aerial-Robotics/SIMPL 저자 단위: Hong Kong University of Science 및 기술 DJI 논문 아이디어: 이 논문은 자율주행차를 위한 간단하고 효율적인 모션 예측 기준선(SIMPL)을 제안합니다. 기존 에이전트 센트와 비교

Apple 16 시스템의 어떤 버전이 가장 좋나요? Apple 16 시스템의 어떤 버전이 가장 좋나요? Mar 08, 2024 pm 05:16 PM

Apple 16 시스템의 최고 버전은 iOS16.1.4입니다. iOS16 시스템의 최고 버전은 사람마다 다를 수 있으며 일상적인 사용 경험의 추가 및 개선도 많은 사용자로부터 호평을 받았습니다. Apple 16 시스템의 가장 좋은 버전은 무엇입니까? 답변: iOS16.1.4 iOS 16 시스템의 가장 좋은 버전은 사람마다 다를 수 있습니다. 공개 정보에 따르면 2022년에 출시된 iOS16은 매우 안정적이고 성능이 뛰어난 버전으로 평가되며, 사용자들은 전반적인 경험에 상당히 만족하고 있습니다. 또한, iOS16에서는 새로운 기능 추가와 일상 사용 경험 개선도 많은 사용자들에게 호평을 받고 있습니다. 특히 업데이트된 배터리 수명, 신호 성능 및 발열 제어 측면에서 사용자 피드백은 비교적 긍정적이었습니다. 그러나 iPhone14를 고려하면

nuScenes의 최신 SOTA | SparseAD: Sparse 쿼리는 효율적인 엔드투엔드 자율주행을 지원합니다! nuScenes의 최신 SOTA | SparseAD: Sparse 쿼리는 효율적인 엔드투엔드 자율주행을 지원합니다! Apr 17, 2024 pm 06:22 PM

전면 및 시작점 작성 엔드 투 엔드 패러다임은 통합 프레임워크를 사용하여 자율 주행 시스템에서 멀티 태스킹을 달성합니다. 이 패러다임의 단순성과 명확성에도 불구하고 하위 작업에 대한 엔드투엔드 자율 주행 방법의 성능은 여전히 ​​단일 작업 방법보다 훨씬 뒤떨어져 있습니다. 동시에 이전 엔드투엔드 방법에서 널리 사용된 조밀한 조감도(BEV) 기능으로 인해 더 많은 양식이나 작업으로 확장하기가 어렵습니다. 여기서는 희소 검색 중심의 엔드 투 엔드 자율 주행 패러다임(SparseAD)이 제안됩니다. 여기서 희소 검색은 밀집된 BEV 표현 없이 공간, 시간 및 작업을 포함한 전체 운전 시나리오를 완전히 나타냅니다. 특히 통합 스파스 아키텍처는 탐지, 추적, 온라인 매핑을 포함한 작업 인식을 위해 설계되었습니다. 게다가 무겁다.

엔드투엔드(End-to-End)와 차세대 자율주행 시스템, 그리고 엔드투엔드 자율주행에 대한 몇 가지 오해에 대해 이야기해볼까요? 엔드투엔드(End-to-End)와 차세대 자율주행 시스템, 그리고 엔드투엔드 자율주행에 대한 몇 가지 오해에 대해 이야기해볼까요? Apr 15, 2024 pm 04:13 PM

지난 달에는 몇 가지 잘 알려진 이유로 업계의 다양한 교사 및 급우들과 매우 집중적인 교류를 가졌습니다. 교환에서 피할 수 없는 주제는 자연스럽게 엔드투엔드와 인기 있는 Tesla FSDV12입니다. 저는 이 기회를 빌어 여러분의 참고와 토론을 위해 지금 이 순간 제 생각과 의견을 정리하고 싶습니다. End-to-End 자율주행 시스템을 어떻게 정의하고, End-to-End 해결을 위해 어떤 문제가 예상되나요? 가장 전통적인 정의에 따르면, 엔드 투 엔드 시스템은 센서로부터 원시 정보를 입력하고 작업과 관련된 변수를 직접 출력하는 시스템을 의미합니다. 예를 들어 이미지 인식에서 CNN은 기존의 특징 추출 + 분류기 방식에 비해 end-to-end 방식으로 호출할 수 있습니다. 자율주행 작업에서는 다양한 센서(카메라/LiDAR)로부터 데이터를 입력받아

See all articles