ADMap: 간섭 방지 온라인 고정밀 지도에 대한 새로운 아이디어
앞서 작성 및 저자의 개인적 이해
자율주행의 심장 이벤트에 초대받게 되어 매우 기쁩니다. 벡터화된 고정밀 지도의 온라인 재구성을 위한 방해 방지 방법 ADMap을 공유하겠습니다. https://github.com/hht1996ok/ADMap에서 코드를 찾을 수 있습니다. 여러분의 관심과 지원에 감사드립니다.
자율 운전 분야에서 온라인 고화질 지도 재구성은 계획 및 예측 작업에 매우 중요합니다. 최근 작업에서는 이러한 요구를 충족하기 위해 많은 고성능 고화질 지도 재구성 모델을 구축했습니다. 그러나 벡터화된 인스턴스 내의 포인트 순서는 예측 편차로 인해 지터링되거나 들쭉날쭉해질 수 있으며, 이로 인해 후속 작업에 영향을 미칠 수 있습니다. 따라서 우리는 ADMap(Anti-Disturbance Map 재구성 프레임워크)을 제안합니다. 이 기사에서는 모델 속도와 전반적인 정확성을 고려하고 배포 시 엔지니어를 괴롭히지 않기를 바랍니다. 따라서 MPN(Multi-Scale Perception Neck), IIA(Instance Interactive Attention) 및 VDDL(Vector Direction Difference Loss)의 세 가지 효율적이고 효과적인 모듈이 제안됩니다. 인스턴스 간 및 인스턴스 내에서 포인트 순서 관계를 계단식으로 탐색함으로써 우리 모델은 포인트 순서 예측 프로세스를 더 잘 감독합니다.
nuScenes 및 Argoverse2 데이터세트에서 ADMap의 효율성을 검증했습니다. 실험 결과, 다양한 벤치마크 테스트에서 ADMap이 가장 좋은 성능을 보이는 것으로 나타났습니다. NuScenes 벤치마크에서 ADMap은 카메라 데이터와 멀티모달 데이터만을 사용하여 각각 기준선에 비해 mAP를 4.2%와 5.5% 향상시켰습니다. ADMapv2는 추론 대기 시간을 줄일 뿐만 아니라 기준 성능을 크게 향상시켜 최고 mAP가 82.8%에 달합니다. Argoverse 데이터세트에서 ADMapv2의 mAP는 62.9%로 증가한 반면 프레임 속도는 14.8FPS로 유지되었습니다.
요약하자면 우리가 제안한 ADMap의 주요 기여는 다음과 같습니다.
- 엔드 투 엔드 ADMap을 제안하고 보다 안정적인 벡터화 고정밀 맵을 재구성했습니다.
- MPN은 추론 리소스를 늘리지 않고도 다중 규모 정보를 더 잘 포착합니다. IIA는 인스턴스 간 및 인스턴스 내에서 효과적인 상호 작용을 완료하여 포인트 수준 기능을 더욱 정확하게 만들어 포인트 시퀀스의 기하학적 관계에 대한 감독을 더 자세히 제한합니다. .
- ADMap은 벡터화된 고정밀 지도의 실시간 재구성을 가능하게 하며 nuScenes 벤치마크 및 Argoverse2에서 최고의 정확도를 달성합니다.
방법이 제안되었습니다
그림 1에서 볼 수 있듯이 인스턴스의 예측 포인트는 종종 필연적으로 지터 또는 이동이 발생합니다. 이 지터로 인해 재구성된 인스턴스 벡터가 고르지 않거나 들쭉날쭉해지며 품질과 실용성에 심각한 영향을 미칩니다. 온라인 고정밀 지도. 그 이유는 기존 모델이 인스턴스 간 및 인스턴스 내 상호 작용을 완전히 고려하지 않기 때문이라고 생각합니다. 인스턴스 포인트와 지도 토폴로지 정보 간의 불완전한 상호 작용으로 인해 예측 위치가 부정확해집니다. 또한 L1 손실 및 코사인 임베딩 손실과 같은 감독만으로는 기하학적 관계를 효과적으로 사용하여 인스턴스 포인트의 예측 프로세스를 제한할 수 없습니다. 네트워크는 포인트 시퀀스의 방향 정보를 보다 정확하게 캡처하기 위해 포인트 사이의 벡터 선 세그먼트를 사용해야 합니다. 각 지점의 예측 과정을 제한합니다.
위 문제를 완화하기 위해 우리는 벡터화된 고정밀 지도를 실시간으로 안정적으로 재구성할 수 있는 Anti-Disturbance Map 재구성 프레임워크(ADMap)를 혁신적으로 제안했습니다.
방법 설계
그림 2에서 볼 수 있듯이 ADMap은 MPN(Multi-Scale Perception Neck), IIA(Instance Interactive Attention) 및 벡터 방향 차이 손실(Vector Direction Difference Loss, VDDL)을 사용하여 포인트 순서를 예측합니다. 더 정확하게는 토폴로지입니다. MPN, IIA 및 VDDL은 각각 아래에 소개됩니다.
Multi-Scale Perception Neck
보다 자세한 BEV 기능을 얻기 위해 MPN(Multi-Scale Perception Neck)을 도입합니다. MPN은 융합된 BEV 기능을 입력으로 수신합니다. 다운샘플링을 통해 각 레벨의 BEV 특징을 업샘플링 레이어에 연결하여 원래 크기의 특징 맵을 복원합니다. 마지막으로, 각 수준의 기능 맵은 다중 규모 BEV 기능으로 병합됩니다.
그림 2에서 볼 수 있듯이 점선은 이 단계가 훈련 중에만 구현됨을 나타내고 실선은 이 단계가 훈련 및 추론 프로세스 중에 모두 구현됨을 나타냅니다. 훈련 과정에서 다중 스케일 BEV 특징 맵과 각 레벨의 BEV 특징 맵이 Transformer Decoder로 전송됩니다. 이를 통해 네트워크는 다양한 스케일에서 장면의 인스턴스 정보를 예측하여 보다 정제된 다중 스케일 특징을 캡처할 수 있습니다. 추론 프로세스 중에 MPN은 다중 스케일 BEV 기능만 유지하고 각 수준에서 기능 맵을 출력하지 않습니다. 이렇게 하면 추론 중에 목의 리소스 사용량이 변경되지 않습니다.
Transformer Decoder
Transformer Decoder는 인스턴스 수준 쿼리 집합과 포인트 수준 쿼리 집합을 정의합니다. 그런 다음 이러한 계층적 쿼리는 다음과 같이 정의됩니다.
디코더는 계층적 쿼리를 반복적으로 업데이트하는 여러 계단식 디코딩 레이어로 구성됩니다. 각 디코딩 레이어에서 계층적 쿼리는 self-attention 메커니즘에 입력되어 계층적 쿼리 간에 정보가 교환될 수 있습니다. Deformable Attention은 계층적 쿼리 및 다중 규모 BEV 기능과 상호 작용하는 데 사용됩니다.
Instance Interactive Attention
복호화 단계에서 각 인스턴스의 기능을 더 잘 얻기 위해 Instances self-attention과 Points self-attention으로 구성된 Instance Interactive Attention(IIA)을 제안했습니다. 인스턴스 수준 및 포인트 수준 임베딩을 병렬로 추출하는 MapTRv2와 달리 IIA는 계단식 쿼리 임베딩을 추출합니다. 인스턴스 임베딩 간의 기능 상호 작용은 네트워크가 포인트 수준 임베딩 간의 관계를 학습하는 데 도움이 됩니다.
그림 3에서 볼 수 있듯이 Deformable cross-attention에 의해 출력된 계층적 임베딩은 인스턴스 self-attention에 입력됩니다. 포인트 차원과 채널 차원을 병합한 후 차원 변환이 이루어집니다. 이후 계층적 임베딩은 여러 MLP로 구성된 Embed Layer에 연결되어 인스턴스 쿼리를 얻습니다. 쿼리는 Multi-head self-attention에 넣어 인스턴스 간의 토폴로지 관계를 캡처하고 인스턴스 임베딩을 얻습니다. 인스턴스 수준 정보를 포인트 수준 임베딩에 통합하기 위해 인스턴스 임베딩과 계층적 임베딩을 합산합니다. 추가된 기능은 각 인스턴스 내의 포인트 기능과 상호 작용하여 포인트 시퀀스 간의 토폴로지 관계를 더욱 세밀하게 연관시키는 Point self-attention에 입력됩니다.
벡터 방향 차이 손실
고정밀 지도에는 차선, 연석, 횡단보도를 비롯한 벡터화된 정적 지도 요소가 포함되어 있습니다. ADMap은 이러한 열린 모양(차선, 연석)과 닫힌 모양(횡단보도)에 대해 벡터 방향 차이 손실을 제안합니다. 인스턴스 내부의 포인트 시퀀스 벡터 방향을 모델링하고, 예측된 벡터 방향과 실제 벡터 방향의 차이를 통해 포인트의 방향을 보다 자세히 모니터링할 수 있습니다. 또한 실제 벡터 방향의 차이가 큰 점은 일부 장면의 토폴로지에서 급격한 변화(예측하기 어려움)를 나타내는 것으로 간주되므로 모델에서 더 많은 주의가 필요합니다. 따라서 네트워크가 이 급격한 변화 지점을 정확하게 예측할 수 있도록 실제 벡터 방향 차이가 더 큰 지점에 더 큰 가중치가 부여됩니다.
그림 4는 예측 점 시퀀스 { 및 실제 점 시퀀스 { )의 예측 벡터 선 { 및 실제 벡터 선 { )의 초기 모델링을 보여줍니다. 반대 각도가 동일한 손실을 얻지 않도록 하기 위해 벡터 선 각도 차이의 코사인을 계산합니다. θ':
여기서 함수는 벡터 선의 좌표 위치를 누적하여 정규화 작업을 나타냅니다. . 실제 인스턴스의 각 점의 벡터 각도 차이를 사용하여 서로 다른 크기의 가중치를 할당합니다. 가중치는 다음과 같이 정의됩니다.
는 인스턴스의 점 수를 나타내며, 함수는 e를 밑으로 하는 지수 함수를 나타냅니다. 첫 번째 점과 마지막 점 사이의 벡터 각도 차이를 계산할 수 없으므로 첫 번째 점과 마지막 점의 가중치를 1로 설정합니다. 지상 실제값의 벡터 각도 차이가 커지면 해당 지점에 더 큰 가중치를 부여하여 네트워크가 크게 변화하는 맵 토폴로지에 더 많은 주의를 기울이게 합니다. 포인트 시퀀스에서 각 포인트의 각도 차이 손실은 다음과 같이 정의됩니다.
손실 값의 간격을 [0.0, 2.0]으로 조정하기 위해 θ을 사용합니다. 각 점에서 인접한 벡터 선 사이의 각도 차이의 코사인을 추가함으로써 이 손실은 각 점의 기하학적 토폴로지 정보를 보다 포괄적으로 포괄합니다. 첫 번째와 마지막 두 점에는 인접한 벡터 선이 하나만 있으므로 첫 번째와 마지막 두 점의 손실은 단일 벡터 각도 차이의 코사인입니다.
실험
공정한 평가를 위해 지도 요소를 차선, 도로 경계, 횡단보도의 세 가지 유형으로 나눕니다. 평균 정확도(AP)는 맵 구성의 품질을 평가하는 데 사용되며, 예측된 포인트 순서와 실제 포인트 순서 사이의 모따기 거리의 합은 두 포인트가 일치하는지 확인하는 데 사용됩니다. 모따기 거리 임계값은 [0.5, 1.0, 1.5]로 설정되어 있으며, 이 세 가지 임계값에 따라 각각 AP를 계산하고 평균을 최종 지표로 사용합니다.
비교 실험
표 1은 nuScenes 데이터 세트에 대한 ADMap의 메트릭과 최첨단 방법을 보고합니다. 카메라 전용 프레임워크에서 ADMap의 mAP는 기준선(MapTR)에 비해 5.5% 증가했고, ADMapv2는 기준선(MapTRv2)에 비해 1.4% 증가했습니다. ADMapv2는 최대 mAP가 82.8%로 현재 벤치마크 중 최고의 성능을 달성합니다. 일부 세부 사항은 후속 arxiv 버전에서 발표될 예정입니다. 속도 측면에서 ADMap은 약간 낮은 FPS에서 기준에 비해 모델 성능을 크게 향상시킵니다. ADMapv2는 성능을 향상시킬 뿐만 아니라 모델 추론 속도도 향상시킨다는 점을 언급할 가치가 있습니다.
표 2는 Argoverse2의 ADMap 및 최첨단 방법의 메트릭을 보고합니다. 카메라 전용 프레임워크에서 ADMap과 ADMapv2는 기준선에 비해 각각 3.4%, 1.3% 향상되었습니다. 다중 모드 프레임워크에서 ADMap과 ADMapv2는 mAP가 각각 75.2%와 76.9%로 최고의 성능을 달성했습니다. 속도면에서. ADMapv2는 MapTRv2에 비해 11.4ms 향상되었습니다.
절제 실험
표 3에서는 nuScenes 벤치마크에서 ADMap의 각 모듈에 대한 절제 실험을 제공합니다.
표 4는 다양한 주의 메커니즘을 삽입하는 것이 최종 성능에 미치는 영향을 보여줍니다. DSA는 분리된 자기 주의를 나타내고 IIA는 대화형 주의를 나타냅니다. 결과는 IIA가 DSA에 비해 mAP를 1.3% 향상시키는 것으로 나타났습니다.
표 5는 기능 병합 후 mAP에 백본 및 넥 레이어를 추가할 때의 영향을 보고합니다. SECOND를 기준으로 backbone과 neck 레이어를 추가한 후 mAP가 1.2% 증가했습니다. MPN을 추가한 후 추론 시간을 늘리지 않고도 모델의 mAP가 2.0% 증가했습니다.
표 6은 nuScenes 벤치마크에 VDDL을 추가했을 때의 성능 영향을 보고합니다. 가중치를 1.0으로 설정했을 때 mAP가 53.3%로 가장 높은 것을 알 수 있다.
표 7은 MPN 다운샘플링 레이어 수가 nuScenes 벤치마크의 최종 성능에 미치는 영향을 보고합니다. 다운샘플링 레이어가 많을수록 모델 추론 속도가 느려집니다. 따라서 속도와 성능의 균형을 맞추기 위해 다운샘플링 레이어 수를 2로 설정했습니다.
ADMap이 점 순서 교란 문제를 효과적으로 완화하는지 검증하기 위해 평균 모따기 거리(ACE)를 제안했습니다. 모따기 거리의 합이 1.5 미만인 예측 인스턴스를 선택하고 평균 모따기 거리(ACE)를 계산했습니다. ACE가 작을수록 인스턴스 포인트 순서 예측이 더 정확해집니다. 표 8은 ADMap이 포인트 클라우드 교란 문제를 효과적으로 완화할 수 있음을 입증합니다.
시각화 결과
다음 두 그림은 nuScenes 데이터 세트와 Argoverse2 데이터 세트의 시각화 결과를 보여줍니다.
Summary
ADMap은 예측 편향으로 인해 인스턴스 벡터의 포인트 순서에서 발생할 수 있는 지터 또는 들쭉날쭉한 현상을 효과적으로 완화하는 효율적이고 효과적인 벡터화 고정밀 맵 재구성 프레임워크입니다. 광범위한 실험을 통해 우리가 제안한 방법이 nuScenes 및 Argoverse2 벤치마크 모두에서 최고의 성능을 달성하는 것으로 나타났습니다. 우리는 ADMap이 벡터 고정밀 지도 재구성 작업에 대한 연구를 발전시켜 자율주행과 같은 분야의 발전을 더욱 촉진하는 데 도움이 될 것이라고 믿습니다.
위 내용은 ADMap: 간섭 방지 온라인 고정밀 지도에 대한 새로운 아이디어의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

AI Hentai Generator
AI Hentai를 무료로 생성하십시오.

인기 기사

뜨거운 도구

메모장++7.3.1
사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경

드림위버 CS6
시각적 웹 개발 도구

SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)

뜨거운 주제











기존 컴퓨팅을 능가할 뿐만 아니라 더 낮은 비용으로 더 효율적인 성능을 달성하는 인공 지능 모델을 상상해 보세요. 이것은 공상과학 소설이 아닙니다. DeepSeek-V2[1], 세계에서 가장 강력한 오픈 소스 MoE 모델이 여기에 있습니다. DeepSeek-V2는 경제적인 훈련과 효율적인 추론이라는 특징을 지닌 전문가(MoE) 언어 모델의 강력한 혼합입니다. 이는 236B 매개변수로 구성되며, 그 중 21B는 각 마커를 활성화하는 데 사용됩니다. DeepSeek67B와 비교하여 DeepSeek-V2는 더 강력한 성능을 제공하는 동시에 훈련 비용을 42.5% 절감하고 KV 캐시를 93.3% 줄이며 최대 생성 처리량을 5.76배로 늘립니다. DeepSeek은 일반 인공지능을 연구하는 회사입니다.

이달 초 MIT와 기타 기관의 연구자들은 MLP에 대한 매우 유망한 대안인 KAN을 제안했습니다. KAN은 정확성과 해석성 측면에서 MLP보다 뛰어납니다. 그리고 매우 적은 수의 매개변수로 더 많은 수의 매개변수를 사용하여 실행되는 MLP보다 성능이 뛰어날 수 있습니다. 예를 들어 저자는 KAN을 사용하여 더 작은 네트워크와 더 높은 수준의 자동화로 DeepMind의 결과를 재현했다고 밝혔습니다. 구체적으로 DeepMind의 MLP에는 약 300,000개의 매개변수가 있는 반면 KAN에는 약 200개의 매개변수만 있습니다. KAN은 MLP와 같이 강력한 수학적 기반을 가지고 있으며, KAN은 Kolmogorov-Arnold 표현 정리를 기반으로 합니다. 아래 그림과 같이 KAN은

Boston Dynamics Atlas가 공식적으로 전기 로봇 시대에 돌입했습니다! 어제 유압식 Atlas가 역사의 무대에서 "눈물을 흘리며" 물러났습니다. 오늘 Boston Dynamics는 전기식 Atlas가 작동 중이라고 발표했습니다. 상업용 휴머노이드 로봇 분야에서는 보스턴 다이내믹스가 테슬라와 경쟁하겠다는 각오를 다진 것으로 보인다. 새 영상은 공개된 지 10시간 만에 이미 100만 명이 넘는 조회수를 기록했다. 옛 사람들은 떠나고 새로운 역할이 등장하는 것은 역사적 필연이다. 올해가 휴머노이드 로봇의 폭발적인 해라는 것은 의심의 여지가 없습니다. 네티즌들은 “로봇의 발전으로 올해 개막식도 인간처럼 생겼고, 자유도도 인간보다 훨씬 크다. 그런데 정말 공포영화가 아닌가?”라는 반응을 보였다. 영상 시작 부분에서 아틀라스는 바닥에 등을 대고 가만히 누워 있는 모습입니다. 다음은 입이 떡 벌어지는 내용이다

AI는 실제로 수학을 변화시키고 있습니다. 최근 이 문제에 주목하고 있는 타오저쉬안(Tao Zhexuan)은 '미국수학회지(Bulletin of the American Mathematical Society)' 최신호를 게재했다. '기계가 수학을 바꿀 것인가?'라는 주제를 중심으로 많은 수학자들이 그들의 의견을 표현했습니다. 저자는 필즈상 수상자 Akshay Venkatesh, 중국 수학자 Zheng Lejun, 뉴욕대학교 컴퓨터 과학자 Ernest Davis 등 업계의 유명 학자들을 포함해 강력한 라인업을 보유하고 있습니다. AI의 세계는 극적으로 변했습니다. 이 기사 중 상당수는 1년 전에 제출되었습니다.

Google이 추진하는 JAX의 성능은 최근 벤치마크 테스트에서 Pytorch와 TensorFlow를 능가하여 7개 지표에서 1위를 차지했습니다. 그리고 JAX 성능이 가장 좋은 TPU에서는 테스트가 이루어지지 않았습니다. 개발자들 사이에서는 여전히 Tensorflow보다 Pytorch가 더 인기가 있습니다. 그러나 앞으로는 더 큰 모델이 JAX 플랫폼을 기반으로 훈련되고 실행될 것입니다. 모델 최근 Keras 팀은 기본 PyTorch 구현을 사용하여 세 가지 백엔드(TensorFlow, JAX, PyTorch)와 TensorFlow를 사용하는 Keras2를 벤치마킹했습니다. 첫째, 그들은 주류 세트를 선택합니다.

테슬라의 로봇 옵티머스(Optimus)의 최신 영상이 공개됐는데, 이미 공장에서 작동이 가능한 상태다. 정상 속도에서는 배터리(테슬라의 4680 배터리)를 다음과 같이 분류합니다. 공식은 또한 20배 속도로 보이는 모습을 공개했습니다. 작은 "워크스테이션"에서 따고 따고 따고 : 이번에 출시됩니다. 영상에는 옵티머스가 공장에서 이 작업을 전 과정에 걸쳐 사람의 개입 없이 완전히 자율적으로 완료하는 모습이 담겨 있습니다. 그리고 Optimus의 관점에서 보면 자동 오류 수정에 중점을 두고 구부러진 배터리를 집어 넣을 수도 있습니다. NVIDIA 과학자 Jim Fan은 Optimus의 손에 대해 높은 평가를 했습니다. Optimus의 손은 세계의 다섯 손가락 로봇 중 하나입니다. 가장 능숙합니다. 손은 촉각적일 뿐만 아니라

본 논문에서는 자율 주행에서 다양한 시야각(예: 원근 및 조감도)에서 객체를 정확하게 감지하는 문제, 특히 원근(PV) 공간에서 조감(BEV) 공간으로 기능을 효과적으로 변환하는 방법을 탐구합니다. VT(Visual Transformation) 모듈을 통해 구현됩니다. 기존 방법은 크게 2D에서 3D로, 3D에서 2D로 변환하는 두 가지 전략으로 나뉩니다. 2D에서 3D로의 방법은 깊이 확률을 예측하여 조밀한 2D 특징을 개선하지만, 특히 먼 영역에서는 깊이 예측의 본질적인 불확실성으로 인해 부정확성이 발생할 수 있습니다. 3D에서 2D로의 방법은 일반적으로 3D 쿼리를 사용하여 2D 기능을 샘플링하고 Transformer를 통해 3D와 2D 기능 간의 대응에 대한 주의 가중치를 학습하므로 계산 및 배포 시간이 늘어납니다.

표적 탐지는 자율주행 시스템에서 상대적으로 성숙한 문제이며, 그 중 보행자 탐지는 가장 먼저 배포되는 알고리즘 중 하나입니다. 대부분의 논문에서 매우 포괄적인 연구가 수행되었습니다. 그러나 서라운드 뷰를 위한 어안 카메라를 사용한 거리 인식은 상대적으로 덜 연구되었습니다. 큰 방사형 왜곡으로 인해 표준 경계 상자 표현은 어안 카메라에서 구현하기 어렵습니다. 위의 설명을 완화하기 위해 확장된 경계 상자, 타원 및 일반 다각형 디자인을 극/각 표현으로 탐색하고 인스턴스 분할 mIOU 메트릭을 정의하여 이러한 표현을 분석합니다. 제안된 다각형 형태의 모델 fisheyeDetNet은 다른 모델보다 성능이 뛰어나며 동시에 자율 주행을 위한 Valeo fisheye 카메라 데이터 세트에서 49.5% mAP를 달성합니다.
