이 글을 통해 자율주행에 대한 이해를 쉽게 할 수 있습니다.
자율주행의 원리는 자율주행의 아키텍처에서 가장 잘 이해되는 경우가 많습니다. 대중이 자율주행에 대해 가장 간단하고 이해하기 쉬운 것은 인식, 의사결정, 실행입니다. 모든 로봇은 이런 구조를 가지고 있습니다.
- 인식은 인간의 눈과 귀와 마찬가지로 주변에 무엇이 있는지에 대한 질문에 답합니다. 카메라, 레이더, 지도 등을 통해 주변 장애물과 도로에 대한 정보를 얻습니다.
- 의사결정은 내가 무엇을 하고 싶은지에 대한 질문에 답하는 역할을 하는데, 이는 뇌와 유사합니다. 감지된 정보를 분석하여 경로와 차량 속도를 생성합니다.
- 실행은 손과 발과 유사하며 의사 결정 정보를 브레이크, 가속기 및 조향 신호로 변환하여 예상대로 운전하도록 차량을 제어합니다.
다음으로 더 깊이 들어가 보면 문제가 좀 더 복잡해지기 시작합니다.
우리는 일상생활에서 매 순간 눈에 보이는 정보를 바탕으로 다음 결정을 내린다고 직관적으로 생각할 수도 있지만 그렇지 않은 경우가 많습니다. 눈에서 머리, 손과 발까지 늘 시간의 지연이 존재하는데, 자율주행 역시 마찬가지다. 하지만 우리의 뇌는 자동으로 예측을 처리하기 때문에 그 영향을 느끼지 못합니다. 단 몇 밀리초라도 우리의 결정은 우리 손과 발의 작동을 안내하기 위해 우리가 보는 것에 대한 예측에 기초합니다. 이것이 우리가 정상적인 기능을 유지하는 기초입니다. 따라서 자율주행 결정 전 예측 모듈을 추가할 예정이다.
지각 과정에는 우주도 포함되어 있으며, 자세히 살펴보면 "감각"과 "지각"의 두 단계로 나눌 수 있습니다. "센싱"은 사진과 같은 센서로부터 원시 데이터를 얻는 반면, "인식"은 사진에서 유용한 정보(예: 사진에 사람이 몇 명 있는지 등)를 처리합니다. 옛말에 “보는 것이 믿고 듣는 것이 믿는 것이다”라는 말이 있습니다. '인식'이라는 유용한 정보는 다시 자율주행차 인지와 외부 인지로 나눌 수 있습니다. 사람이나 자율주행차는 이 두 가지 유형의 정보를 처리할 때 서로 다른 전략을 사용하는 경우가 많습니다.
- 자체 차량 인식 - 항상 수용체에 의해 획득되는 정보(카메라, 레이더, GPS 등 포함)
- 외부 인식 - 외부 에이전트 또는 과거 기억에 의해 수집 및 처리되는 정보( 위치, 지도 포함) , 차량 연동 정보 등), 자가 차량 위치 감지(GPS) 입력이 필수입니다.
또한 다양한 센서가 알고리즘을 통해 처리하는 장애물, 차선 및 기타 정보에 대한 정보가 모순되는 경우가 많습니다. 레이더가 전방에 장애물을 감지했지만 카메라는 장애물이 없다고 알려주는 경우 "퓨전" 모듈을 추가해야 합니다. 일관되지 않은 정보에 대해 더 많은 연결과 판단을 내립니다.
여기서 우리는 종종 "융합과 예측"을 "세계 모델"로 요약합니다. 물질주의자이든 이상주의자이든 이 말은 매우 생생하다. 모든 "세계"를 뇌에 담는 것은 불가능하지만, 우리의 일과 삶을 이끄는 것은 "세계"의 "모델", 즉 우리가 태어난 후에 보는 것을 처리하고 점차 모델을 구축하는 것입니다. 우리 마음 속에는 세계에 대한 도교의 이해가 "내면의 관점"이라고 불립니다. 세계 모델의 핵심 책임은 '융합'을 통해 현재 환경 요소의 속성과 관계를 이해하고, '선험적 법칙'과 연계하여 '예측'을 하여 의사 결정 실행에 보다 여유로운 판단을 제공하는 것입니다. 범위는 몇 밀리초에서 몇 시간까지 가능합니다.
월드 모델의 추가로 인해 건축물 전체가 더욱 풍성해졌지만, 흔히 간과되는 디테일이 또 있습니다. 그것이 바로 정보의 흐름이다. 간단히 이해하면 사람들은 눈을 통해 사물을 인식하고 뇌에서 처리한 다음 실행을 위해 손과 발에 넘겨준다는 것입니다. 그러나 실제 상황은 더 복잡한 경우가 많습니다. 여기에는 완전히 반대되는 정보 흐름을 구성하는 두 가지 전형적인 행동, 즉 "목표 달성 계획"과 "주의 전환"이 있습니다.
'목표 달성 계획'을 어떻게 이해하나요? 사실 생각의 시작은 인식이 아니라 '목표'이다. 목표가 있어야만 의미 있는 '인식-결정-실행' 과정을 촉발할 수 있습니다. 예를 들어, 목적지까지 운전하고 싶다면 여러 경로를 알고 있을 수 있으며, 최종적으로 그 경로 중 하나를 선택하게 됩니다. 혼잡 상황. 혼잡은 세계 모델에 속하는 반면, "도착"은 결정에 속합니다. 이는 결정이 월드 모델로 전달되는 프로세스입니다.
"주의 전환"을 이해하는 방법은 무엇입니까? 그림이라 할지라도 그 안에 숨겨진 모든 정보를 인간이나 기계 모두 얻을 수는 없습니다. 필요와 상황에 따라 시작하여 제한된 범위와 제한된 범주에 집중하는 경향이 있습니다. 이 정보는 그림 자체에서 얻을 수 있는 것이 아니라 '세계 모델'과 '목표'에서 나온다. 의사 결정부터 세계 모델, 그리고 인식에 이르는 과정이다.
몇 가지 필요한 정보를 추가하고 전체 구조를 재정렬하면 다음과 같죠? 아직 끝나지 않았으니 계속 지켜보도록 하겠습니다.
자율주행 알고리즘도 뇌와 마찬가지로 처리 시간이 필요합니다. 일반적인 주기는 10ms~100ms 사이로 환경 변화에 대한 대응 요구 사항을 충족할 수 있습니다. 하지만 환경은 때로는 단순할 때도 있고, 때로는 매우 복잡할 때도 있습니다. 많은 알고리즘 모듈이 이 시간 요구 사항을 충족할 수 없습니다. 예를 들어, 삶의 의미에 대해 생각하는 것은 100ms 안에 이루어질 수 있는 일이 아닐 수도 있습니다. 삶의 모든 단계에 대해 생각해야 한다면 그것은 일종의 뇌 파괴일 것입니다. 컴퓨터의 경우에도 컴퓨팅 성능과 속도에는 물리적인 한계가 있습니다. 해결책은 계층화된 프레임워크를 도입하는 것입니다.
이 계층화된 메커니즘은 일반적으로 처리 주기를 3~10배 단축합니다. 물론 실제 프레임워크에 완전히 나타날 필요는 없습니다. 온보드에 따라 프로젝트가 유연하게 조정될 수 있습니다. 리소스 및 알고리즘 사용. 기본적으로 지각은 주의를 기반으로 특정 요소를 지속적으로 개선하여 '깊이와 방향'이 있는 지각 정보를 제공하는 상향 과정입니다. 의사결정은 하향 과정으로, 다양한 수준의 세계 모델에 따라 목표에서 각 실행 단위까지의 작업을 계층별로 분해합니다. 세계 모델은 일반적으로 특정 흐름 방향이 없으며 다양한 세부 규모로 환경 정보를 구성하는 데 사용됩니다.
처리 업무의 복잡성에 따라 분업과 의사소통 환경도 적절하게 거세하고 병합할 예정입니다. 예를 들어, 낮은 수준의 ADAS 기능(ACC)은 더 적은 컴퓨팅 성능을 필요로 하며 단 하나의 계층으로 설계할 수 있습니다. 고급 ADAS 기능(AutoPilot)에는 일반적으로 두 가지 수준의 구성이 있습니다. 자율주행 기능은 복잡한 알고리즘이 많고 때로는 3계층 설계가 필요할 때도 있다. 소프트웨어 아키텍처 설계에는 월드 모델과 동일한 레이어의 인식 또는 의사 결정 모듈이 병합되는 상황도 있습니다.
다양한 자율주행 회사나 업계 표준이 각자의 소프트웨어 아키텍처 설계를 공개하지만 이는 현 상황에 따른 거세의 결과인 경우가 많으며 보편적이지 않습니다. 하지만 모든 분들의 이해를 돕기 위해 저는 이렇게 말씀드립니다. 그래도 현재의 주류 기능 모듈이 대체됩니다. 원리를 이해하는 데 더 도움이 될 비교 관계를 살펴보겠습니다.
이것은 이미 약간의 소프트웨어 아키텍처를 의미하지만 실제 소프트웨어 아키텍처 설계는 이보다 훨씬 더 복잡합니다. 모든 세부 사항을 확장하되 혼동되기 쉬운 부분에 집중하세요. 아래에서 집중적으로 살펴보겠습니다.
환경 인식-딥 러닝의 모든 것
무인 차량이 환경을 이해하고 파악하기 위해서는 일반적으로 무인 운전 시스템의 환경 인식 부분이 장애물의 위치, 속도, 물체의 정확한 형태 등 주변 환경에 대한 많은 양의 정보를 획득해야 합니다. 전방 차선 및 대기 간판의 위치 유형입니다. 이 정보는 일반적으로 LiDAR, 주변/서라운드 카메라, 밀리미터파 레이더와 같은 여러 센서의 데이터를 융합하여 얻습니다.
딥러닝의 발전으로 신경망 알고리즘을 통한 자율주행 구축을 완성하는 것이 업계 전반의 공감대가 되었습니다. 인식 모듈의 알고리즘은 전체 딥 러닝 프로세스의 "전당포"이며 변환을 완료하는 최초의 소프트웨어 모듈입니다.
위치 지도와 V2X-자체 차량 감지 및 외부 인식의 관계와 차이점
전통적인 의미에서 외부 인식은 GPS 측위 신호를 기반으로 고정밀 지도와 차량 인터넷 메시지를 결합한 것입니다. (V2X) 및 기타 절대 좌표계를 차량의 센싱 소스로 자체 차량 좌표계로 변환합니다. 사람들이 사용하는 Amap 네비게이터와 유사합니다. 원래 자율주행 좌표계에 존재하는 '자율주행 인식' 정보와 결합해 자율주행을 위한 환경정보를 제공한다.
그러나 실제 설계는 GPS의 신뢰성이 낮기 때문에 더 복잡한 경우가 많습니다. 대량 생산되는 자율 주행 포지셔닝은 정확한 절대 위치를 정확하게 얻기 위해 인식 맵 매칭을 사용하는 경우가 많습니다. 인지 결과를 이용하여 IMU를 보정하고 GPS-IMU로 구성된 INS 시스템과 중복성을 형성합니다. 따라서 '외부 인식'에 필요한 측위 신호는 '자체 차량 인식' 정보에 의존하는 경우가 많습니다.
또한 지도는 엄격하게 "세계 모델"의 일부이지만 GPS의 민감성으로 인해 국내 소프트웨어 구현 과정에서 위치 확인 모듈과 지도 모듈이 통합되어 모든 GPS 데이터가 편향됩니다. 민감한 위치 정보가 유출되지 않도록 합니다.
융합 예측 모듈 - 핵심 초점은 둘 사이의 차이
융합의 핵심은 두 가지 문제를 해결하는 것입니다. 하나는 좌표계 변환 알고리즘을 사용하여 시간과 공간 동기화 문제입니다. 그리고 소프트웨어와 하드웨어 협업의 시간 동기화 알고리즘은 우선 라이다, 카메라, 밀리미터파 레이더 등의 감지 측정 결과를 시공간 지점에 정렬하여 전체 환경 인식의 원본 데이터의 통일성을 보장합니다. 다른 하나는 연관 및 이상 제거 문제를 해결하고, 동일한 "세계 모델" 요소(사람/차로 등)에 매핑된 서로 다른 센서의 연관을 처리하고, 오감지로 인해 발생할 수 있는 이상을 제거하는 것입니다. 단일 센서. 그러나 융합과 예측의 근본적인 차이점은 과거와 현재 순간의 정보만 처리하고 외부 순간은 처리하지 않는다는 점이다.
예측은 융합 결과를 바탕으로 미래 시간을 판단합니다. 이 미래 시간 범위는 10ms에서 5분입니다. 여기에는 신호등 예측, 주변 장애물의 주행 경로 예측, 원거리 코너링 위치 예측 등이 포함됩니다. 다양한 기간에 대한 예측은 해당 기간에 대한 계획과 다양한 세부사항에 대한 예측을 제공하므로 계획 조정을 위한 더 많은 공간을 제공합니다.
계획 제어 - 계층적 전략 분해
계획은 자율 차량이 특정 목표를 위해 의도적인 결정을 내리는 프로세스입니다. 자율 차량의 경우 이 목표는 일반적으로 출발점에서 목적지까지 이동하는 것을 의미합니다. 장애물을 피하고 주행 궤적과 행동을 지속적으로 최적화하여 승객의 안전과 편안함을 보장합니다. 계획의 구조적 요약은 서로 다른 세분성의 환경을 기반으로 정보를 통합하고, 외부 목표에서 시작하여 계층별 평가 및 분해를 수행하고, 최종적으로 실행자에게 전달하여 완전한 의사 결정을 내리는 것입니다.
세분화하면 계획 모듈은 일반적으로 임무 계획, 행동 계획 및 모션 계획의 세 가지 계층으로 구분됩니다. 임무 계획의 핵심은 도로 네트워크와 개별 경로를 기반으로 하며 검색 알고리즘이 전역 경로를 획득합니다. 종종 긴 주기를 갖는 대규모 작업 유형 행동 계획은 차량이 중간 주기(왼쪽 차선 변경, 우회로 방지, E-STOP)에서 취해야 하는 특정 행동을 결정하기 위해 유한 상태 기계를 기반으로 합니다. 일부 경계 매개변수와 대략적인 경로 범위를 설정합니다. 동작 계획 계층은 궁극적으로 편안함과 안전 요구 사항을 충족하는 유일한 경로를 얻기 위해 샘플링 또는 최적화 방법을 기반으로 하는 경우가 많습니다. 마지막으로 제어 모듈에 넘겨져 피드포워드 예측 및 피드백 제어 알고리즘을 통해 고유한 경로를 따르고 브레이크, 조향, 스로틀, 차체 및 기타 액추에이터를 조작하여 최종적으로 명령을 실행합니다.
어느 정도 이해하셨는지 모르겠지만, 위의 내용은 자율주행의 원리에 대한 소개일 뿐입니다. 위의 내용은 비교적 기초적이지만 현재 자율주행의 이론, 알고리즘, 아키텍처는 매우 빠르게 발전하고 있습니다. 지식 포인트, 오랫동안 낡지 않을 것입니다. 그러나 새로운 요구로 인해 자율 주행의 아키텍처와 원리에 대한 많은 새로운 이해가 이루어졌습니다.
위 내용은 이 글을 통해 자율주행에 대한 이해를 쉽게 할 수 있습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

AI Hentai Generator
AI Hentai를 무료로 생성하십시오.

인기 기사

뜨거운 도구

메모장++7.3.1
사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경

드림위버 CS6
시각적 웹 개발 도구

SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)

뜨거운 주제









위에 작성됨 및 저자의 개인적인 이해 3DGS(3차원 가우스플래팅)는 최근 몇 년간 명시적 방사선장 및 컴퓨터 그래픽 분야에서 등장한 혁신적인 기술입니다. 이 혁신적인 방법은 수백만 개의 3D 가우스를 사용하는 것이 특징이며, 이는 주로 암시적 좌표 기반 모델을 사용하여 공간 좌표를 픽셀 값에 매핑하는 NeRF(Neural Radiation Field) 방법과 매우 다릅니다. 명시적인 장면 표현과 미분 가능한 렌더링 알고리즘을 갖춘 3DGS는 실시간 렌더링 기능을 보장할 뿐만 아니라 전례 없는 수준의 제어 및 장면 편집 기능을 제공합니다. 이는 3DGS를 차세대 3D 재구성 및 표현을 위한 잠재적인 게임 체인저로 자리매김합니다. 이를 위해 우리는 처음으로 3DGS 분야의 최신 개발 및 관심사에 대한 체계적인 개요를 제공합니다.

어제 인터뷰 도중 롱테일 관련 질문을 해본 적이 있느냐는 질문을 받아서 간략하게 요약해볼까 생각했습니다. 자율주행의 롱테일 문제는 자율주행차의 엣지 케이스, 즉 발생 확률이 낮은 가능한 시나리오를 말한다. 인지된 롱테일 문제는 현재 단일 차량 지능형 자율주행차의 운영 설계 영역을 제한하는 주요 이유 중 하나입니다. 자율주행의 기본 아키텍처와 대부분의 기술적인 문제는 해결되었으며, 나머지 5%의 롱테일 문제는 점차 자율주행 발전을 제한하는 핵심이 되었습니다. 이러한 문제에는 다양한 단편적인 시나리오, 극단적인 상황, 예측할 수 없는 인간 행동이 포함됩니다. 자율 주행에서 엣지 시나리오의 "롱테일"은 자율주행차(AV)의 엣지 케이스를 의미하며 발생 확률이 낮은 가능한 시나리오입니다. 이런 희귀한 사건

0. 전면 작성&& 자율주행 시스템은 다양한 센서(예: 카메라, 라이더, 레이더 등)를 사용하여 주변 환경을 인식하고 알고리즘과 모델을 사용하는 고급 인식, 의사결정 및 제어 기술에 의존한다는 개인적인 이해 실시간 분석과 의사결정을 위해 이를 통해 차량은 도로 표지판을 인식하고, 다른 차량을 감지 및 추적하며, 보행자 행동을 예측하는 등 복잡한 교통 환경에 안전하게 작동하고 적응할 수 있게 되므로 현재 널리 주목받고 있으며 미래 교통의 중요한 발전 분야로 간주됩니다. . 하나. 하지만 자율주행을 어렵게 만드는 것은 자동차가 주변에서 일어나는 일을 어떻게 이해할 수 있는지 알아내는 것입니다. 이를 위해서는 자율주행 시스템의 3차원 객체 감지 알고리즘이 주변 환경의 객체의 위치를 포함하여 정확하게 인지하고 묘사할 수 있어야 하며,

첫 번째 파일럿 및 주요 기사에서는 주로 자율 주행 기술에서 일반적으로 사용되는 여러 좌표계를 소개하고 이들 간의 상관 관계 및 변환을 완료하고 최종적으로 통합 환경 모델을 구축하는 방법을 소개합니다. 여기서 초점은 차량에서 카메라 강체로의 변환(외부 매개변수), 카메라에서 이미지로의 변환(내부 매개변수), 이미지에서 픽셀 단위로의 변환을 이해하는 것입니다. 3D에서 2D로의 변환에는 해당 왜곡, 변환 등이 포함됩니다. 요점: 차량 좌표계와 카메라 본체 좌표계를 다시 작성해야 합니다. 평면 좌표계와 픽셀 좌표계 난이도: 이미지 평면에서 왜곡 제거와 왜곡 추가를 모두 고려해야 합니다. 2. 소개 좌표계에는 픽셀 평면 좌표계(u, v), 이미지 좌표계(x, y), 카메라 좌표계(), 월드 좌표계() 등 총 4가지 비전 시스템이 있습니다. 각 좌표계 사이에는 관계가 있으며,

자율주행 궤적 예측은 차량의 주행 과정에서 발생하는 다양한 데이터를 분석하여 차량의 향후 주행 궤적을 예측하는 것을 의미합니다. 자율주행의 핵심 모듈인 궤도 예측의 품질은 후속 계획 제어에 매우 중요합니다. 궤적 예측 작업은 풍부한 기술 스택을 보유하고 있으며 자율 주행 동적/정적 인식, 고정밀 지도, 차선, 신경망 아키텍처(CNN&GNN&Transformer) 기술 등에 대한 익숙함이 필요합니다. 시작하기가 매우 어렵습니다! 많은 팬들은 가능한 한 빨리 궤도 예측을 시작하여 함정을 피하기를 희망합니다. 오늘은 궤도 예측을 위한 몇 가지 일반적인 문제와 입문 학습 방법을 살펴보겠습니다. 관련 지식 입문 1. 미리보기 논문이 순서대로 되어 있나요? A: 먼저 설문조사를 보세요, p

원제목: SIMPL: ASimpleandEfficientMulti-agentMotionPredictionBaselineforAutonomousDriving 논문 링크: https://arxiv.org/pdf/2402.02519.pdf 코드 링크: https://github.com/HKUST-Aerial-Robotics/SIMPL 저자 단위: Hong Kong University of Science 및 기술 DJI 논문 아이디어: 이 논문은 자율주행차를 위한 간단하고 효율적인 모션 예측 기준선(SIMPL)을 제안합니다. 기존 에이전트 센트와 비교

전면 및 시작점 작성 엔드 투 엔드 패러다임은 통합 프레임워크를 사용하여 자율 주행 시스템에서 멀티 태스킹을 달성합니다. 이 패러다임의 단순성과 명확성에도 불구하고 하위 작업에 대한 엔드투엔드 자율 주행 방법의 성능은 여전히 단일 작업 방법보다 훨씬 뒤떨어져 있습니다. 동시에 이전 엔드투엔드 방법에서 널리 사용된 조밀한 조감도(BEV) 기능으로 인해 더 많은 양식이나 작업으로 확장하기가 어렵습니다. 여기서는 희소 검색 중심의 엔드 투 엔드 자율 주행 패러다임(SparseAD)이 제안됩니다. 여기서 희소 검색은 밀집된 BEV 표현 없이 공간, 시간 및 작업을 포함한 전체 운전 시나리오를 완전히 나타냅니다. 특히 통합 스파스 아키텍처는 탐지, 추적, 온라인 매핑을 포함한 작업 인식을 위해 설계되었습니다. 게다가 무겁다.

지난 달에는 몇 가지 잘 알려진 이유로 업계의 다양한 교사 및 급우들과 매우 집중적인 교류를 가졌습니다. 교환에서 피할 수 없는 주제는 자연스럽게 엔드투엔드와 인기 있는 Tesla FSDV12입니다. 저는 이 기회를 빌어 여러분의 참고와 토론을 위해 지금 이 순간 제 생각과 의견을 정리하고 싶습니다. End-to-End 자율주행 시스템을 어떻게 정의하고, End-to-End 해결을 위해 어떤 문제가 예상되나요? 가장 전통적인 정의에 따르면, 엔드 투 엔드 시스템은 센서로부터 원시 정보를 입력하고 작업과 관련된 변수를 직접 출력하는 시스템을 의미합니다. 예를 들어 이미지 인식에서 CNN은 기존의 특징 추출 + 분류기 방식에 비해 end-to-end 방식으로 호출할 수 있습니다. 자율주행 작업에서는 다양한 센서(카메라/LiDAR)로부터 데이터를 입력받아
