좌표계 변환을 실제로 마스터하셨나요? 자율주행에 필수불가결한 멀티센서 이슈

1 소개 및 핵심 포인트

본 글에서는 자율주행 기술에서 일반적으로 사용되는 여러 좌표계를 주로 소개하고, 이들 간의 상관관계와 변환을 완성하고 최종적으로 통합 환경 모델을 구축하는 방법을 소개합니다. 여기서 초점은 차량에서 카메라 강체로의 변환(외부 매개변수), 카메라에서 이미지로의 변환(내부 매개변수), 이미지에서 픽셀 단위로의 변환을 이해하는 것입니다. 3D에서 2D로의 변환에는 해당 왜곡, 변환 등이 포함됩니다. 핵심:자체 좌표계
카메라 본체 좌표계수정해야 할 것:평면 좌표계픽셀 좌표계난이도:영상 왜곡을 고려해야 하며, 왜곡 제거와 왜곡 추가가 모두 필요합니다. 이미지 평면에서 보상됨

II 소개

시각 시스템에는 픽셀 평면 좌표계(u, v), 이미지 좌표계(x, y), 카메라 좌표계() 및 세계 좌표계()의 네 가지 좌표계가 있습니다. ). 각 좌표계 사이에는 연결이 있으므로 이미지 픽셀 좌표를 통해 세계 좌표계의 좌표를 찾는 방법은 카메라 보정을 통해 해결해야 합니다. 알고리즘의 핵심 부분은 좌표계 변환

에 있으며 변환이 필요합니다.

동차좌표 표현이 완성되었습니다. 3개의 센서 좌표계

3.1 카메라 좌표계

카메라의 기능은 3차원 세계의 모양과 색상 정보를 2차원 이미지

로 압축하는 것입니다. 카메라 기반의 인식 알고리즘은 차선, 차량, 보행자 등 2차원 영상에서 3차원 세계의 요소와 정보를 추출 및 복원하고 그 상대적인 위치를 스스로 계산합니다.

지각 알고리즘과 카메라에 관련된 좌표계에는 이미지 좌표계(픽셀 좌표계)와 카메라 좌표계가 포함됩니다. 다시 작성해야 할 것은 평면 좌표계

3.1.1 이미지 좌표계입니다. (또는 픽셀 좌표계)

컴퓨터에 저장된 사진이나 이미지의 경우 일반적으로 왼쪽 상단이 원점이며 양의 x 방향이 오른쪽, 양의 y 방향이 아래쪽을 의미하는 단위입니다. "픽셀"입니다. 이미지 좌표계는 (Xv, Yv)로 표시된 2차원 좌표계입니다. 다시 작성해야 하는 내용은 다음과 같습니다. 3.1.2 카메라 좌표계

이미지 좌표계의 x축이 오른쪽이고 y축이 아래쪽이므로 카메라 좌표계는 렌즈의 주요 광축 중심을 원점으로 합니다. 일반적으로 양의 방향은 x축 오른쪽, 양의 방향은 y축 아래쪽, 양의 방향은 z축 앞쪽입니다. 이러한 방식으로 x 및 y 방향은 이미지 좌표계의 방향과 일치하고 z 방향은 피사계 심도를 나타냅니다. 카메라 좌표계는 (Xc, Yc)다음과 같이 표현할 수 있습니다. 다시 작성해야 할 내용은 다음과 같습니다. 3.1.3 다시 작성해야 할 내용은 평면 좌표계(또는 이미징 좌표계)

순서입니다. 정량적 설명을 할 수 있으려면 3차원 공간에서 2차원 이미지로의 매핑 관계, 다시 작성해야 할 것이 그래픽에 도입됩니다: 평면 좌표계. 이는 카메라 좌표계의 변환입니다. 중심은 여전히 ​​카메라의 기본 광축에 있습니다. 광축 중심으로부터의 거리는 카메라의 초점 거리와 같습니다. 광축 중심 뒤에 있는 필름의 축소된 반전 이미지는 실제 이미지 평면(Xf, Yf)입니다. 그러나 분석 및 계산의 편의를 위해 광축 중심 앞에 허상면을 설정하겠습니다. 가상 이미지 평면의 이미지는 실제 반전 이미지와 동일한 크기의 직립 이미지입니다.

다시 작성해야 할 사항은 다음과 같습니다. 평면 좌표계3.5 세계 좌표계

특정 상황에 따라 다름 , 카메라로 인해 도입된 모든 객체를 나타낼 수 있습니다. 단위는 미터입니다

세계 좌표계

, 카메라 좌표계

, 이미징 좌표계

및 픽셀 좌표계

4개의 Lidar 좌표계

Lidar(빛 감지 및 범위 지정)는 입니다. 레이저 빔을 사용하여 물체까지의 거리를 측정하는 원격 감지 기술 . 360도 회전으로 광선을 방출하고 다양한 대상 반사율의 다양한 반사를 기반으로 전기 구름을 형성합니다. 자율주행 및 로봇공학 분야에서 Lidar는 주변 환경의 3D 정보를 획득하기 위한 메인 센서로 자주 사용됩니다. 대부분의 경우 Lidar 좌표계는 오른손잡이이지만 구체적인 정의는 Lidar 제조업체에 따라 다를 수 있습니다.

4.1 정의

X축: 일반적으로 Lidar 앞을 가리킵니다. 레이저 빔이 정면으로 발사되면 해당 방향에서 측정된 거리가 X축에 양의 값을 생성합니다. Y 축: 일반적으로 Lidar의 왼쪽을 가리킵니다. 레이저 빔이 바로 왼쪽으로 발사되면 해당 방향에서 측정된 거리가 Y축에 양수 값을 생성합니다. Z축: 일반적으로 X 및 Y축에 수직인 Lidar 위쪽을 가리킵니다. 높이 측정은 일반적으로 Z축을 따라 이루어지며 양수 값은 물체가 Lidar 장치보다 높음을 나타내고 음수 값은 Lidar 장치보다 낮음을 나타냅니다.

4.2 중요성

• 차량 탑재 Lidar 시스템의 좌표계는 차량 좌표계와 완전히 정렬되지 않을 수 있으며 둘 사이의 좌표 변환을 수행하려면 변환 행렬이 필요합니다.
• 데이터 주석, 지도 생성, 객체 감지 및 기타 작업에는 Lidar 좌표계의 명확한 정의가 필요합니다.
• 카메라 등 다른 센서와의 데이터 융합의 경우 올바른 데이터 정렬 및 융합을 수행하려면 해당 좌표계를 아는 것이 매우 중요합니다.
• 카메라, 레이더 또는 기타 센서와 데이터 융합을 수행할 때 일반적으로 Lidar와 이러한 센서 간의 좌표 변환을 수행하려면 외부 교정 매개변수(예: 회전 및 변환 행렬) 를 알아야 합니다 .

5대 차량 좌표계

일반적인 환경에서 기준 좌표계를 선택하여 센서 및 물체의 위치를 ​​설명합니다 이 좌표계를 일반적으로 자체 차량 좌표계라고 합니다. 차체를 말합니다 뒤차축의 중심이 원점입니다(뒤차축의 중심은 자동차의 스윙에 따라 변하지 않기 때문입니다) 상단 좌측 전방 또는 상단 우측 전방의 공간 좌표계, 왼쪽(오른쪽)은 일반적으로 수평, 전면은 일반적으로 세로, 위쪽은 지면을 나타냅니다. 위 공간에서 좌표계는 자동차의 움직임에 따라 움직입니다. 감지 및 출력이 필요한 모든 하류 타겟은 자체 차량 좌표계 아래에 있어야 합니다. BEV 관점 타겟도 이 좌표계 아래를 참조합니다.

일반적으로 3차원 공간 좌표계 3개의 직교 축 X , Y, Z를 사용하여 물체의 위치 를 나타내고, 이 3개의 직교 축 주위의 회전 각도 (롤 각도, 피치 각도, 요 각도)가 물체의 자세 를 나타냅니다. 시간 좌표계에는 하나의 차원만 있습니다. 표현의 편의를 위해 일반적으로 공간좌표와 시간좌표를 별도로 논한다.

6 카메라의 내부 및 외부 매개변수

6.1 카메라 내부 매개변수

내부 매개변수는 3차원 공간에서 2차원 이미지로의 카메라 투영 관계를 결정하는 데 사용됩니다. 여기에는 주로 카메라 주점, 카메라 초점 거리, 왜곡 계수의 세 가지 매개변수가 포함되어 있습니다. 내부 매개변수는 일반적으로 판매자가 제공하며 카메라 보정도 수행할 수 있습니다. 자율 주행 애플리케이션에서 카메라의 내부 매개변수는 일정하며 사용 중에 변경되지 않지만 사용하기 전에 보정해야 합니다. 카메라 촬영 과정은 3D 카메라 좌표계를 2D 카메라 좌표계로 매핑하는 과정으로 추상화할 수 있습니다. 다시 작성해야 할 것은 평면 좌표계, 그리고 이미지 좌표계로 매핑하는 과정입니다.

6.2 초점 거리(f)

이미지

센서와 카메라 렌즈 사이의 거리
• 를 나타냅니다. 일반적으로 이미지의 x축과 y축에 각각 해당하는 두 개의 매개변수()와 ()로 표시됩니다. 많은 경우 (
• )라고 가정합니다. 이는 픽셀이 양방향으로 정사각형임을 의미합니다.

6.3 주요점

이미지의 한 지점으로, 일반적으로 이미지의 중심에 가깝습니다. 이는 이미지 평면에 투영될 때 3D 공간의 한 점에 해당하는 2D 점입니다.

• 는 일반적으로 이미지의 x축과 y축 좌표에 해당하는 두 개의 매개변수(
• )와 ()로 표시됩니다.

6.4 왜곡 계수

실제 카메라의 렌즈는 왜곡을 유발하여 이미지 왜곡을 일으킬 수 있습니다. 일반적인 왜곡에는 방사형 왜곡과 접선 왜곡이 포함됩니다.

• 일반적으로 사용되는 방사형 왜곡 계수는 (
• )입니다. 접선왜곡계수는 (
• )입니다.

일반적으로 카메라의 내부 매개변수는 행렬로 표현될 수 있습니다:

이 행렬은 종종 내부 매개변수 행렬 또는 카메라 행렬이라고 불립니다.

6.5 카메라 외부 매개변수

거리, 깊이 정보 획득 등 2차원 영상을 통해 3차원 카메라 좌표계에서 물체의 위치를 ​​유추합니다. 2차원 이미지에서 3차원 거리 정보 를 얻습니다. 세계 좌표계에서 물체의 위치를 ​​얻어야 하는 경우, 세계 좌표계에서 카메라의 자세도 알아야 합니다. 이 포즈 표현을 카메라의 외부 매개변수라고 하며, 카메라 좌표와 월드 좌표계 간의 상대적인 위치 관계를 결정하는 데 사용됩니다. 자율 주행 애플리케이션에서 이러한 위치 관계를 얻으려면 일련의 보정 및 위치 지정 작업이 필요합니다. 카메라는 다른 좌표계를 기준으로 한 회전 + 변환 행렬입니다. 회전 외부 매개변수는 위에서 언급한 오일러 각도[요, 패치, 롤]입니다. 회전 순서는 일반적으로 (z-y-x)이며, 단위는 변환 외부 매개변수입니다. 거리, 단위 미터

7개의 차량 좌표계와 세계 좌표계

7.1 차량 좌표계(Vehicle Coordinate System)

이것은 카메라에 고정된 좌표계입니다. 차량.
• 보통 X축은 차량의 앞쪽을 가리키고, Y축은 차량의 오른쪽(또는 합의에 따라 왼쪽)을 가리키며, Z축은 차량 위를 가리킵니다.
• 이 좌표계의 원점은 일반적으로 특정 적용 및 관례에 따라 차량의 중심, 차량의 후방 차축 등 차량의 고정된 지점에 위치합니다.

7.2 세계 좌표계

이것은 환경의 물체와 차량을 설명하는 데 사용되는 고정된 전역 좌표계입니다.
• 세계 좌표계의 원점과 방향은 일반적으로 특정 애플리케이션이나 시나리오에 따라 선택됩니다. 예를 들어 지도의 고정된 지점이나 장면의 중앙에 위치할 수 있습니다.
• 세계 좌표계는 여러 엔터티에 대한 공통 참조 프레임을 제공하여 엔터티 간의 상대 위치 지정 및 탐색을 허용합니다.

관계 및 변환: - 차량이 월드에서 이동하므로 자차 좌표계와 월드 좌표계의 관계가 시간에 따라 변합니다. - 이 두 좌표계 간의 변환을 위해서는 일반적으로 변환 행렬이나 변환(보통 회전과 평행 이동으로 구성)이 필요합니다. 이러한 변환은 다양한 센서(GPS, IMU, LiDAR 등)와 알고리즘(SLAM 등)을 통해 얻을 수 있습니다. - 변환은 4x4 동차 좌표 행렬로 표현될 수 있어 한 좌표계에서 다른 좌표계로 변환할 수 있습니다.

자체 좌표계와 세계 좌표계는 대부분 동일하며, 이 글에서도 이를 이해하고 있습니다.

8개 좌표계 간의 변환 관계

8.1 세계 좌표계에서 세계 좌표계로 카메라 좌표계

오브젝트 간의 좌표계 변환은 좌표계의

회전 변환 + 평행 변환을 나타낼 수 있으며, 월드 좌표계에서 카메라 좌표계로의 변환 관계도 마찬가지입니다. 다른 축을 중심으로 다른 각도를 회전하면 다른 회전 행렬이 생성됩니다. Z축을 중심으로 한 회전 θ의 도식:

마지막으로 간단히 회전 행렬로 요약할 수 있습니다.

번역: 카메라 좌표점을 변환합니다. () 변환 거리는 ()에서 세계 좌표계

8.2 카메라 좌표계에서 이미지 좌표계로

카메라 좌표계에서 이미지 좌표계로 3D에서 2D로 변환되는 원근 투영 관계에 속합니다. 핀홀모델의 변화모델로도 볼 수 있다. 삼각형 유사성 정리를 만족시킵니다.

8.3 이미지 좌표계에서 픽셀 좌표계로

이 경우 이전 좌표계 변환과 달리 회전 변환은 없지만 좌표 원점의 위치와 크기가 일치하지 않으므로 텔레스코픽 설계는 필수 변환 및 번역 변환

8.4 네 가지 좌표계의 관계

최종 변환 관계를 통해 3차원 좌표점은 이미지에서 해당 픽셀점을 찾을 수 있습니다. 하지만 반대로, 방정식의 좌변의 값을 모르기 때문에 영상 속 한 점을 통해 3차원 공간에서 대응점을 찾는 것이 문제가 됩니다

빨간색 상자는 외부 매개변수인 R과 T는 각각 회전량과 평행이동량입니다. 내부 매개변수는 실제로 초점 거리 f와 픽셀 크기 dx,dy인 카메라의 고유 속성입니다. 분명히 점과 광축 사이의 거리를 나타냅니다.

나인 요약

은 자율주행의 다양한 좌표계를 분류하고, 자율주행의 다양한 좌표계 간의 관계를 보여주고, 최종적으로 두 좌표계 간의 관계를 구합니다. 픽셀 좌표계와 세계 좌표계.

원본 링크: https://mp.weixin.qq.com/s/tTRCjZBRZcnb59nX3FRR8w

위 내용은 좌표계 변환을 실제로 마스터하셨나요? 자율주행에 필수불가결한 멀티센서 이슈의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!