9월에 개최된 GTC 컨퍼런스에서 NVIDIA 제품 관리자 Gautham Sholingar는 "합성 데이터 생성: 자체 개발 및 검증 가속화"라는 제목으로 지난해 롱테일 시나리오 훈련 분야에서 NVIDIA의 최신 진행 상황과 개발을 완벽하게 소개했습니다. 운전 차량" 관련 경험에서는 특히 개발자가 DRIVE Replicator를 사용하여 다양한 합성 데이터 세트와 정확한 실측 데이터 라벨을 생성하여 자율 차량의 개발 및 검증을 가속화할 수 있는 방법을 살펴봅니다. 이번 강의는 유용한 정보로 가득 차 있었고 업계의 폭넓은 관심과 토론을 불러일으켰습니다. 이 글에서는 DRIVE Replicator와 자율주행 인식 알고리즘의 합성 데이터 생성에 대한 모든 사람의 이해를 돕기 위해 이번 공유의 본질을 요약하고 정리했습니다.
그림 1
지난 1년 동안 NVIDIA는 DRIVE Replicator를 사용하여 자율 주행 인식 알고리즘 훈련을 위한 합성 데이터 세트를 생성하는 데 긍정적인 진전을 이루었습니다. 그림 1은 NVIDIA가 현재 해결하고 있는 롱테일 시나리오 과제 중 일부를 보여줍니다.
위 기능은 NVIDIA DRIVE Replicator를 통해 구현되고 있습니다.
DRIVE Replicator는 DRIVE Sim 도구 제품군의 일부이며 자율 주행 시뮬레이션에 사용할 수 있습니다.
DRIVE Sim은 대규모로 물리적으로 정확한 센서 시뮬레이션을 수행할 수 있는 Omniverse를 기반으로 NVIDIA가 제작한 매우 선도적인 자율 주행 자동차 시뮬레이터입니다. 개발자는 워크스테이션에서 반복 가능한 시뮬레이션을 실행한 다음 데이터 센터 또는 클라우드에서 배치 모드로 확장할 수 있습니다. DRIVE Sim은 USD와 같은 강력한 개방형 표준을 기반으로 구축된 모듈식 플랫폼으로, 사용자는 Omniverse 확장을 통해 자신만의 기능을 도입할 수 있습니다.
DRIVE Sim에는 DRIVE Replicator와 같은 여러 애플리케이션이 포함되어 있습니다. DRIVE Replicator는 주로 자율주행차의 훈련 및 알고리즘 검증을 위한 합성 데이터 생성에 초점을 맞춘 일련의 기능을 제공합니다. DRIVE Sim 및 DRIVE Constellation은 또한 Software-in-the-Loop, Hardware-in-the-Loop 및 기타 In-The-Loop 시뮬레이션 테스트(모델, 플랜트, 인간, 그리고 더).
DRIVE Sim과 기존 자율 주행 시뮬레이션 도구의 차이점은 합성 데이터 세트를 생성할 때 기존 자율 주행 시뮬레이션 도구를 전문 게임 엔진과 결합하여 현실감 넘치는 장면을 복원하는 경우가 많다는 것입니다. 그러나 자율주행 시뮬레이션의 경우 이것만으로는 충분하지 않으며 물리적 정확성, 반복성, 규모 등 핵심 요구 사항을 해결해야 합니다.
그림 2
DRIVE Replicator를 자세히 소개하기 전에 먼저 DRIVE Replicator 지원과 관련된 기본 기술을 더 잘 이해할 수 있도록 여러 관련 개념(그림 2), 특히 Omniverse를 소개하겠습니다.
먼저 NVIDIA의 대규모 시뮬레이션 엔진인 Omniverse에 대해 알아보세요. Omniverse는 Pixar가 개발한 USD(가상 세계를 설명하기 위한 확장 가능한 범용 언어인 Universal Scene Description)를 기반으로 구축되었습니다. USD는 전체 시뮬레이션과 시뮬레이션의 모든 측면(센서, 3D 환경 포함)에 대한 진실 값 데이터의 단일 소스입니다. USD를 통해 완전히 구축된 이러한 장면을 통해 개발자는 시뮬레이션의 모든 요소에 계층적으로 액세스하고 다양한 생성을 생성할 수 있습니다. 후속 생성을 위한 데이터는 특수한 합성 데이터 세트의 기반을 마련합니다.
두 번째, Omniverse는 DRIVE Sim의 센서를 지원하기 위해 실시간 광선 추적 효과를 제공합니다. RTX는 컴퓨터 그래픽 분야에서 NVIDIA의 중요한 발전 중 하나이며, 다중 반사, 다중 경로 효과, 롤링 셔터 및 다중 반사와 같은 카메라, LiDAR, 밀리미터파 레이더 및 초음파 센서의 복잡한 동작을 보장하기 위해 물리적 정확성에 초점을 맞춘 최적화된 광선 추적 API를 활용합니다. 렌즈 왜곡)은 기본적으로 모델링됩니다.
셋째, NVIDIA Omniverse는 가상 협업과 물리적으로 정확한 실시간 시뮬레이션을 위해 설계된 쉽게 확장 가능한 개방형 플랫폼으로, 클라우드 또는 데이터 센터에서 워크플로를 실행할 수 있으며 다중 GPU 및 노드 병렬 렌더링 및 데이터 생성을 달성할 수 있습니다.
넷째, Omniverse와 DRIVE Sim은 개방형 및 모듈형 디자인을 채택했으며 이 플랫폼을 중심으로 거대한 파트너 생태계가 형성되었습니다. 이러한 파트너는 3D 재료, 센서, 차량 및 교통 모델, 검증 도구 등을 제공할 수 있습니다.
다섯 번째, Omniverse 협업의 핵심은 Nucleus가 데이터 저장 및 액세스 제어 기능을 갖추고 있으며 중앙 집중식 콘텐츠 창고 역할을 할 수 있습니다. , DRIVE Sim을 지원하여 콘텐츠에서 런타임을 분리하고 버전 제어를 개선하며 모든 장면, 장면 및 메타데이터에 대한 단일 참조 지점을 생성합니다.
DRIVE Sim은 플랫폼을 구축하기 위해 생태학적 협력 접근 방식을 채택하여 파트너가 이 범용 플랫폼에 기여할 수 있도록 합니다. 현재 DRIVE Sim은 3D 자산, 환경 센서 모델, 검증 및 기타 분야를 포괄하는 거대한 파트너 생태계를 구축했습니다. DRIVE Sim SDK를 사용하면 파트너는 자체 센서, 교통 및 차량 역학 모델을 쉽게 도입하고 핵심 시뮬레이션 기능을 확장할 수 있습니다. 개발자는 Omniverse에서 확장 기능을 작성하고 새로운 기능을 쉽게 추가할 수 있을 뿐만 아니라 공통 플랫폼에서 개발하는 이점을 누릴 수 있습니다. Omniverse는 자율 주행 개발 흐름과 관련된 중요한 작업을 제공하는 여러 주요 파트너를 연결했습니다.
다음으로 위 콘텐츠가 결합되는 방식과 DRIVE Replicator의 5가지 주요 작업 단계를 통해 합성 데이터를 생성하는 방법을 설명하겠습니다(그림 3): 콘텐츠( 내용) — DRIVE Sim 런타임 — 감지 — 무작위화 — 데이터 작성자.
그림 3
시뮬레이션 프로세스의 첫 번째 단계는 Nucleus 서버에 저장된 3D 콘텐츠와 자료입니다. 이러한 자산은 시나리오, 교통 모델, 차량 역학 및 동작을 실행하기 위한 핵심 기술인 DRIVE Sim Runtime으로 전달됩니다. DRIVE Sim Runtime은 RTX 광선 추적 기반 카메라, LiDAR, 밀리미터파 레이더 및 USS의 인식 기술과 함께 사용할 수 있습니다. 다음 단계는 동작, 동작, 조명 및 모양의 무작위화를 통해 데이터에 다양성을 도입하는 것입니다. 폐쇄 루프 시뮬레이션의 경우 다음 단계는 차량 I/O를 통해 시뮬레이션을 자율 주행 스택에 연결하는 것입니다. 이는 일반적으로 센서 프로토콜, CAN 메시지 및 가상 ECU(자율 주행 스택에 중요한 정보를 전송하여 루프를 닫습니다).
합성 데이터 생성의 경우 이는 무작위 센서 데이터를 데이터 작성자에게 전송하는 개방형 루프 프로세스로, 이는 자율 주행 인식 알고리즘 레이블 훈련을 위한 Ground Truth를 출력할 수 있습니다. 위의 단계는 합성 데이터 생성을 위한 완전한 작업 흐름을 나타냅니다.
위에서 언급했듯이 시뮬레이션 프로세스의 첫 번째 단계는 Nucleus 서버에 저장된 3D 콘텐츠와 재료입니다. 이 콘텐츠의 출처는 어디인가요? 그것을 얻는 방법? 표준이나 요구 사항은 무엇입니까?
지난 몇 년 동안 NVIDIA는 여러 콘텐츠 파트너와 협력하여 DRIVE Sim에서 사용할 수 있는 차량, 소품, 보행자, 식물 및 3D 환경을 포함한 광범위한 3D 자산 제공업체 생태계를 구축했습니다.
한 가지 주의할 점은 이러한 자산을 시장에서 획득한다고 해서 시뮬레이션 작업을 시작할 수 있다는 의미는 아닙니다. 또한 시뮬레이션을 위해 이러한 자산을 준비해야 하며 이것이 바로 SimReady가 필요한 곳입니다.
확장의 중요한 부분은 3D 자산 제공업체와 협력하여 자산을 DRIVE Sim(의미 레이블) 및 물리적 속성으로 가져올 때 특정 규칙, 이름 지정, 자산 리깅, 의미 태그 지정을 준수하는 데 필요한 도구를 제공하는 것입니다.
SimReady Studio는 콘텐츠 제공자가 기존 자산을 3D 환경, 동적 자산 및 정적 소품을 포함하여 DRIVE Sim에 로드할 수 있는 시뮬레이션 지원 USD 자산으로 변환하는 데 도움을 줍니다.
그럼 SimReady란 무엇인가요? DRIVE Sim 및 Replicator의 3D 자산이 엔드투엔드 시뮬레이션 워크플로를 지원할 준비가 되었는지 확인하는 데 도움이 되는 변환기로 생각할 수 있습니다. SimReady에는 다음을 포함한 몇 가지 핵심 요소가 있습니다.
위의 이해를 바탕으로 SimReady Studio를 사용하여 DRIVE Sim에서 사용할 수 있는 자산을 얻는 과정을 살펴보겠습니다.
이 프로세스가 3D 마켓에서 자산을 구매하는 것으로 시작된다고 가정합니다. 첫 번째 단계는 이 자산을 SimReady Studio로 가져오는 것입니다. 이 작업은 대량으로 수행하거나 여러 자산을 일괄적으로 가져와서 이 단계를 완료할 수도 있습니다.
가져온 후에는 이러한 콘텐츠 자산의 재질 이름이 업데이트되고 해당 재질 속성도 업데이트되어 반사도 및 거칠기와 같은 속성을 포함하도록 확장됩니다.
이는 물리적으로 사실적인 렌더링 데이터 품질을 보장하고 재료 시스템이 가시 스펙트럼에서 작동하는 센서뿐만 아니라 모든 RTX 센서 유형과 상호 작용하도록 보장하는 데 중요합니다.
다음 단계에는 의미 체계 태그와 태그를 업데이트하는 작업이 포함됩니다. 이 단계가 왜 중요한가요? 올바른 레이블이 있다는 것은 자산을 사용하여 생성된 데이터를 AV 알고리즘 교육에 사용할 수 있음을 의미합니다. 또한 DRIVE Sim과 Omniverse는 Nucleus를 중앙 자산 저장소로 사용합니다. Nucleus에는 수천 개의 콘텐츠 자산이 있으며, 연결된 썸네일과 함께 검색 가능한 태그가 있으면 신규 사용자가 자산을 더 쉽게 찾는 데 도움이 됩니다.
다음으로 개체의 충돌 볼륨과 형상을 정의하고 이 콘텐츠 자산이 물리적 관점에서 어떻게 작동하는지 관찰합니다. 그런 다음 물체의 물리적 특성과 질량 특성을 수정하여 원하는 동작을 생성합니다.
전체 프로세스의 마지막 단계는 자산을 검증하여 이러한 콘텐츠 자산이 올바른 규칙을 준수하는지 확인하는 것입니다. 이제 시뮬레이션 가능한 USD 자산을 저장하고 NVIDIA Omniverse 및 DRIVE Sim으로 다시 가져올 수 있습니다. USD를 통해 장면을 구축하는 가장 큰 장점은 이전 단계에서 생성된 모든 메타데이터가 최종 자산과 함께 전송되고 주요 개체의 USD와 계층적으로 연결되어 후속 생성을 위한 다양한 합성 데이터 세트의 기반이 마련된다는 것입니다.
그림 4
자율주행차 시뮬레이션 콘텐츠 제작으로 돌아가서, 지도 데이터에서 환경을 만드는 방법에는 일반적으로 여러 가지가 있습니다(그림 4 참조). 한 가지 옵션은 MathWorks의 Roadrunner 도구를 사용하여 개방형 NVIDIA DRIVE 맵(다중 모드 맵 플랫폼)에서 3D 환경을 만드는 것입니다. 그런 다음 이 단계의 출력은 의미 지도 정보, 신호 타이밍 등과 함께 SimReady Studio로 전송되고, 3D 환경은 DRIVE Sim에 로드할 수 있는 USD 자산으로 변환됩니다.
또 다른 옵션은 자율 주행 차량의 복셀 지도 데이터를 사용하여 차선, 도로 표지판, 기타 메타데이터와 같은 의미 지도 정보를 추출하는 것입니다. 이 정보는 디지털 트윈을 통해 생성되어 DRIVE Sim에 로드할 수 있는 USD 자산이 됩니다.
위 두 가지 유형의 USD 환경은 자율주행차의 엔드투엔드(E2E) 시뮬레이션 테스트와 합성 데이터 생성 워크플로를 지원하는 데 사용됩니다.
다음으로 합성 데이터 세트를 생성하기 위해 DRIVE Replicator에서 사용하는 모든 기능의 기반을 마련하는 시뮬레이션-DRIVE Sim Runtime의 두 번째 단계를 소개하겠습니다.
DRIVE Sim Runtime은 개방형, 모듈식, 확장 가능한 구성 요소입니다. 이는 실제로 무엇을 의미합니까(그림 5 참조)?
첫째, 개발자가 장면 내 개체의 특정 위치, 움직임 및 상호 작용을 정의할 수 있는 장면을 기반으로 구축되었습니다. 이러한 시나리오는 Python에서 또는 시나리오 편집기 UI를 사용하여 정의하고 나중에 사용하기 위해 저장할 수 있습니다.
둘째, 프로세스의 한 단계로서 그리고 DRIVE Sim 2.0과의 공동 시뮬레이션으로서 DRIVE Sim SDK를 통해 맞춤형 차량 동역학 패키지와의 통합을 지원합니다.
셋째, 교통모델입니다. DRIVE Sim에는 풍부한 차량 모델 인터페이스가 있으며 런타임의 도움으로 개발자는 자신의 차량 역학을 도입하거나 기존 규칙 기반 교통 모델을 구성할 수 있습니다.
넷째, 미리 정의된 작업(예: 차선 변경), 다양한 개체 간의 상호 작용 장면을 만드는 데 사용할 수 있는 시간 트리거 등의 풍부한 라이브러리가 포함된 작업 시스템입니다.
그림 5
이전 콘텐츠를 간략하게 검토해 보겠습니다. 시뮬레이션 프로세스의 첫 번째 단계에서는 SimReady로 변환된 시뮬레이션용 3D 콘텐츠와 재료가 Nucleus 서버에 저장됩니다. 두 번째 단계에서 이러한 자료는 시나리오, 교통 모델, 차량 동역학 및 동작을 실행하기 위한 핵심 기술인 DRIVE Sim Runtime으로 전달되어 합성 데이터 세트를 생성하기 위한 모든 후속 기능의 기반을 마련합니다.
데이터를 생성하기 전에 센서를 사용하여 대상 테스트 차량을 설정해야 합니다. 개발자는 Ego Configurator 도구를 사용하여 특정 차량을 선택하고 장면에 추가할 수 있습니다.
또한 개발자는 현장에서 차량을 이동하고 차량에 센서를 추가할 수도 있습니다. Ego 구성 도구는 범용 및 Hyperion 8 센서를 지원합니다.
차량에 센서를 추가한 후 개발자는 FOV, 해상도, 센서 이름과 같은 매개변수를 변경하고 차량의 센서 위치를 직관적으로 구성할 수도 있습니다.
사용자는 데이터 생성 시나리오를 만들기 전에 센서 POV에서 미리보기를 보고 3D 환경에서 시야를 시각화할 수도 있습니다.
이 도구는 개발자가 다양한 구성의 프로토타입을 신속하게 제작하고 감지 작업을 통해 달성한 적용 범위를 시각화하는 데 도움이 될 수 있습니다.
이제 시뮬레이션 프로세스의 네 번째 단계인 도메인 무작위화, 동작, 동작, 조명 및 모양의 무작위화를 통해 데이터에 다양성을 도입하는 방법을 간략하게 소개합니다.
여기에는 Python을 사용하여 장면을 만드는 또 다른 방법이 포함됩니다. DRIVE Replicator의 Python API를 사용하면 개발자는 개방형 NVIDIA DRIVE Map을 쿼리하고 다양한 정적 및 동적 자산을 상황 인식 방식으로 배치할 수 있습니다. 일부 무작위 분석기는 자율주행차를 한 지점에서 다음 지점으로 순간이동하는 방법, 자율주행차 주변에 물체를 생성하는 방법, 그리고 여기에서 다양한 합성 데이터 세트를 생성하는 방법에 중점을 둘 것입니다. 사용자가 USD 장면과 해당 환경의 모든 개체를 직접 제어할 수 있기 때문에 이러한 복잡해 보이는 작업은 쉽게 수행됩니다.
훈련용 합성 데이터 세트를 생성할 때 또 다른 중요한 단계는 3D 장면의 모양에 변화를 가져오는 기능입니다. 위에서도 USD의 강력한 기능에 대해 언급했습니다. 예를 들어 USD를 통해 구축된 시나리오를 통해 개발자는 시뮬레이션의 모든 요소에 계층적으로 액세스할 수 있습니다. SimReady의 API는 USD를 사용하여 장면의 기능을 빠르게 설정합니다.
예를 살펴보겠습니다(그림 6 참조). 노면이 약간 젖어 있지만 다른 매개변수를 설정하면 노면의 젖음 수준이 변경됩니다. 다양한 환경 조건에서 현실적인 데이터 세트를 생성하기 위해 태양 방위각 및 태양 고도와 같은 측면을 유사하게 변경할 수 있습니다.
또 다른 하이라이트는 조명 및 모양 변경을 활성화하는 기능이며, 이 모든 기능은 SimReady API 및 USD를 통해 사용할 수 있습니다.
그림 6
DRIVE Sim의 주요 장점은 카메라, 라이더, 일반용 범용 및 기성 센서를 포함하여 다양한 센서(그림 7 참조)를 지원하는 RTX 센서 워크플로우입니다. 레이더와 USS 모델. 또한 DRIVE Sim은 NVIDIA DRIVE Hyperion 센서 제품군을 완벽하게 지원하므로 사용자는 가상 환경에서 알고리즘 개발 및 검증 작업을 시작할 수 있습니다.
또한 DRIVE Sim에는 파트너가 NVIDIA의 광선 추적 API를 사용하여 IP 및 독점 알고리즘을 보호하면서 복잡한 센서 모델을 구현할 수 있는 강력하고 다재다능한 SDK가 있습니다. 이 생태계는 수년에 걸쳐 성장했으며 NVIDIA는 파트너와 협력하여 이미징 레이더, FMCW LiDAR 등과 같은 새로운 유형의 센서를 DRIVE Sim에 도입하고 있습니다.
그림 7
이제 진정한 가치 데이터를 생성하고 이 정보를 시각화하는 방법에 초점을 맞춰 보겠습니다. 여기에는 시뮬레이션 프로세스의 마지막 단계인 데이터 기록기가 포함됩니다. 이 과정에서 무작위로 추출된 센서 데이터가 데이터 기록기로 전송되며, 데이터 기록기는 자율 주행 인식 알고리즘을 훈련하는 데 사용되는 실제 라벨을 출력합니다.
데이터 작성기는 자율 주행 인식 알고리즘을 훈련하는 데 필요한 Ground Truth Label을 생성하는 데 사용되는 Python 스크립트입니다.
NVIDIA DRIVE Replicator에는 Basic Writer 및 KITTI Writer와 같은 템플릿 작성기가 함께 제공됩니다.
기본 작성자는 객체 클래스, 2D 및 3D의 촘촘하고 느슨한 경계 상자, 의미론적 및 인스턴스 마스크, 깊이 출력, 폐색, 법선 등을 포함한 광범위한 실제 데이터 레이블을 다룹니다.
마찬가지로 레이저 포인트 클라우드 데이터를 numpy 배열로 내보내거나 경계 상자, 의미 체계 및 개체 레이블과 함께 관련 사용자 정의 형식으로 내보내는 데 사용할 수 있는 LiDAR/일반 레이더 작성기가 있습니다.
이 작성자는 개발자가 사용자 정의 마크업 형식을 기반으로 자체 작성자를 구성하고 데이터 생성 노력을 확장할 수 있는 예제를 제공합니다.
마지막으로 Omniverse 팀이 만든 흥미로운 소프트웨어인 Replicator Insight를 소개하고 싶습니다.
Replicator Insight는 렌더링된 합성 데이터 세트를 검사하고 훈련을 위해 다양한 Ground Truth 라벨을 오버레이하는 데 사용할 수 있는 Omniverse Kit를 기반으로 구축된 독립 실행형 애플리케이션입니다.
Replicator Insight는 DRIVE, Isaac 및 Omniverse Replicator를 포함한 모든 합성 데이터 생성 사용 사례를 지원합니다.
예를 살펴보겠습니다(그림 8 참조). 사용자는 이 시각화 도구에서 DRIVE Replicator에 의해 생성된 데이터를 로드하고 장면의 다양한 개체 범주에 대해 서로 다른 진실 레이블을 켜거나 끌 수 있습니다.
그림 8
이 시각화 도구를 사용하면 사용자는 비디오를 재생하고, 데이터 세트를 샅샅이 뒤지고, 깊이 및 RGB 데이터와 같은 다양한 보기를 비교할 수도 있습니다.
사용자는 재생 프레임 속도 및 깊이 범위와 같은 매개변수를 변경하거나 자율 주행 자동차 훈련 전에 데이터 세트를 빠르게 시각화할 수도 있습니다.
이를 통해 개발자는 새로운 진실 라벨 유형을 쉽게 이해하고 복잡한 데이터 세트를 구문 분석할 수 있습니다.
전반적으로 이는 사용자가 실제 데이터이든 합성 데이터이든 상관없이 데이터를 볼 때마다 새로운 통찰력을 얻을 수 있는 강력한 도구입니다.
위에서는 지난 해 DRIVE Replicator의 최신 개발 내용을 요약하고, 개발자가 DRIVE Replicator를 사용하여 다양한 합성 데이터 세트와 정확한 실측 데이터 라벨을 생성하여 자율주행차 개발을 가속화할 수 있는 방법을 공유합니다. 그리고 검증. NVIDIA는 다양한 실제 사용 사례에 대한 고품질 센서 데이터 세트를 생성하는 데 있어 흥미로운 진전을 이루었으며 앞으로도 여러분과의 소통을 기대합니다!
위 내용은 자율주행차 개발 및 검증 가속화: DRIVE Replicator 합성 데이터 생성 기술 자세히 살펴보기의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
