자율 주행을 위한 세 가지 주류 칩 아키텍처 개요를 한 기사로 살펴보세요.

현재 주류 AI 칩은 크게 GPU, FPGA, ASIC 세 가지 범주로 나뉩니다. GPU와 FPGA는 모두 초기 단계에서 상대적으로 성숙한 칩 아키텍처이며 범용 칩입니다. ASIC은 특정 AI 시나리오에 맞게 맞춤화된 칩입니다. 업계에서는 CPU가 AI 컴퓨팅에 적합하지 않지만 AI 애플리케이션에도 필수적이라는 점을 확인했다.

GPU 솔루션

GPU와 CPU의 아키텍처 비교

CPU는 폰 노이만 아키텍처를 따르며, 핵심은 저장된 프로그램/데이터 및 직렬 순차 실행입니다. 따라서 CPU 아키텍처는 저장 장치(Cache)와 제어 장치(Control)를 배치하는 데 많은 공간이 필요한 반면, 컴퓨팅 장치(ALU)는 작은 부분만 차지하므로 CPU가 크게 제한됩니다. 규모 병렬 컴퓨팅의 한계는 논리적 제어를 처리하는 데 상대적으로 더 좋습니다.

GPU(그래픽 처리 장치), 즉 그래픽 프로세서는 수많은 컴퓨팅 장치로 구성된 대규모 병렬 컴퓨팅 아키텍처로, 원래는 CPU에서 분리되어 이미지 병렬 컴퓨팅 데이터를 처리하는 데 사용되었습니다. . 동시에 여러 이미지를 처리하도록 설계되었습니다. GPU에는 기본 컴퓨팅 장치, 제어 장치 및 저장 장치도 포함되어 있지만 GPU의 아키텍처는 CPU의 아키텍처와 매우 다릅니다.

CPU와 비교하면 CPU 칩 공간의 20% 미만이 ALU이고, GPU 칩 공간의 80% 이상이 ALU입니다. 즉, GPU에는 데이터 병렬 처리를 위한 ALU가 더 많이 있습니다.

GPU와 CPU의 차이점

CPU는 순차적 직렬 처리에 최적화된 여러 개의 코어로 구성되어 있는 반면, GPU는 더 작고 더 강력한 수천 개의 코어로 구성된 대규모 병렬 컴퓨팅 아키텍처로 구성됩니다. 이러한 작은 코어는 여러 작업을 동시에 처리하도록 설계되었습니다.

CPU와 GPU가 매우 다른 이유는 각각 서로 다른 두 가지 애플리케이션 시나리오를 목표로 하기 때문입니다. CPU는 다양한 데이터 유형을 처리하기 위해 강력한 다기능성을 필요로 하는 동시에 논리적인 판단이 필요하며 많은 수의 분기 점프 및 인터럽트 처리가 필요합니다. 이 모든 것이 CPU의 내부 구조를 극도로 복잡하게 만듭니다. GPU는 유형이 고도로 통합되고 서로 종속되지 않으며 중단할 필요가 없는 순수한 컴퓨팅 환경을 갖춘 대규모 데이터에 직면합니다.

GPU 가속 기술에 대한 간략한 설명

딥 러닝의 경우 현재 하드웨어 가속은 주로 그래픽 처리 장치의 사용에 의존합니다. 기존 CPU와 비교하여 GPU는 몇 배 더 많은 코어 컴퓨팅 성능을 가지며 병렬 계산을 수행하기가 더 쉽습니다.

GPU의 다중 코어 아키텍처에는 수천 개의 스트림 프로세서가 포함되어 있어 작업을 병렬로 수행하고 모델 계산 시간을 크게 단축할 수 있습니다. NVIDIA, AMD 및 기타 회사가 GPU의 대규모 병렬 아키텍처 지원을 지속적으로 장려함에 따라 일반 컴퓨팅용 GPU는 병렬 애플리케이션을 가속화하는 중요한 수단이 되었습니다.

현재 GPU는 비교적 성숙한 단계로 발전했습니다. GPU를 사용하여 심층 신경망을 훈련하면 수천 개의 컴퓨팅 코어의 효율적인 병렬 컴퓨팅 기능을 최대한 활용할 수 있습니다. 대규모 훈련 데이터가 사용되는 시나리오에서는 소요 시간이 크게 단축되고 더 적은 수의 서버가 사용됩니다. 적절한 심층 신경망에 맞게 최적화되면 GPU 카드는 수십 또는 수백 개의 CPU 서버의 컴퓨팅 성능과 동일할 수 있습니다. 따라서 GPU는 딥 러닝 모델 훈련을 위해 업계에서 선호하는 솔루션이 되었습니다.

훈련된 모델의 규모가 상대적으로 클 경우 데이터 병렬성을 통해 모델 훈련을 가속화할 수 있습니다. 데이터 병렬성은 훈련 데이터를 분할하고 여러 모델 인스턴스를 사용하여 동시에 여러 데이터 덩어리를 훈련할 수 있습니다. 데이터 병렬성을 구현할 때 동일한 모델과 다른 데이터가 훈련에 사용되기 때문에 모델 성능에 영향을 미치는 병목 현상은 여러 CPU 또는 여러 GPU 간의 매개변수 교환에 있습니다. 매개변수 업데이트 공식에 따르면, 모든 모델에서 계산된 기울기는 매개변수 서버에 제출되어 해당 매개변수로 업데이트되어야 하므로, 데이터 조각의 분할과 매개변수 서버의 대역폭은 효율성을 제한하는 병목 현상이 될 수 있습니다. 데이터 병렬성.

데이터 병렬성 외에도 모델 병렬성을 사용하여 모델 훈련을 가속화할 수도 있습니다. 모델 병렬성이란 대형 모델을 여러 개의 샤드로 분할하는 것을 의미하며, 각 샤드는 각 트레이닝 유닛이 서로 협력하여 대형 모델의 트레이닝을 완료합니다.

GPU 가속 컴퓨팅

GPU 가속 컴퓨팅이란 그래픽 처리 장치(GPU)와 CPU를 동시에 사용하여 과학, 분석, 엔지니어링, 소비자 및 기업 애플리케이션의 속도를 높이는 것을 의미합니다. 2007년 NVIDIA가 처음 도입한 GPU 가속기는 이제 전 세계적으로 정부 연구소, 대학, 기업, 중소기업의 에너지 효율적인 데이터 센터를 지원하는 데 사용되고 있습니다. GPU는 자동차, 휴대폰, 태블릿부터 드론, 로봇에 이르기까지 다양한 플랫폼의 애플리케이션을 가속화합니다.

GPU 가속 컴퓨팅은 애플리케이션의 계산 집약적인 부분의 작업 부하를 GPU로 오프로드하는 동시에 CPU가 프로그램 코드의 나머지 부분을 계속 실행하도록 하여 뛰어난 애플리케이션 성능을 제공할 수 있습니다. 사용자 관점에서 볼 때 애플리케이션은 훨씬 더 빠르게 실행됩니다.

GPU는 현재 단순한 병렬 행렬 곱셈과 덧셈 연산만 수행합니다. 신경망 모델 구성과 데이터 스트림 전송은 여전히 ​​CPU에서 수행됩니다. CPU와 GPU 간의 상호 작용 프로세스: GPU 정보 획득, GPU ID 구성, 뉴런 매개변수를 GPU에 로드, GPU 가속 신경망 계산, GPU 계산 결과 수신.

자율주행 분야에서 GPU가 중요한 이유

자율주행 기술에서 가장 중요한 기술 범주 중 하나는 딥러닝 아키텍처를 기반으로 한 인공지능입니다. 오늘날 널리 사용되고 있는 컴퓨터비전, 자연어처리, 센서융합, 표적인식, 자율주행 등 자동차 산업의 다양한 분야에서 자율주행 스타트업부터 인터넷 기업, 주요 OEM까지 GPU 활용을 적극적으로 모색하고 있다. 궁극적인 목표를 달성하기 위해 신경망을 구축합니다.

GPU 가속 컴퓨팅이 탄생한 후 기업 데이터를 위한 멀티 코어 병렬 컴퓨팅 아키텍처를 제공하여 이전 CPU 아키텍처가 처리할 수 없었던 데이터 소스를 지원합니다. 비교에 따르면 동일한 딥 러닝 훈련 작업을 완료하기 위해 GPU 컴퓨팅 클러스터를 사용하는 비용은 CPU 컴퓨팅 클러스터 비용의 1/200에 불과합니다.

GPU는 자율주행과 딥러닝의 핵심입니다.

자동차가 주변의 실시간 환경을 실시간으로 인지할 수 있는지, 아니면 운전 경로와 행동을 빠르게 계획할 수 있는지, 이 모든 것에는 다음이 필요합니다. 자동차의 두뇌가 신속하게 반응하는 것은 컴퓨터에 매우 중요합니다. 하드웨어 제조업체는 자율 주행 과정에서 무한한 가능한 상황을 처리하기 위해 항상 딥 러닝 또는 인공 지능 알고리즘이 필요합니다. , 딥 러닝과 무인 운전은 GPU 컴퓨팅 개발의 황금기를 가져왔습니다.

GPU의 또 다른 중요한 매개변수는 부동 소수점 컴퓨팅 기능입니다. 부동 소수점 계산은 부동 소수점을 사용하여 고정 소수점 숫자에 해당하는 다양한 길이의 이진수를 사용하여 숫자를 나타냅니다. 자율주행 알고리즘을 반복할 때 정밀도 요구사항이 높고 부동소수점 연산 지원이 필요합니다.

FPGA 솔루션

FPGA 칩 정의 및 구조

필드 프로그래밍 가능 게이트 어레이인 FPGA(Field-Programmable Gate Array)는 PAL, GAL, CPLD 등 프로그래밍 가능 장치를 기반으로 한 추가 개발 제품입니다. 이는 맞춤형 회로의 단점을 해결할 뿐만 아니라 원래 프로그래밍 가능 장치의 제한된 수의 게이트 회로의 단점을 극복하는 애플리케이션별 집적 회로 분야의 세미 맞춤형 회로로 나타납니다.

FPGA 칩은 주로 프로그래밍 가능한 입력 및 출력 장치, 기본 프로그래밍 가능한 논리 장치, 완전한 클록 관리, 임베디드 블록 RAM, 풍부한 배선 리소스, 임베디드 기본 기능 장치 및 내부 임베디드 특수 하드웨어 모듈의 6개 부분으로 완성됩니다. 현재 주류 FPGA는 여전히 이전 버전의 기본 성능을 훨씬 뛰어넘는 룩업 테이블 기술을 기반으로 하며 하드 코어(ASIC 유형) ​​모듈과 공통 기능(예: RAM, 클록 관리, DSP)을 통합합니다. .

FPGA 작동 원리

FPGA는 반복적으로 프로그래밍해야 하기 때문에 조합 로직의 기본 구조는 ASIC과 같은 고정된 NAND 게이트를 통해 완성될 수 없고 다음과 같은 구조만 채택할 수 있습니다. 반복해서 구성하기 쉽습니다. 조회 테이블은 이 요구 사항을 잘 충족할 수 있습니다. 현재 주류 FPGA는 SRAM 기술을 기반으로 하는 조회 테이블 구조를 사용하며 플래시 또는 퓨즈 및 안티퓨즈 기술을 기반으로 하는 조회 테이블 구조를 사용하는 일부 군용 및 항공우주 등급 FPGA도 있습니다. FPGA의 반복 구성은 룩업 테이블의 내용을 변경하기 위해 파일을 굽는 방식으로 수행됩니다.

Look-Up-Table을 LUT라고 하며 LUT는 본질적으로 RAM입니다. 현재 FPGA에서는 4입력 LUT가 주로 사용되므로 각 LUT는 4비트 주소 라인을 갖춘 RAM으로 간주할 수 있습니다. 사용자가 회로도나 HDL 언어를 통해 논리 회로를 설명하면 PLD/FPGA 개발 소프트웨어는 논리 회로의 가능한 모든 결과를 자동으로 계산하고 이러한 방식으로 진리표(즉, 결과)를 RAM에 미리 기록합니다. 신호가 입력될 때마다 논리 연산을 수행하는 것은 주소를 입력하고 테이블을 찾아 해당 주소에 해당하는 내용을 찾아 출력하는 것과 같습니다.

I/O 장치라고 하는 프로그래밍 가능한 입력/출력 장치는 칩과 외부 회로 사이의 인터페이스 부분으로, 다양한 환경에서 입력/출력 신호에 대한 구동 및 일치 요구 사항을 완료합니다. 전기적 특성. FPGA 내의 I/O는 그룹으로 분류되며 각 그룹은 독립적으로 다양한 I/O 표준을 지원할 수 있습니다. 소프트웨어의 유연한 구성을 통해 다양한 전기 표준 및 I/O 물리적 특성에 적응하고, 구동 전류를 조정하고, 풀업 및 풀다운 저항기를 변경할 수 있습니다. 현재 I/O 포트의 주파수는 점점 더 높아지고 있으며 일부 고급 FPGA는 DDR 레지스터 기술을 통해 최대 2Gbps의 데이터 속도를 지원할 수 있습니다.

CLB는 FPGA의 기본 논리 장치입니다. CLB의 실제 수와 특성은 장치마다 다르지만 각 CLB에는 4개 또는 6개의 입력, 일부 선택 회로(멀티플렉서 등) 및 플립플롭 구성으로 구성된 구성 가능한 스위치 매트릭스가 포함되어 있습니다. 스위치 매트릭스는 매우 유연하며 조합 논리, 시프트 레지스터 또는 RAM을 처리하도록 구성할 수 있습니다. Xilinx의 FPGA 장치에서 CLB는 여러(보통 4개 또는 2개)의 동일한 슬라이스와 추가 로직으로 구성됩니다. 각 CLB 모듈은 조합 논리 및 순차 논리를 구현하는 데 사용될 수 있을 뿐만 아니라 분산 RAM 및 분산 ROM으로 구성될 수도 있습니다.

자율 운전의 "핵심" 킬러

자율 운전 및 첨단 운전자 지원 시스템(ADAS) 시장 부문은 변화를 겪고 있으며 컴퓨팅 및 센서에 대한 새롭고 복잡한 요구 사항을 제시합니다. 능력 . FPGA는 다른 칩 솔루션이 따라올 수 없는 고유한 장점을 갖고 있으며 자율주행 산업의 지속적인 발전과 변화를 충족할 수 있는 탁월한 선택입니다. FPGA는 소프트웨어 도구를 통해 반복적으로 구성할 수 있는 한편, 풍부한 IO 인터페이스와 컴퓨팅 장치를 갖춘 칩 분야의 특수 기술입니다. 따라서 FPGA는 애플리케이션 시나리오의 특정 요구에 따라 파이프라인 병렬성과 데이터 병렬성을 동시에 처리할 수 있으며 높은 컴퓨팅 성능, 낮은 대기 시간 및 낮은 전력 소비라는 고유한 장점을 가지고 있습니다.

FPGA는 높은 처리량, 높은 에너지 효율성, 실시간 처리 등 많은 장점을 갖고 있어 자율 주행의 기술적 요구 사항에 매우 적합합니다. ADAS(첨단 보조 운전 시스템) 및 IVE(차량 내 경험) 애플리케이션에 대한 표준 및 요구 사항은 빠르게 발전하고 있습니다. 시스템 설계자의 주요 관심사는 더 높은 성능 대 전력 비율을 유지하면서 뛰어난 유연성과 더 빠른 개발 주기입니다. 재프로그래밍 가능한 FPGA와 증가하는 자동차 등급 제품 포트폴리오의 결합을 통해 자동차 설계자는 설계 요구 사항을 충족하고 끊임없이 변화하는 자동차 산업에서 앞서 나갈 수 있습니다.

더욱 적응성이 뛰어난 플랫폼

자율주행 칩의 진정한 가치는 계산엔진의 활용, 즉 이론적인 성능과 실제 성능의 차이에 있습니다. FPGA에는 다수의 라우팅 링크와 다수의 소형 스토리지가 포함되어 있습니다. 이러한 리소스의 조합을 통해 설계자는 더 높은 활용도 수준을 위해 컴퓨팅 엔진을 위한 맞춤형 데이터 피드 네트워크를 생성할 수 있습니다. 프로그래밍 가능 논리는 고객에게 ADAS 및 자율 주행과 같은 새로운 응용 분야의 변화하는 요구 사항에 적응할 수 있는 높은 수준의 유연성을 제공합니다. 향상된 인터페이스 표준, 알고리즘 혁신, 새로운 센서 기술을 활용하려면 모두 소프트웨어 변경뿐만 아니라 하드웨어 변경도 지원할 수 있는 적응형 플랫폼이 필요하며, 이것이 바로 FPGA 칩이 뛰어난 부분입니다.

FPGA 칩은 확장 가능합니다. 확장 가능한 칩은 주로 핀 호환 패키지에서 프로그래밍 가능한 로직의 양을 변경합니다. 이는 개발자가 ADAS 기능 패키지의 저, 중, 고 버전을 호스팅하는 단일 ECU 플랫폼을 만들고 필요한 최소 밀도 칩을 선택하여 필요에 따라 비용을 확장할 수 있음을 의미합니다.

차별화된 솔루션

FPGA 칩을 사용하면 개발자는 특정 애플리케이션이나 센서에 최적화할 수 있는 고유하고 차별화된 처리 솔루션을 만들 수 있습니다. 이는 ASSP 칩에서는 불가능하며 전용 가속기를 제공하는 칩이라도 사용 방법이 제한되어 있으며 기본적으로 모든 경쟁업체에서 사용할 수 있습니다. 예를 들어, 오랜 Xilinx 고객은 자신만이 액세스할 수 있는 고가치 IP 라이브러리를 만들었으며 이러한 기능은 회사의 다양한 제품 전반에 걸쳐 사용될 수 있습니다. 90nm 노드부터 Xilinx 칩은 업계에서 1억 6천만 개 이상의 Xilinx 칩이 사용되는 등 대량 자동차 애플리케이션에 매우 비용 효율적입니다.

ASIC 솔루션

ASIC 정의 및 특성

ASIC 칩은 다양한 단말 기능에 따라 TPU 칩, DPU 칩, NPU 칩으로 나눌 수 있습니다. 그중 TPU는 머신러닝 전용 텐서 프로세서다. 예를 들어, Google은 2016년 5월 Tensorflow 플랫폼용 프로그래밍 가능 AI 가속기를 개발했습니다. Tensorflow 프로그램이 변경되거나 알고리즘이 업데이트되면 내부 명령어 세트가 실행될 수 있습니다. DPU는 데이터 센터와 같은 컴퓨팅 시나리오에 엔진을 제공할 수 있는 데이터 처리 장치입니다. NPU는 인간의 뉴런과 시냅스를 회로 수준에서 시뮬레이션하고 딥러닝 명령어 세트를 사용해 대규모 전자 뉴런과 시냅스 데이터를 직접 처리하는 신경망 프로세서이다.

ASIC에는 전체 사용자 정의와 부분 사용자 정의의 두 가지 디자인 방법이 있습니다. 완전 맞춤화는 전체 집적 회로 설계 프로세스를 완전히 독립적인 방식으로 완료하기 위해 막대한 인력과 시간 비용이 필요합니다. 비록 반맞춤형 ASIC보다 더 유연하고 우수하지만, 반맞춤형에 비해 개발 효율성이 매우 낮습니다.

명백한 성능 개선

ASIC 칩은 인공 지능 애플리케이션 시나리오에 매우 적합합니다. 예를 들어 딥러닝을 위해 처음부터 설계된 엔비디아의 첫 번째 칩인 테슬라 P100은 2014년 출시된 GPU 시리즈보다 데이터 처리 속도가 12배나 빠르다. 구글의 머신러닝용 맞춤형 칩 TPU는 무어의 법칙이 개발된 지 7년 만에 하드웨어 성능을 현재 칩과 동등한 수준으로 향상시켰다. CPU가 과거의 거대한 컴퓨터를 변화시켰듯이, 인공지능 ASIC 칩도 오늘날의 AI 하드웨어 장치의 모습을 크게 변화시킬 것입니다. 예를 들어 유명한 알파고(AlphaGo)는 약 170개의 그래픽 처리 장치(GPU)와 1,200개의 중앙 처리 장치(CPU)를 사용합니다. 이러한 장치에는 시스템 유지 관리를 위해 컴퓨터실, 고전력 에어컨 및 여러 전문가가 필요합니다. 그리고 전용 칩을 모두 사용한다면 일반 보관함 정도의 공간만 필요할 가능성이 높으며, 전력 소모도 크게 줄어들 것입니다.

ASIC 기술 경로는 제한적이고 개방적이며 칩 회사는 운전과 관련된 주류 네트워크, 모델 및 운영자를 위해 개발해야 합니다. 동일한 성능에서 칩 면적은 더 작고, 비용은 더 낮으며, 전력 소비도 더 낮습니다. ASIC 기술 경로는 미래에 큰 잠재력을 갖게 될 것입니다. ASIC 경로를 선택한다고 해서 다른 모델에 대해 다른 ASIC을 개발하거나 다른 검증을 수행한다는 의미는 아닙니다. 다양한 모델을 구현해야 하는 기능은 대략 동일하고 칩은 모델 및 연산자에 대한 액세스가 제한되어 있으므로 알고리즘의 빠른 반복은 칩의 상위 계층 기능 지원에 영향을 미치지 않습니다. 자동차 제조업체는 칩 설계 회사와 협력하여 차별화된 맞춤화, 즉 더 나은 선택을 수행합니다. 차별화된 커스터마이징에도 칩 내부 부품의 50%는 범용이기 때문이다. 칩 설계 회사는 일부 차별화된 기능을 달성하기 위해 원본 버전을 기반으로 차별화된 설계를 수행할 수 있습니다.

주류 아키텍처 솔루션 비교: 세 가지 주류 아키텍처

FPGA는 PAL 및 GAL과 같은 프로그래밍 가능 장치를 기반으로 더욱 개발된 제품입니다. 이는 맞춤형 회로의 단점을 해결할 뿐만 아니라 원래 프로그래밍 가능 장치의 제한된 수의 게이트 회로의 단점을 극복하는 애플리케이션별 집적 회로 분야의 세미 맞춤형 회로로 나타납니다. 장점: 무제한 프로그래밍, 상대적으로 낮은 대기 시간, 파이프라인 병렬성 및 데이터 병렬성, 가장 강력한 실시간 성능 및 최고의 유연성. 단점: 개발이 어렵고 고정 소수점 작업에만 적합하며 상대적으로 비용이 많이 듭니다.

디스플레이 코어, 비주얼 프로세서, 디스플레이 칩으로도 알려진 그래픽 처리 장치(GPU)는 개인용 컴퓨터, 워크스테이션, 게임 콘솔 및 일부 모바일 장치(예: 태블릿, 휴대폰 등) 그래픽 관련 작업을 수행하는 마이크로프로세서입니다. 장점: 멀티 코어 병렬 컴퓨팅의 기본 구조를 제공하고 코어 수가 많아 대용량 데이터의 병렬 컴퓨팅을 지원할 수 있으며 부동 소수점 컴퓨팅 기능이 더 높습니다. 단점: 관리 제어 능력(가장 약함), 전력 소모(가장 높음).

ASIC 또는 특정 응용 집적 회로는 특정 사용자 요구 사항과 특정 전자 시스템의 요구 사항에 맞춰 설계 및 제조된 집적 회로를 의미합니다. 현재 ASIC을 설계하는 가장 인기 있는 방법 중 하나는 CPLD(Complex Programmable Logic Device)와 FPGA(Field Programmable Logic Array)를 사용하는 것입니다. 장점: 집적회로 기술과 특정 사용자의 완전한 기계 또는 시스템 기술의 산물로서 범용 집적회로에 비해 크기가 작고, 무게가 가벼우며, 전력 소모가 적고, 신뢰성이 향상되고, 성능이 향상되고, 기밀성이 향상됩니다. 비용 절감 및 기타 장점. 단점: 유연성이 부족하고 FPGA에 비해 가격이 비쌉니다.

컴퓨팅 파워 이론의 한계: TOPS 컴퓨팅 파워는 실제 성능과 완전히 동일하지 않습니다.

ADAS의 등장, 자율주행 기술의 발전, 소프트웨어 정의 자동차의 심화로 , 스마트 자동차 컴퓨팅 성능과 대용량 데이터 처리 기능에 대한 수요가 급증했으며 기존 자동차의 칩 '스택' 솔루션은 더 이상 자율 주행의 컴퓨팅 성능 요구를 충족할 수 없습니다. 칩은 궁극적으로 자동차 회사의 차량 내 컴퓨팅 플랫폼을 제공합니다. "소프트웨어 정의 자동차"의 경우 지능형 주행 시스템 컴퓨팅 플랫폼의 지원 문제를 해결하는 것은 칩 컴퓨팅 성능만으로는 달성할 수 없습니다.

칩은 소프트웨어의 무대입니다. 칩의 품질을 측정하는 기준은 칩에 있는 소프트웨어가 그 기능을 극대화할 수 있는지에 따라 결정됩니다. 컴퓨팅 성능과 소프트웨어 간의 효과적인 조화가 필요합니다. 동일한 컴퓨팅 성능을 가진 두 개의 칩을 비교할 때 소프트웨어를 보다 효율적으로 실행할 수 있는 칩이 "좋은 칩"입니다. 컴퓨팅 성능의 실제 가치를 결정하는 가장 중요한 요소는 메모리(SRAM 및 DRAM) 대역폭과 실제 작동 주파수(예: 공급 전압 또는 온도), 알고리즘의 배치 크기입니다.

단일 칩의 컴퓨팅 성능 TOPS는 핵심 지표이지만 이것이 유일한 지표는 아닙니다. 자율 주행은 차량-도로, 클라우드-에지 협업이 필요한 복잡한 시스템입니다. 따라서 경쟁에는 코어 외에도 소프트웨어 및 하드웨어 시너지 효과, 플랫폼, 도구 체인 등도 포함됩니다. 칩 컴퓨팅 성능과 임베디드 하드웨어의 무한한 확장은 미래의 추세가 아닐 것이며 하드웨어도 실제 상황에 부합해야 합니다. 그 높은 이면에는 높은 전력 소모와 낮은 활용도라는 문제가 있다.

이벤트 카메라 소개

소개 및 작동 메커니즘

이벤트 카메라는 인간의 눈과 동물의 시각에서 영감을 얻어 실리콘 망막이라고도 합니다. 생물학적 시각은 변화가 있는 영역에만 민감하며 이벤트 카메라는 이벤트나 변화의 발생을 포착합니다. ,

기존 시각 분야에서 카메라가 반환한 정보는 동기화됩니다. 소위 동기화는 특정 시간 t에 카메라가 노출을 수행하고 이 시간에 모든 픽셀을 채우는 것을 의미합니다. 매트릭스를 만들어 다시 전송합니다. 사진의 모든 픽셀은 동일한 순간에 해당합니다. 비디오의 경우 인접한 사진 사이의 시간 간격이 클 수도 있고 작을 수도 있습니다. 이는 시간 지연이라고도 하는 프레임 속도입니다. 이벤트 카메라는 인간의 뇌와 눈과 유사하여 관련 없는 배경을 건너뛰고 장면의 핵심을 직접 감지하여 데이터가 아닌 순수한 이벤트를 생성합니다.

이벤트 카메라의 작동 메커니즘은 특정 픽셀의 밝기가 특정 임계값으로 변경되면 카메라가 위 형식으로 이벤트를 반환한다는 것입니다. 여기서 처음 두 항목은 이벤트의 픽셀 좌표입니다. 세 번째 항목은 이벤트의 타임스탬프이고 마지막 항목은 극성(Polarity) 0, 1(또는 -1, 1)로 밝기가 낮은 쪽에서 높은 쪽인지, 높은 쪽에서 낮은 쪽인지를 나타냅니다.

이런 식으로 전체 카메라 시야 내에서 픽셀 값이 변경되는 한 이벤트는 모두 비동기적으로 발생합니다(시간 간격이 아무리 작아도 이벤트는 반환되지 않습니다). 완전히 동시적이어야 함), 따라서 이벤트의 타임스탬프가 다릅니다. 단순 반환으로 인해 기존 카메라에 비해 대기 시간이 짧고 대기 시간이 마이크로초 내에 가능합니다.

자율주행 분야의 응용

오늘날 자율주행 분야에서 사용되는 시각 인식 알고리즘은 기본적으로 컨볼루셔널 신경망(Convolutional Neural Network)을 기반으로 하며, 시각 알고리즘의 동작은 본질적으로 컨볼루션 작업을 반복합니다. 이런 종류의 계산은 본질적으로 복잡하지 않습니다. 이는 일종의 곱셈, 누적 및 누적 연산인 덧셈, 뺄셈, 곱셈 및 나눗셈만 포함합니다. 그러나 이러한 간단한 작업은 컨볼루션 신경망에 대량으로 존재하므로 프로세서 성능에 대한 요구가 높습니다.

ResNet-152를 예로 들어보겠습니다. 이는 152층 컨볼루셔널 신경망입니다. 이 네트워크가 1080P를 처리하려면 약 226억 번의 계산이 필요합니다. 30프레임 카메라의 경우 필요한 컴퓨팅 파워는 초당 33조회에 달해 매우 크다.

잘못된 계산을 줄여 컴퓨팅 파워를 절약합니다.

자율주행 분야의 시각 데이터 중 99%는 AI 처리에서 쓸모없는 배경입니다. 예를 들어 고스트 프로브를 감지할 때 변경된 영역은 매우 작은 부분이지만 기존의 시각적 처리에서는 여전히 변경되지 않은 배경 영역의 99%를 처리해야 하므로 컴퓨팅 성능이 많이 낭비될 뿐만 아니라 시간도 낭비됩니다. . 또는 자갈 속에 다이아몬드가 있으면 AI 칩과 기존 카메라가 모래 알갱이 하나하나를 식별해 다이아몬드를 걸러내야 하지만, 인간은 이를 바라보기만 하면 다이아몬드를 감지할 수 있다. 기존의 카메라는 사람보다 100배, 1000배 더 많은 시간이 걸립니다.

이벤트 카메라의 장점은 중복 정보가 적고 지연이 거의 없다는 것 외에도 지연 시간이 짧다는 것입니다. 고속 물체를 촬영할 때 기존 카메라는 노출 시간으로 인해 흐려지는 반면 이벤트 카메라에는 흐림이 거의 없습니다. 또한 이벤트 카메라는 매우 높은 동적 범위를 가지고 있습니다. 이벤트 카메라의 특성으로 인해 기존 카메라는 빛의 강도가 강하거나 약한 환경에서 "맹인"되지만 픽셀 변화는 여전히 존재하므로 이벤트 카메라는 다음과 같은 작업을 수행할 수 있습니다. 아직도 사물이 선명하게 보입니다.

위 내용은 자율 주행을 위한 세 가지 주류 칩 아키텍처 개요를 한 기사로 살펴보세요.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!