MIT, 지난 3년을 요약해 AI 가속기 리뷰 논문 발표

지난 한 해 동안 스타트업과 기존 기업 모두 인공지능(AI)과 머신러닝(ML) 가속기를 발표, 출시, 배포하는 데 시간이 많이 걸렸습니다. 하지만 이는 무리한 일이 아니며, 가속기 보고서를 발행하는 많은 회사의 경우 가속기 설계를 연구, 분석, 설계, 검증 및 평가하고 가속기 프로그래밍을 위한 기술 스택을 구축하는 데 3~4년을 소비합니다. 가속기의 업그레이드 버전을 출시한 회사의 경우 개발 주기가 더 짧다고 보고하지만 여전히 최소 2~3년이 소요됩니다. 이러한 가속기의 초점은 여전히 ​​심층 신경망(DNN) 모델을 가속화하는 데 있습니다. 애플리케이션 시나리오는 초저전력 임베디드 음성 인식 및 이미지 분류부터 일반적인 시장 및 애플리케이션 영역의 데이터 센터 대규모 모델 교육에 이르기까지 다양합니다. 산업 및 기술 기업을 위한 현대의 전통적인 컴퓨팅에서 기계 학습 솔루션으로의 전환에 있어 중요한 부분입니다.

AI 생태계는 의사 결정자, 일선 직원 및 분석에 효과적으로 권한을 부여하기 위해 함께 작동해야 하는 엣지 컴퓨팅, 기존 고성능 컴퓨팅(HPC) 및 고성능 데이터 분석(HPDA)의 구성 요소를 통합합니다. 교사 권한 부여. 그림 1은 이 엔드투엔드 AI 솔루션과 해당 구성 요소의 아키텍처 개요를 보여줍니다.

먼저 원본 데이터를 큐레이션해야 합니다. 이 단계에서는 데이터가 융합, 집계, 구조화, 축적되어 정보로 변환됩니다. 데이터 랭글링 단계에서 생성된 정보는 패턴을 추출하고, 누락된 데이터를 채우거나 데이터 세트 간의 유사점을 찾고, 예측을 수행하는 신경망과 같은 감독 또는 비지도 알고리즘에 대한 입력 역할을 하여 입력 정보를 실행 가능한 지식으로 변환합니다. 이 실행 가능한 지식은 인간에게 전달되어 인간-기계 협업 단계의 의사 결정 프로세스에 사용됩니다. 인간-기계 협업 단계는 사용자에게 유용하고 중요한 통찰력을 제공하여 지식을 실행 가능한 인텔리전스 또는 통찰력으로 변환합니다.

이 시스템을 뒷받침하는 것은 현대적인 컴퓨팅 시스템입니다. 무어의 법칙 추세는 끝났지만 동시에 데나드의 법칙(전력 밀도), 클럭 주파수, 코어 수, 클럭 사이클당 명령어, 줄당 명령어(쿠미의 법칙) 등 많은 관련 법칙과 트렌드가 제안되고 있습니다. 자동차 애플리케이션, 로봇 공학, 스마트폰에서 처음 등장한 SoC(시스템 온 칩) 트렌드부터 일반적으로 사용되는 코어, 방법 또는 기능의 가속기 개발 및 통합을 통해 혁신이 계속해서 발전하고 있습니다. 이러한 가속기는 딥 러닝 프로세서 및 가속기의 폭발적인 혁신을 포함하여 성능과 기능적 유연성 사이의 다양한 균형을 제공합니다. 이 기사에서는 수많은 관련 논문을 읽어 이러한 기술의 상대적 이점을 탐구합니다. 이는 크기, 무게 및 전력에 대한 요구 사항이 극단적인 임베디드 시스템 및 데이터 센터에 인공 지능을 적용할 때 특히 중요하기 때문입니다.

이 기사는 지난 3년간의 IEEE-HPEC 논문 업데이트입니다. 지난 몇 년간과 마찬가지로 이 기사에서는 극도로 계산 집약적인 심층 신경망(DNN) 및 컨볼루션 신경망(CNN)용 가속기와 프로세서에 계속해서 초점을 맞췄습니다. 많은 AI/ML 에지 애플리케이션이 추론에 크게 의존하기 때문에 이 문서에서는 추론의 가속기 및 프로세서 개발에 중점을 둡니다. 이 문서에서는 가속기가 지원하는 모든 숫자 정밀도 유형을 다루지만 대부분의 가속기의 경우 최고의 추론 성능은 int8 또는 fp16/bf16(IEEE 16비트 부동 소수점 또는 Google의 16비트 Brain Float)입니다.

논문 링크: https://arxiv.org/pdf/2210.04055.pdf

현재 AI 가속기를 논의하는 논문이 많이 있습니다. 예를 들어, 이 설문조사 시리즈의 첫 번째 문서에서는 특정 AI 모델에 대한 FPGA의 최고 성능에 대해 논의합니다. 이전 설문조사에서는 FPGA를 심도 있게 다루었으므로 이 설문조사에는 더 이상 포함되지 않습니다. 이 지속적인 조사 노력과 기사는 임베디드 및 데이터 센터 애플리케이션에서 가속기를 사용하는 계산 기능, 에너지 효율성 및 계산 효율성을 포함하여 AI 가속기의 포괄적인 목록을 수집하는 것을 목표로 합니다. 동시에 이 기사에서는 주로 정부, 산업용 센서 및 데이터 처리 애플리케이션용 신경망 가속기를 비교합니다. 전년도 논문에 포함된 일부 가속기 및 프로세서는 동일한 회사의 새로운 가속기로 교체되었거나 더 이상 유지 관리되지 않거나 더 이상 주제와 관련이 없기 때문에 올해 설문 조사에서 제외되었습니다.

프로세서 설문조사

최근 인공 지능의 많은 발전은 부분적으로 엄청난 컴퓨팅 능력이 필요한 기계 학습 알고리즘, 특히 DNN과 같은 네트워크를 가능하게 하는 하드웨어 성능의 향상에 기인합니다. 이 기사에 대한 설문 조사에서는 다양한 연구 논문, 기술 저널, 회사에서 게시한 벤치마크 등을 포함하여 공개적으로 이용 가능한 자료에서 다양한 정보를 수집했습니다. 기업 및 스타트업에 대한 정보를 얻을 수 있는 다른 방법(침묵 기간 포함)이 있지만, 본 기사에서는 본 설문조사 당시 해당 정보를 생략했으며, 공개되면 해당 데이터가 설문조사에 포함됩니다. 이 공개 데이터의 주요 지표는 아래 차트에 나와 있으며, 이는 최신 프로세서 최고 성능 대비 전력 소비량을 반영합니다(2022년 7월 기준).

참고: 그림 2의 점선 상자는 아래 그림 3에 해당합니다. 그림 3은 점선 상자를 확대한 것입니다.

그림의 x축은 최대 전력을 나타내고 y축은 초당 최대 기가비트 작업(GOps/s)을 나타냅니다. 둘 다 로그 단위입니다. 처리 능력의 계산 정밀도는 int1에서 int32, fp16에서 fp64까지의 다양한 기하학적 구조로 표현됩니다. 표시되는 정밀도에는 두 가지 유형이 있습니다. 왼쪽은 곱셈 연산의 정밀도를 나타내고 오른쪽은 누적/덧셈 연산의 정밀도를 나타냅니다(예: fp16.32는 fp16 곱셈 및 fp32 누적/덧셈을 나타냄). 색상과 모양을 사용하여 다양한 유형의 시스템과 최대 전력을 구별합니다. 파란색은 단일 칩을 나타내고, 주황색은 카드를 나타내고, 녹색은 전체 시스템(단일 노드 데스크톱 및 서버 시스템)을 나타냅니다. 이 조사는 단일 마더보드, 단일 메모리 시스템으로 제한됩니다. 그림에서 열린 형상은 추론만 수행하는 가속기의 최고 성능을 나타내고, 솔리드 형상은 훈련과 추론을 모두 수행하는 가속기의 성능을 나타냅니다.

이 설문조사에서 이 기사는 지난 3년간의 설문조사 데이터를 산점도로 시작합니다. 이 기사에서는 작년 설문 조사에서 많은 포인트를 추출하여 그림 2의 각 지점에 대한 레이블을 포함하여 아래 표 1의 가속기, 카드 및 전체 시스템에 대한 몇 가지 중요한 메타데이터를 요약합니다. 표 1의 대부분의 열과 항목은 정확하고 명확합니다. 그러나 두 가지 기술 항목은 아마도 Dataflow와 PIM이 아닐 것입니다. 데이터플로우형 프로세서는 신경망 추론 및 훈련용으로 맞춤화된 프로세서입니다. 신경망 훈련 및 추론 계산은 완전히 결정론적으로 구축되므로 계산, 메모리 액세스 및 ALU 간 통신이 명시적/정적으로 프로그래밍되거나 배치되어 컴퓨팅 하드웨어에 라우팅되는 데이터 흐름 처리에 적합합니다. PIM(Processor in Memory) 가속기는 처리 요소를 메모리 기술과 통합합니다. 이러한 PIM 가속기 중에는 내부 아날로그 곱셈 기능을 사용하여 플래시 메모리 회로를 향상시키는 아날로그 컴퓨팅 기술을 기반으로 하는 가속기가 있습니다. 이 혁신적인 기술에 대한 자세한 내용은 Mythic 및 Gyrfalcon 가속기 자료를 참조할 수 있습니다.

이 기사에서는 예상되는 응용 분야에 따라 가속기를 합리적으로 분류합니다. 그림 1은 타원을 사용하여 성능 및 전력 소비에 해당하는 5가지 유형의 가속기(매우 낮은 전력 소비, 매우 작은 센서, 내장 카메라)를 식별합니다. , 소형 드론 및 로봇, 자율 주행 및 데이터 센터 시스템용 칩 및 카드;

대부분의 가속기의 성능, 기능 및 기타 지표는 변경되지 않았습니다. 관련 정보는 지난 2년간의 논문을 참조할 수 있습니다. 다음은 지난 글에 포함되지 않은 액셀러레이터입니다.

네덜란드 임베디드 시스템 스타트업인 Acelera는 자사가 생산하는 임베디드 테스트 칩에 디지털 및 아날로그 설계 기능이 있다고 주장하며, 이 테스트 칩은 디지털 설계 기능의 범위를 테스트하기 위한 것입니다. 그들은 향후 작업에 아날로그(플래시 포함) 디자인 요소를 추가하기를 희망합니다.

Maxim Integrated는 초저전력 애플리케이션을 위한 MAX78000이라는 SoC(시스템 온 칩)를 출시했습니다. 여기에는 ARM CPU 코어, RISC-V CPU 코어 및 AI 가속기가 포함됩니다. ARM 코어는 신속한 프로토타이핑 및 코드 재사용에 사용되는 반면, RISC-V 코어는 최저 전력 소비에 최적화되어 있습니다. AI 가속기에는 1비트, 2비트, 4비트, 8비트 정수 연산을 지원하는 64개의 병렬 프로세서가 있습니다. SoC는 최대 30mW의 전력으로 작동하므로 대기 시간이 짧은 배터리 구동 애플리케이션에 적합합니다.

Tachyum은 최근 Prodigy라는 올인원 프로세서를 출시했습니다. Prodigy의 각 코어는 CPU와 GPU의 기능을 통합합니다. 이 칩은 128개의 고성능 통합 코어를 갖추고 있습니다. 5.7GHz의 주파수.

NVIDIA는 2022년 3월 Hopper(H100)라는 차세대 GPU를 출시했습니다. Hopper는 더 많은 대칭형 멀티프로세서(SIMD 및 Tensor 코어), 50% 더 많은 메모리 대역폭, 700W 전력의 SXM 메자닌 카드 인스턴스를 통합합니다. (PCIe 카드 전력은 450W)

지난 몇 년 동안 NVIDIA는 자동차, 로봇 공학 및 기타 임베디드 애플리케이션에 배포되는 Ampere 아키텍처 GPU용 시스템 플랫폼 시리즈를 출시했습니다. 자동차 애플리케이션의 경우 DRIVE AGX 플랫폼에는 두 가지 새로운 시스템이 추가됩니다. DRIVE AGX L2는 45W 전력 범위에서 레벨 2 자율 주행을 지원하고 DRIVE AGX L5는 800W 전력 범위에서 레벨 5 자율 주행을 지원합니다. Jetson AGX Orin 및 Jetson NX Orin은 로봇 공학, 공장 자동화 등에 Ampere 아키텍처 GPU를 사용하며 최대 피크 전력은 60W 및 25W입니다.

Graphcore는 PCIe 카드에 배치되고 최대 전력이 약 300W인 2세대 가속기 칩 CG200을 출시합니다. 작년에 그래프코어는 TSMC와 협력하여 설계된 최초의 웨이퍼 대 웨이퍼 프로세서인 Bow Accelerator도 출시했습니다. 가속기 자체는 위에서 언급한 CG200과 동일하지만 전체 CG200 칩에 걸쳐 전력 및 클럭 분배를 크게 향상시키는 두 번째 다이와 쌍을 이룹니다. 이는 40%의 성능 향상과 16%의 와트당 성능 향상을 나타냅니다.

2021년 6월 Google은 4세대 순수 추론 TPU4i 가속기에 대한 세부 정보를 발표했습니다. 거의 1년 후 Google은 4세대 학습 가속기인 TPUv4에 대한 세부 정보를 공유했습니다. 공식 발표에는 세부 사항이 거의 없지만 최대 전력 및 관련 성능 수치를 공유했습니다. 이전 TPU 버전과 마찬가지로 TPU4는 Google Compute Cloud를 통해 제공되며 내부 작업에 사용됩니다.

다음은 그림 2에 나오지 않는 가속기에 대해 소개합니다. 각 버전마다 벤치마크 결과가 일부 공개되어 있지만, 다음과 같이 최고 성능이 부족한 경우도 있고, 최고 전력을 공개하지 않는 경우도 있습니다.

SambaNova는 작년에 재구성 가능한 AI 가속기 기술에 대한 일부 벤치마크 결과를 발표했습니다. 올해에도 Argonne National Laboratory와 협력하여 관련 기술을 다수 발표하고 응용 논문을 발표했습니다. 그러나 SambaNova는 세부 정보를 제공하지 않았습니다. 공개적으로 사용 가능한 소스를 통해 솔루션의 성능 또는 전력 소비량을 확인할 수 있습니다.

올해 5월 Intel Habana Labs는 각각 Greco와 Gaudi2라는 이름의 2세대 Goya 추론 가속기와 Gaudi 교육 가속기의 출시를 발표했습니다. 둘 다 이전 버전보다 몇 배 더 나은 성능을 발휘합니다. Greco는 75w 단일 폭 PCIe 카드인 반면 Gaudi2는 650w 이중 폭 PCIe 카드(PCIe 5.0 슬롯에 있음)이기도 합니다. Habana는 Nvidia A100 GPU에 대한 Gaudi2의 일부 벤치마크 비교를 발표했지만 두 가속기의 최고 성능 수치는 공개하지 않았습니다.

Esperanto는 삼성과 다른 파트너들이 평가할 수 있도록 몇 가지 데모 칩을 제작했습니다. 이 칩은 코어당 AI 텐서 가속기를 갖춘 1000코어 RISC-V 프로세서입니다. 에스페란토는 일부 성능 수치를 발표했지만 최고 출력이나 최고 성능을 공개하지는 않았습니다.

Tesla AI Day에서 Tesla는 맞춤형 Dojo 가속기와 시스템의 일부 세부 사항을 소개했습니다. 해당 칩은 최대 22.6 TF FP32 성능을 제공하지만 칩당 최대 전력 소비량은 발표되지 않았습니다. 아마도 해당 세부 사항은 나중에 공개될 것입니다.

지난해 Centaur Technology는 AI 가속기가 통합된 x86 CPU를 출시했습니다. 이 CPU는 4096바이트 폭의 SIMD 장치를 갖추고 매우 경쟁력 있는 성능을 제공합니다. 그러나 Centaur의 모회사인 VIA Technologies는 미국 기반 프로세서 엔지니어링 팀을 Intel에 매각한 후 CNS 프로세서 개발을 중단한 것으로 보입니다.

일부 관찰 및 추세

그림 2에는 언급할 만한 몇 가지 관찰 사항이 있으며 세부 사항은 다음과 같습니다.

Int8은 임베디드, 자율 운영 및 데이터 센터 추론 애플리케이션의 기본 숫자 정밀도로 유지됩니다. 이 정확도는 유리수를 사용하는 대부분의 AI/ML 애플리케이션에 충분합니다. 또한 일부 가속기는 fp16 또는 bf16을 사용합니다. 모델 학습에서는 정수 표현을 사용합니다.

초저전력 칩에서는 머신러닝을 위한 가속기 외에 추가적인 기능은 발견되지 않았습니다. 초저전력 칩 및 임베디드 범주에서는 종종 저전력 CPU 코어, 오디오 및 비디오 ADC(아날로그-디지털 변환기), 암호화 엔진을 포함하는 SoC(시스템 온 칩) 솔루션을 출시하는 것이 일반적입니다. , 네트워크 인터페이스 등. SoC의 이러한 추가 기능은 최대 성능 지표를 변경하지 않지만 칩에서 보고하는 최대 전력에 직접적인 영향을 미치므로 이를 비교할 때 중요합니다.

임베디드 부분은 크게 변경되지 않았습니다. 이는 컴퓨팅 성능과 최대 전력이 이 분야의 애플리케이션 요구 사항을 충족하기에 충분하다는 것을 의미합니다.

지난 몇 년 동안 Texas Instruments를 포함한 여러 회사에서 AI 가속기를 출시했습니다. 그리고 NVIDIA는 앞서 언급한 바와 같이 자동차 및 로봇 공학 애플리케이션을 위한 더 나은 성능의 시스템도 출시했습니다. 데이터센터에서는 PCIe v4의 300W 전력 한계를 돌파하기 위한 PCIe v5 사양이 큰 기대를 모으고 있다.

마지막으로, 이들 회사는 인상적인 성능 수치를 발표할 뿐만 아니라 수천 개의 카드를 함께 연결하는 확장성이 뛰어난 상호 연결 기술도 발표하고 있습니다. 이는 명시적/정적 프로그래밍 또는 컴퓨팅 하드웨어에 대한 배치 및 경로를 통해 프로그래밍되는 Cerebras, GraphCore, Groq, Tesla Dojo 및 SambaNova와 같은 데이터 흐름 가속기에 특히 중요합니다. 이러한 방식으로 이러한 가속기는 변압기와 같은 매우 큰 모델에 적합할 수 있습니다.

자세한 내용은 원문을 참고해주세요.

위 내용은 MIT, 지난 3년을 요약해 AI 가속기 리뷰 논문 발표의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!