최초의 생성 AI 모바일 칩인 Dimensity 9300: 330억 개의 매개변수로 대규모 모델을 실행할 수 있습니다.

AI 그림은 1초 만에 생성할 수 있고, 대규모 언어 모델은 초당 20개의 토큰으로 생성할 수 있습니다.

2023년은 제너레이티브 AI 원년이고, 우리 손에 있는 모바일 기기도 대형 모델 시대로 가속되고 있습니다.

11월 6일 저녁, MediaTek은 연간 플래그십 SoC Dimensity 9300을 공식 출시했습니다. 이 칩은 4+4 풀 코어 디자인으로 성능과 에너지 소비 측면에서 Android 및 Apple 경쟁사를 능가합니다.

더 주목할 점은 올해 플래그십 칩이 5G 제너레이티브 AI 모바일 칩으로 정의되어 과거보다 훨씬 높은 지능, 고성능, 고에너지 효율, 저전력 소비 등의 우수한 기능을 제공한다는 점입니다.

Dimensity 9300은 TSMC의 차세대 4nm 공정을 사용하며 227억 개의 트랜지스터를 갖추고 있습니다. 생성적 AI 시대의 컴퓨팅 성능 요구 사항을 충족하기 위해 Dimensity 9300은 최대 주파수가 3.25GHz인 4개의 Cortex-X4 초대형 코어와 4개의 Cortex-X4 초대형 코어를 포함하여 "전체 대형 코어" CPU 아키텍처의 사용을 개척했습니다. 주요 주파수 2.0GHz Cortex-A720 대형 코어는 이전 세대보다 40% 더 높은 최고 성능을 가지며, 동일한 성능으로 전력 소비를 33% 절감합니다.

이 아키텍처는 빠른 작업 속도와 높은 효율성을 보장하는 동시에 절전 기능도 갖추고 있어 경부하 및 고부하 애플리케이션 시나리오 모두에서 전력 소비를 줄이고 배터리 수명을 연장할 수 있습니다. MediaTek은 Dimensity 9300이 비디오, 라이브 방송, 게임 등 일반적인 작업 요구 사항에 최적화되었으며 이전보다 폴더블 스크린 휴대폰의 멀티 태스킹 모드에 더 잘 적응할 수 있다고 밝혔습니다.

칩 제조 공정의 개선으로 트랜지스터는 지속적으로 소형화되고 있으며, 다양한 누설 문제는 무어의 법칙 발전에 큰 장애물이 되었습니다. 누출은 에너지 소비의 상당한 증가를 의미하며 칩은 과열 또는 심지어 고장의 문제에도 직면하게 됩니다. 이 경우 소형 코어와 대형 코어 사이의 전력 소비 격차가 점점 작아졌습니다.

보고서에 따르면 MediaTek은 이미 3년 전부터 풀 코어 칩 형식을 탐색하기 시작했습니다. 이제 대형 코어가 작업을 빠르게 처리한 다음 오랜 시간 동안 절전 모드로 전환하도록 함으로써 대형 코어 프로세서를 소형 코어 프로세서보다 직관적으로 더 전력 효율적으로 만들 수 있습니다. 한편, 미디어텍은 애플리케이션 실행 효율성을 더욱 높이기 위해 비순차적 전략도 추가했다. MediaTek은 내년까지 모든 대형 코어의 설계가 업계의 합의가 될 것이라고 믿습니다.

MediaTek은 기존 기능에 더해 이번에 칩의 AI 성능을 업그레이드하는 데 중점을 두었습니다. Dimensity 9300은 생성 AI를 위해 특별히 설계된 MediaTek의 7세대 AI 프로세서 APU 790을 통합하여 이전 세대에 비해 성능과 에너지 효율성이 크게 향상되었습니다. 전력 소비가 45% 감소합니다.

APU 790에는 하드웨어 수준의 생성 AI 엔진이 내장되어 있어 이전 세대보다 더 빠르고 안전한 엣지 AI 컴퓨팅을 달성할 수 있으며, 특히 대규모 언어 모델에서 일반적으로 사용되는 Transformer의 연산자 및 처리 속도를 가속화합니다. 대형 모델의 경우 이전 세대보다 8배 더 빠릅니다.

현대 대중적인 LLM(대형 언어 모델)의 주요 핵심 네트워크 아키텍처는 대부분 변환기 블록으로 구성됩니다. 컴퓨터 비전의 일반적인 CNN 네트워크와 비교할 때 Transformer 네트워크는 Softmax+LayerNorm 연산자를 코어로 사용하고 컨볼루션 연산자가 적기 때문에 원래 AI 코어의 가속 메커니즘을 적용할 수 없습니다. 7세대 APU 프로세서에서 MediaTek은 Softmax+LayerNorm 연산자를 최적화하여 컴퓨팅 성능을 향상시키는 데 중점을 둡니다.

정량화는 현재 AI 추론을 최적화하는 효과적인 방법 중 하나입니다. MediaTek은 수억 개의 매개변수를 가진 대규모 언어 모델의 특성을 기반으로 혼합 정밀도 INT4 양자화 기술을 개발했으며, 고유한 메모리 하드웨어 압축 기술인 NeuroPilot Compression과 결합하여 메모리 대역폭을 보다 효율적으로 활용하고 터미널 점유를 크게 줄일 수 있습니다. 대규모 AI 모델의 메모리.

MediaTek 엔지니어들은 대형 모델이 더 나은 생산성을 가져올 수 있지만 로컬 작업의 13B 크기는 약 13GB의 메모리를 차지한다는 것을 의미하며 Android 자체의 4GB 및 기타 앱의 6GB를 초과하여 메모리 용량을 초과했습니다. 대부분의 휴대폰은 16G입니다. Dimensity 9300에서 사용하는 메모리 하드웨어 압축 기술은 양자화 및 압축을 통해 대형 모델의 메모리 사용량을 5GB로 줄여줍니다. 이러한 방식으로만 대부분의 사용자가 일상 생활에서 대형 모델 애플리케이션을 실행할 여유가 있습니다.

APU 790은 기본 대형 모델을 기반으로 엔드 측에서 지속적으로 하위 적응(LoRA, Low-Rank Adaptation) 융합을 수행할 수 있는 생성적 AI 모델 엔드 측 "스킬 확장" 기술인 NeuroPilot Fusion을 지원하며, 이를 통해 기본 대형 모델에 보다 포괄적인 기능을 제공합니다.

이러한 하드웨어와 최적화를 기반으로 Dimensity 9300은 ETH Zurich가 제안한 최신 버전의 AI 벤치마크에서 2019포인트에 도달할 수 있으며, 이는 모바일 칩의 새로운 최고치입니다.

Dimensity 9300을 사용하면 Stable Diffusion과 같은 최종 측 AI 이미지 생성이 1초 내에 이미지를 생성할 수 있고, 70억 매개변수 대형 언어 모델의 최종 측 추론은 초당 20개의 토큰을 달성할 수 있습니다.

MediaTek은 Vivo와의 협력을 통해 Dimensity 9300을 기반으로 7B 및 13B 대형 모델의 추론을 모바일 단말기에서 구현하는 데 앞장섰다고 밝혔습니다. 이러한 제품이 곧 단말기에 출시될 것으로 예상됩니다. 또한 더 극단적인 경우 MediaTek은 최대 33B의 대형 모델도 실행했습니다.

출시 전 커뮤니케이션 회의와 현장에서 MediaTek은 Dimensity 9300 엔지니어링 머신을 사용하여 LoRA 텍스트 다이어그램 및 대형 모델 텍스트 생성을 구현하는 능력을 시연했습니다.

최신 세대의 플래그십 휴대폰에서는 더 똑똑해진 스마트 어시스턴트를 사용하여 대형 모델의 제안을 기반으로 채팅 및 마우스 오른쪽 버튼 클릭에 신속하게 응답하고, AI 생성 이모티콘을 사용하여 사진을 싸울 수 있을 것으로 예상할 수 있습니다...

곧 출시되어 누구나 경험할 수 있는 것은 vivo X100 시리즈 휴대폰의 OriginOS 4 시스템에 탑재된 AI 보조자 Lan Xin Xiao V입니다.

이달 초, vivo는 개발자 컨퍼런스에서 blue heart 모델과 해당 애플리케이션을 소개했습니다. 이 일련의 기능은 확실히 휴대폰을 위한 것입니다. 대형 모델의 축복을 받은 Lanxin Xiao V는 음성, 텍스트, 파일 드래그 앤 드롭 등을 통해 처리에 필요한 정보를 받을 수 있는 업계 최고의 지혜를 보유하고 있습니다. 간단한 문의사항은 리틀브이가 글이나 사진으로 답변해 드립니다. 복잡한 질문의 경우 SWOT 모델이나 마인드맵 형식으로 답변을 출력할 수도 있습니다.

또한 Dimensity 9300의 AI 기능은 검색부터 촬영까지 모든 것을 다룹니다.

MediaTek은 AI 개발 플랫폼 NeuroPilot이 Android, LIama 2, Wen Xinyiyan 및 Baichuan 대형 모델과 같은 최첨단 주류 AI 대형 모델을 심층적으로 적용하고 최적화했으며 더 많은 애플리케이션이 진행 중이라고 밝혔습니다.

GPU 측면에서 Dimensity 9300은 12코어 Immortalis-G720을 사용합니다. 이전 세대에 비해 최고 성능은 46% 향상되었으며, 동일한 성능에서도 소비전력은 40% 절감할 수 있습니다. Dimensity 9300에는 60FPS의 매우 부드러운 레이 트레이싱을 지원하고 게임 콘솔 수준의 전역 조명 효과를 제공하는 MediaTek의 2세대 하드웨어 레이 트레이싱 엔진이 탑재되어 있습니다.

또한 MediaTek의 고유한 MAGT 게임 적응 제어 기술이 "Star Speed ​​​​Engine"으로 업그레이드되어 게임 애플리케이션과 광범위하게 협력할 뿐만 아니라 더 많은 유형의 애플리케이션과 생태학적 협력을 확장합니다. 이번 행사에서 MediaTek은 Dimensity 9300 플랫폼이 "World of Sword and Sword"의 레이 트레이싱 버전을 선보일 것이며 모바일 게임 "Dark Zone Breakout"에서도 안정적인 60프레임 레이 트레이싱 경험을 달성할 것이라고 발표했습니다.

현재 많은 제3자 리뷰에 따르면 Dimensity 9300 엔지니어링 머신의 CPU 및 GPU 절대 성능과 전력 소비 비율은 Snapdragon 8Gen3 및 A17Pro를 모두 초과하는 전략이 성공적인 것으로 보입니다. ㅋㅋ                           사진 출처: Geekerwan

다른 측면에서도 Dimensity 9300은 완전히 업그레이드되었으며 ISP는 Imagiq 990으로 업그레이드되어 AI 의미론적 분할 비디오 엔진, 1 6레이어 이미지 의미론적 분할, 피사계 심도 및 스팟 듀얼 엔진, 2배 무손실 줌을 갖춘 풀 픽셀 초점, OIS 광학 손떨림 방지 코어, 3-마이크 높은 동적 녹음 소음 감소, 25km/h 풍속에서 바람 소음을 99% 이상 필터링할 수 있습니다. ^{Dimensity 9300에는 새로운 보안 부팅 칩, 격리된 보안 컴퓨팅 환경, 개발자가 메모리 악용을 방지하는 데 도움이 되는 Armv9의 메모리 표시 확장 기능도 함께 제공됩니다.} 네트워크 측면에서 Dimensity 9300은 Sub-6GHz 4캐리어 집합(4CC-CA)과 다중 표준 듀얼 카드 듀얼 패스를 지원하는 5G 모뎀을 통합하고 AI 알고리즘을 통해 신호를 개선하며 5G 상황을 지원합니다. 인식 기능. Dimensity 9300은 Wi-Fi 7 및 5G sub-6GHz 주파수 대역을 지원하며 다운링크 속도는 7Gbps입니다. Bluetooth 연결 측면에서 Dimensity 9300은 3개의 Bluetooth 안테나와 고유한 듀얼 채널 Bluetooth 플래시 연결 기술을 지원하여 대기 시간이 매우 짧은 Bluetooth 오디오 환경을 제공합니다.

보고서에 따르면 Dimensity 9300 칩을 사용하는 최초의 휴대폰에는 vivo, OPPO, Xiaomi, Transsion 등이 있습니다. MediaTek 출시 행사 이후, vivo는 11월 13일 출시된 X100 시리즈 중 최초로 새로운 플래그십 칩을 탑재하고, LPDDR5T-9600 메모리를 최초로 탑재할 것이라고 발표했습니다.

새로운 세대의 제품 출시를 기대합니다.

위 내용은 최초의 생성 AI 모바일 칩인 Dimensity 9300: 330억 개의 매개변수로 대규모 모델을 실행할 수 있습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!