지난 70년 동안 "3개의 상승과 2개의 하락"을 경험한 후, 기반 칩, 컴퓨팅 성능, 데이터 및 기타 인프라의 개선과 발전으로 글로벌 AI 산업은 점차 계산 지능에서 지각 지능 및 인지 지능으로 이동하고 있습니다. 이에 따라 "칩, 컴퓨팅 성능 시설, AI 프레임워크 및 알고리즘 모델, 응용 시나리오" 산업 분업 및 협업 시스템을 형성했습니다. 2019년부터 AI 대형 모델은 문제 해결 일반화 능력을 크게 향상시켰으며 '대형 모델 + 소형 모델'은 점차 업계의 주류 기술 경로가 되어 글로벌 AI 산업 발전의 전반적인 가속화를 주도하고 "칩 + 컴퓨팅 파워 인프라 + AI "프레임워크 및 알고리즘 라이브러리 + 응용 시나리오"의 안정적인 산업 가치 사슬 구조.
이번 호의 지능적인 내부 참고자료로 인공지능 산업 현황과 산업 내 핵심 이슈를 해석하기 위해 CITIC 증권의 보고서 “대형 모델이 AI를 포괄적으로 가속화하고 업계의 황금 10년 투자 주기가 시작됩니다”를 추천합니다. 개발. 출처: CITIC 증권
1956년 '인공지능'의 개념과 이론이 처음 제시된 이후 AI 산업과 기술의 발전은 크게 3대를 거쳐왔다. 개발 단계.
1) 20century50era~20 century 70era: 컴퓨팅 성능, 데이터 용량 등에 따라 달라질 수 있음. 이론을 유지하세요. 수준. 1956년 다트머스 회의는 세계 최초의 인공지능 물결의 출현을 촉진했습니다. 당시 학계 전체에 낙관적인 분위기가 스며들었고, 강화 학습이라는 프로토타입을 포함하여 알고리즘 측면에서 세계적 수준의 많은 발명품이 등장했습니다. 강화학습은 구글 알파고 알고리즘의 핵심 아이디어다. 1970년대 초반 AI는 병목 현상에 직면했습니다. 사람들은 논리 증명자, 퍼셉트론, 강화 학습 등이 매우 간단하고 좁은 목적의 작업만 수행할 수 있고 해당 범위를 약간 벗어나는 작업을 처리할 수 없다는 사실을 발견했습니다. 당시 컴퓨터의 제한된 메모리와 처리 속도로는 실질적인 AI 문제를 해결하기에는 충분하지 않았습니다. 이러한 계산의 복잡성은 기하급수적으로 증가하여 계산 작업이 불가능해집니다. 전문가 시스템은 인공 지능의 첫 상용화 시도입니다.
앙 높은 하드웨어 비용과 제한된 적용 시나리오로 인해 시장의 추가 발전이 제한됩니다. 1980년대에는 전문가 시스템 AI 프로그램이 전 세계 기업에서 채택되기 시작했고, '지식 처리'가 주류 AI 연구의 초점이 되었습니다. 전문가 시스템의 역량은 그것이 저장하는 전문적 지식에서 나오며, 지식베이스 시스템과 지식공학은 1980년대 AI 연구의 주요 방향이 됐다. 그러나 전문가 시스템의 실용성은 특정 상황에 국한되어 있었고, 전문가 시스템에 대한 사람들의 열광은 곧 큰 실망으로 바뀌었습니다. 반면에 1987년부터 1993년까지 현대 PC의 출현은 전문가 시스템에서 사용되는 Symbolics 및 Lisp와 같은 시스템보다 훨씬 저렴했습니다. 최신 PC에 비해 전문가 시스템은 구식으로 간주되며 유지 관리가 매우 어렵습니다. 그 결과 정부 재정이 줄어들기 시작했고, 다시 겨울이 찾아왔습니다. 3) 2015년: 점차적으로 완전한 산업 체인 분업 및 협업 시스템을 형성합니다. 인공지능의 세 번째 획기적인 사건은 2016년 3월에 일어났습니다. 구글 딥마인드가 개발한 알파고가 한국 프로 9단 이세돌을 인간과 기계의 바둑 대결에서 이겼습니다. 이후 대중은 인공지능에 친숙해졌고, 다양한 분야에서 열의를 불러일으켰다. 이번 사건으로 DNN 신경망 알고리즘을 기반으로 한 통계 분류 딥러닝 모델이 확립되었습니다. 이러한 유형의 모델은 과거보다 더 일반적이며 다양한 특징값 추출을 통해 다양한 애플리케이션 시나리오에 적용될 수 있습니다. 동시에 2010년부터 2015년까지 모바일 인터넷의 인기는 딥 러닝 알고리즘에 전례 없는 데이터 자양분을 가져왔습니다. 데이터 양의 증가, 컴퓨팅 성능의 향상, 새로운 기계 학습 알고리즘의 출현으로 인해 인공 지능은 큰 조정을 받기 시작했습니다. 전문가 시스템, 머신러닝, 진화 컴퓨팅, 퍼지 논리, 컴퓨터 비전, 자연어 처리, 추천 시스템 등 인공지능 연구 분야도 확대되고 있다. 딥러닝의 발전은 인공지능을 새로운 발전의 정점으로 끌어올렸습니다. ▲ 인공지능 제3의 물결 인공지능의 제3의 물결은 상용화 가능한 다양한 시나리오를 가져왔습니다. DNN 알고리즘의 뛰어난 성능으로 인해 음성 인식과 이미지 인식이 현장에 기여하게 되었습니다. 보안 및 교육 분야의 첫 번째 성공적인 비즈니스 사례입니다. 최근에는 신경망 알고리즘을 기반으로 한 Transformer 등의 알고리즘 개발로 NLP(자연어 처리)의 상용화가 의제로 떠오르고 있으며, 향후 3~5년 안에 성숙한 상용화 시나리오가 나올 것으로 예상된다. ▲ 인공지능 기술 산업화에 필요한 연수 지난 5~6년간의 발전을 거쳐 글로벌 AI 산업은 점차 노동 분업과 협업, 완전한 산업 체인 구조를 형성하고 있으며 일부 분야에서 전형적인 응용 시나리오를 형성하기 시작했습니다. Chip은 AI 업계 최고 수준입니다. 이번 인공지능 산업의 번영은 딥러닝과 다층 신경망 알고리즘을 가능하게 하는 AI 컴퓨팅 성능이 크게 향상되었기 때문이다. 人 인공지능은 다양한 산업에 빠르게 침투하고 있으며, 데이터가 엄청나게 증가하고 있으며 이로 인해 극도로 복잡한 알고리즘 모델, 이기종 처리 개체 및 높은 컴퓨팅 성능 요구 사항이 발생합니다. 따라서 인공지능 딥러닝에는 CPU에 비해 매우 강력한 병렬 처리 기능이 필요하며, AI 칩은 데이터 처리를 위한 논리 연산 장치(ALU)가 더 많아 집약적인 데이터의 병렬 처리에 적합합니다. 주요 유형으로는 그래픽 프로세서(GPU), FPGA(필드 프로그래밍 가능 게이트 어레이), ASIC(주문형 집적 회로) 등 사용 시나리오의 관점에서 관련 하드웨어에는 클라우드 측 추론 칩, 클라우드 측 테스트 칩, 터미널 처리 칩, IP 코어 등이 포함됩니다. 클라우드의 '훈련' 또는 '학습' 부분에서 NVIDIA GPU는 강력한 경쟁 우위를 갖고 있으며 Google TPU도 적극적으로 시장과 애플리케이션을 확장하고 있습니다. FPGA 및 ASIC은 최종 사용 "추론" 애플리케이션에서 이점을 가질 수 있습니다. 미국은 GPU, FPGA 분야에서 강력한 우위를 점하고 있으며, NVIDIA, Xilinx, AMD 등 주요 기업도 AI 칩을 적극적으로 개발하고 있습니다. ▲ 다양한 AI 링크에 칩 적용 ▲ 인공지능 신경망 알고리즘 모델의 복잡성 ▲ 칩 제조업체 레이아웃 고성능 컴퓨팅 시장에서는 AI 칩의 병렬 컴퓨팅 복잡한 문제를 해결하는 능력은 현재 주류 솔루션입니다. Tractica 데이터에 따르면 전 세계 AI HPC 시장 규모는 2019년 약 13억 6천만 달러였으며, 7년간 연평균 성장률(CAGR) 35.1%로 시장 규모는 2025년까지 111억 9천만 달러에 이를 것으로 예상됩니다. AI HPC 시장점유율은 2019년 13.2%에서 2025년 35.5%로 높아진다. 동시에 Tractica 데이터에 따르면 전 세계 AI 칩 시장 규모는 2019년 64억 달러였으며 시장 규모는 2023년까지 510억 달러에 이를 것으로 예상되며 시장 공간은 거의 10배 증가했습니다. ▲ 엣지 컴퓨팅 칩 출하량(수백만, 단말 기준) ▲ 글로벌 인공지능 칩 시장 규모(10억 달러) 지난 2년간 자체 개발한 칩 다수 자체 개발한 GPU를 개발하는 무어 스레드(Moore Thread)와 자율주행 칩을 자체 개발하는 캠브리안(Cambrian) 등 중국 기업이 등장했다. Moore Thread는 2022년 3월 MUSA 통합 시스템 아키텍처와 1세대 칩 "Sudi"를 출시했습니다. Moore Thread의 새로운 아키텍처는 NVIDIA의 CUDA 아키텍처를 지원합니다. IDC 데이터에 따르면 2021년 상반기 중국 인공지능 칩 중 GPU가 시장 점유율 90% 이상을 차지하며 1위를 차지했다. 2025년에는 GPU 비중이 점차 80%까지 줄어들 것으로 예상된다. ▲ GPU 칩의 주요 플레이어 및 기술 로드맵 과거에는 컴퓨팅 파워의 발전이 인공지능 발달의 병목 현상. 고대 개념으로서 인공지능은 컴퓨팅 성능이 부족하여 과거 개발에 제한이 있었습니다. 컴퓨팅 성능 요구 사항은 주로 두 가지 측면에서 비롯됩니다. 1) 인공 지능의 가장 큰 과제 중 하나는 정확도를 향상시키는 것입니다. 모델의 규모와 정확성을 높여야 하며, 이를 위해서는 더 강력한 컴퓨팅 성능 지원이 필요합니다. 2) 인공 지능의 응용 시나리오가 점차 구현됨에 따라 이미지, 음성, 머신 비전 및 게임 분야의 데이터가 폭발적으로 증가했으며, 이로 인해 컴퓨팅 성능에 대한 요구도 높아져 컴퓨팅 기술이 새로운 단계로 진입하게 되었습니다. 고속혁신시대. 지난 10년간 컴퓨팅 파워의 발전은 인공지능의 개발 병목 현상을 효과적으로 완화해왔습니다. 앞으로 지능형 컴퓨팅은 언제 어디서나 더 많은 수요, 더 높은 성능 요구 사항 및 다양한 요구 사항을 보여줄 것입니다. 물리적 한계에 가까워질수록 무어의 컴퓨팅 파워 성장 법칙은 점차 소멸되고, 컴퓨팅 파워 산업은 다중 요소의 종합적 혁신 단계에 들어서게 됩니다. 과거에는 컴퓨팅 전원 공급 장치의 개선이 주로 프로세스 축소를 통해 이루어졌습니다. 즉, 동일한 칩에 트랜지스터 스택 수를 늘려 컴퓨팅 성능을 향상시키는 것이었습니다. 그러나 프로세스가 계속해서 물리적 한계에 접근하고 비용이 지속적으로 증가함에 따라 무어의 법칙은 점차 효력을 잃게 됩니다. 컴퓨팅 파워 산업은 포스트 무어 시대로 접어들고 있으며, 컴퓨팅 전원 공급 장치는 여러 요소의 포괄적인 혁신을 통해 개선되어야 합니다. 현재 컴퓨팅 전원 공급 장치에는 단일 칩 컴퓨팅 전원, 완전한 기계 컴퓨팅 전원, 데이터 센터 컴퓨팅 전원, 네트워크 컴퓨팅 전원이라는 네 가지 수준이 있습니다. 이는 다양한 컴퓨팅 전원 공급 요구를 충족하기 위해 다양한 기술을 통해 지속적으로 발전하고 업그레이드되고 있습니다. 스마트 시대. 또한, 소프트웨어와 하드웨어 시스템의 긴밀한 통합과 알고리즘 최적화를 통해 컴퓨팅 시스템의 전반적인 성능을 향상시키는 것도 컴퓨팅 파워 산업의 진화를 위한 중요한 방향입니다. 컴퓨팅 파워 규모: 중국정보통신기술원(China Academy of Information and Communications Technology)이 2021년에 발표한 "중국 컴퓨팅 파워 발전 지수 백서"에 따르면, 글로벌 컴퓨팅 파워의 총 규모는 2020년에도 여전히 성장 추세를 유지할 것입니다. 총 규모는 429EFlops로 전년 대비 39% 증가했는데, 그 중 기본 컴퓨팅 파워 규모는 313EFlops, 지능형 컴퓨팅 파워 규모는 107EFlops, 슈퍼컴퓨팅 파워 규모는 9EFlops이다. 지능형 컴퓨팅 성능이 향상되었습니다. 2020년 우리나라 컴퓨팅 파워의 발전 속도는 세계와 비슷하며, 2020년 우리나라 컴퓨팅 파워 총 규모는 135EFlops에 달해 세계 컴퓨팅 파워 규모의 39%를 차지했고, 55%의 고성장을 달성했다. 3년 연속 40% 이상의 성장률을 달성했다. ▲ 글로벌 컴퓨팅 파워 규모의 변화 컴퓨팅 파워 구조: 우리나라의 발전 상황은 스마트 컴퓨팅 파워가 2016년 3%에서 차지하는 비중이 세계와 유사하게 빠르게 성장하고 있습니다. 2020년에는 41%로 늘어날 것이다. 기본 컴퓨팅 파워의 비중은 2016년 95%에서 2020년 57%로 떨어졌다. 다운스트림 수요에 힘입어 지능형 컴퓨팅 센터로 대표되는 인공지능 컴퓨팅 파워 인프라는 빠르게 발전했다. 동시에 미래 수요 측면에서 화웨이가 2020년 발표한 '유비쿼터스 컴퓨팅 파워: 지능 사회의 초석' 보고서에 따르면 인공지능의 대중화와 함께 2030년에는 인공지능 수요가 급증할 것으로 예상된다. 인텔리전스 컴퓨팅 파워는 퀄컴 칩 1600억 개에 맞먹는다 스냅드래곤 855에는 AI 칩이 내장돼 있는데, 이는 2018년 대비 약 390배, 2020년 대비 약 120배에 해당한다. ▲ 2030년 예상 인공지능 컴퓨팅 전력 수요(EFlops) 데이터 스토리지: 비정형 데이터를 저장하고 관리하는 데 사용되는 비관계형 데이터베이스와 데이터 레이크에 대한 수요가 폭발적으로 증가하고 있습니다. 최근 몇 년간 글로벌 데이터 양이 폭발적으로 증가했습니다. IDC 통계에 따르면 2019년 전 세계적으로 생성된 데이터 양은 지난 10년간 CAGR이 50%에 가까울 것으로 예상됩니다. 데이터 볼륨은 2025년까지 175ZB에 달할 수 있으며, 2019~2025년에도 여전히 175ZB에 도달할 것입니다. 이는 거의 30%의 복합 성장률을 유지할 것이며, 데이터의 80% 이상이 텍스트, 이미지와 같은 비정형 데이터가 될 것입니다. , 오디오 및 비디오를 처리하기 어렵습니다. 데이터 볼륨(특히 비정형 데이터)의 급증으로 인해 관계형 데이터베이스의 약점이 점점 더 두드러지고 있습니다. 데이터의 기하급수적인 증가에 직면하여 정형 데이터용으로 설계된 기존 관계형 데이터베이스의 수직 스택 데이터 확장 모델은 충족하기 어렵습니다. . 비정형 데이터를 저장하고 관리하는 데 사용되는 비관계형 데이터베이스와 데이터 레이크는 유연성과 손쉬운 확장성으로 인해 점차 시장 점유율이 높아지고 있습니다. IDC에 따르면 전 세계 Nosql 데이터베이스 시장 규모는 2020년 56억 달러였으며, 2020년부터 2025년까지 복합 성장률 27.6%로 2025년 190억 달러로 성장할 것으로 예상됩니다. 동시에 IDC에 따르면 2020년 글로벌 데이터 레이크 시장 규모는 62억 달러였으며, 2020년 시장 규모 성장률은 34.4%였다. ▲ 글로벌 데이터 양 및 전년 대비 성장률(ZB, %) Tensorflow (산업), PyTorch (학계) ) 점차적으로 지배력을 달성하십시오. Google에서 출시한 Tensorflow가 주류이며 Keras(Tensorflow2는 Keras 모듈을 통합함), Facebook의 오픈소스 PyTorch 등과 같은 다른 오픈 소스 모듈과 함께 현재 AI 학습을 위한 주류 프레임워크를 구성합니다. Google Brain은 2011년 설립 이후 과학 연구와 Google 제품 개발을 위한 대규모 딥러닝 응용 연구를 수행해 왔습니다. 초기 작업은 TensorFlow의 전신인 DistBelief였습니다. DistBelief는 Google 및 기타 Alphabet 소유 회사의 제품 개발에 세련되고 널리 사용됩니다. Google Brain은 2015년 11월 DistBelief를 기반으로 '2세대 머신러닝 시스템'인 TensorFlow 개발을 완료하고 코드를 오픈소스화했습니다. 이전 버전과 비교하여 TensorFlow는 성능, 아키텍처 유연성 및 이식성이 크게 향상되었습니다. Tensorflow와 Pytorch는 오픈 소스 모듈이지만 딥 러닝 프레임워크의 거대한 모델과 복잡성으로 인해 기본적으로 수정 및 업데이트는 Google에서 완료됩니다. 따라서 Google과 Facebook도 Tensorflow의 업데이트 방향을 직접 장악하고 있으며, PyTorch. 업계의 인공 지능 개발 모델입니다. ▲ 글로벌 상용 인공 지능 프레임워크 시장 점유율 구조(2021) Microsoft는 2020년 OpenAI에 10억 달러를 투자하여 GPT-3 언어 모델에 대한 독점 라이선스를 획득했습니다. GPT-3는 현재 자연어 생성 분야에서 가장 성공적인 애플리케이션으로, '논문 작성'뿐만 아니라 '자동 코드 생성'에도 사용할 수 있어 올해 7월 출시 이후 업계에서도 호평을 받고 있다. 가장 강력한 인공 지능 언어 모델입니다. 페이스북은 이미 2013년 AI 연구소를 설립했다. FAIR 자체에는 알파고나 GPT-3만큼 유명한 모델과 애플리케이션이 없지만, 그 팀은 컴퓨터 비전, 자연어처리, 대화형 AI 등 2021년에는 Google이 NeurIPS(현재 인공지능 알고리즘 분야 최고 저널)에 승인 및 출판한 논문이 177편이었으며, Microsoft는 116편, DeepMind는 81편, Facebook은 78편, IBM은 36편, Amazon은 35편에 불과했습니다. 딥 러닝이 심층 신경망으로 전환되고 있습니다. 머신러닝은 다층 비선형 특징 학습과 계층적 특징 추출을 통해 이미지, 사운드 등의 데이터를 예측하는 컴퓨터 알고리즘입니다. 딥 러닝은 심층 신경망(DNN: Deep Neural Networks)이라고도 알려진 고급 기계 학습입니다. 다양한 시나리오(정보)에서의 훈련과 추론을 위해 다양한 신경망과 훈련 방법이 확립되어 있으며, 훈련이란 대규모 데이터 추론을 통해 각 뉴런의 가중치와 전달 방향을 최적화하는 과정입니다. 컨볼루션 신경망은 단일 픽셀과 주변 환경 변수를 고려하고 데이터 추출량을 단순화하여 신경망 알고리즘의 효율성을 더욱 향상시킬 수 있습니다. 신경망 알고리즘은 빅데이터 처리의 핵심이 되었습니다. AI는 대규모 레이블 데이터를 통해 딥러닝을 수행하고, 신경망과 모델을 최적화하며, 추론과 의사결정의 응용 링크를 도입합니다. 1990년대는 머신러닝과 신경망 알고리즘이 급속히 성장한 시기였으며, 컴퓨팅 파워를 뒷받침해 알고리즘이 상업적으로 활용됐다. 1990년대 이후 AI 기술의 실용화 분야는 데이터마이닝, 산업용 로봇, 물류, 음성인식, 뱅킹 소프트웨어, 의료 진단, 검색 엔진 등이다. 관련 알고리즘의 프레임워크는 거대 기술 기업의 레이아웃의 초점이 되었습니다. ▲ 주요 기술 대기업의 알고리즘 플랫폼 프레임워크 기술 방향으로는 컴퓨터 비전과 머신 러닝이 주요 기술 연구 개발 방향입니다. ARXIV 데이터에 따르면 이론적 연구 관점에서 컴퓨터 비전과 머신러닝 두 분야가 2015년부터 2020년까지 빠르게 발전했고, 로봇공학 분야가 그 뒤를 이었습니다. 2020년에는 ARXIV의 AI 관련 논문 중 컴퓨터 비전 분야의 논문 수가 11,000편을 넘어 AI 관련 논문 수 1위를 차지했습니다. ▲2015년부터 2020년까지 ARXIV에 게재된 AI 관련 출판물 수 지난 5년 동안 우리는 CNN과 DNN을 중심으로 한 신경망 알고리즘이 컴퓨터 비전, 자연어 처리 및 기타 분야에서 탁월한 성능을 발휘하여 최근 몇 년 동안 가장 빠르게 성장하는 기계 학습 알고리즘임을 관찰했습니다. 인공지능의 속도를 가속화했습니다. 지능형 애플리케이션의 구현 속도는 컴퓨터 비전과 의사결정 지능의 빠른 성숙을 위한 핵심 요소입니다. 측면에서 볼 수 있듯이 표준 DNN 방법은 음성 인식 작업에서 기존 KNN, SVM 및 Random Forest 방법에 비해 분명한 이점을 가지고 있습니다. ▲ 컨볼루션 알고리즘은 기존 영상 처리의 정확도 병목 현상을 극복하고 업계 최초로 상용화되었습니다. 훈련 비용 측면에서 신경망 알고리즘을 사용하여 인공 지능을 훈련시키는 비용이 크게 절감됩니다. ImageNet은 인공 지능 알고리즘을 훈련하는 데 사용되는 1,400만 개 이상의 이미지로 구성된 데이터 세트입니다. Stanford DAWNBench 팀의 테스트에 따르면 2020년 최신 이미지 인식 시스템 교육 비용은 약 US$7.5에 불과하며 이는 2017년 US$1,100보다 99% 이상 감소한 것입니다. 이는 주로 알고리즘 설계 최적화, 컴퓨팅 전력 비용, 대규모 AI 훈련 인프라의 발전. 시스템을 더 빠르게 훈련할수록 시스템을 더 빠르게 평가하고 새로운 데이터로 업데이트할 수 있으므로 ImageNet 시스템의 훈련 속도가 더욱 빨라지고 인공 지능 시스템 개발 및 배포의 생산성이 높아집니다. 훈련 시간 분포를 보면 신경망 알고리즘 훈련에 필요한 시간이 전반적으로 단축되었습니다. 각 기간별 훈련 시간 분포를 분석한 결과, 지난 몇 년 동안 훈련 시간이 크게 단축되고 훈련 시간 분포가 더욱 집중화된 것으로 나타났는데, 이는 주로 가속기 칩의 광범위한 사용에 따른 이점입니다. . ▲ ImageNet 학습 시간 분포(분) 컨볼루션 신경망을 기반으로 컴퓨터 비전 정확도 테스트 점수가 크게 향상되어 산업화 단계에 있습니다. 컴퓨터 비전 정확도는 주로 기계 학습 기술의 적용으로 인해 지난 10년 동안 엄청난 발전을 이루었습니다. 상위 1 정확도 테스트 AI 시스템이 이미지에 올바른 라벨을 더 잘 할당할수록 예측(가능한 모든 라벨 중에서)이 대상 라벨과 더 동일해집니다. 추가 훈련 데이터(예: 소셜 미디어 사진)를 사용하면 2021년 1월 Top-1 정확도 테스트에서는 10회 시도당 1개의 오류가 발생했지만, 2012년 12월에는 10회 시도당 1개의 오류가 발생했습니다. 또 다른 정확도 테스트인 Top-5에서는 대상 레이블이 분류기의 상위 5개 예측에 속하는지 여부를 컴퓨터에 묻습니다. 정확도는 2013년 85%에서 2021년 99%로 증가하여 94.9%를 넘어섰습니다. ▲ TOP-1 정확도 변화 ▲ TOP-5 정확도 변화 신경망 알고리즘이 발전하는 과정에서 Transformer 모델이 주류가 되었습니다. 지난 5년 동안 과거에 흩어져 있던 다양한 소형 모델을 통합했습니다. Transformer 모델은 Google이 2017년에 출시한 고전적인 NLP 모델입니다(Bert는 Transformer를 사용합니다). 모델의 핵심 부분은 일반적으로 인코더와 디코더라는 두 부분으로 구성됩니다. 인코더/디코더는 주로 피드포워드 신경망(그림의 파란색 부분)과 주의 메커니즘(그림의 장미색 부분)의 두 가지 모듈로 구성됩니다. 디코더에는 일반적으로 추가(교차) 주의가 있습니다. 기구. 인코더와 디코더는 신경망을 모방하여 데이터를 분류하고 다시 집중시킵니다. 모델 성능은 기계 번역 작업에서 RNN 및 CNN을 능가합니다. 좋은 결과를 얻으려면 인코더/디코더만 필요하며 효율적으로 병렬화할 수 있습니다. AI 일반화가 가능합니다. 기존의 소규모 모델은 특정 분야의 레이블이 지정된 데이터로 학습되며 활용성이 낮습니다. 다른 애플리케이션 시나리오에 적용할 수 없어 재학습이 필요한 경우가 많습니다. 대규모 AI 모델은 일반적으로 레이블이 지정되지 않은 대규모 데이터에 대해 훈련되며, 대규모 모델은 다양한 애플리케이션 작업의 요구 사항을 충족하도록 미세 조정할 수 있습니다. OpenAI, Google, Microsoft, Facebook, NVIDIA 등의 조직으로 대표되는 대규모 지능형 모델의 배포는 세계적인 추세가 되었으며 GPT-3 및 Switch Transformer와 같은 큰 매개변수를 갖는 기본 모델을 형성했습니다. 2021년 말 NVIDIA와 Microsoft가 공동 개발한 Megatron-LM은 83억 개의 매개변수를 갖고 있는 반면, Facebook이 개발한 Megatron-LM은 110억 개의 매개변수를 가지고 있습니다. 이러한 매개변수의 대부분은 레딧, 위키피디아, 뉴스 웹사이트 등에서 나옵니다. 대량의 데이터 저장 및 분석에 필요한 데이터 레이크와 같은 도구는 다음 단계의 연구 개발의 초점 중 하나가 될 것입니다. 5. 응용 시나리오: 보안, 인터넷, 소매 및 기타 분야에서 점진적으로 구현 현재 응용 분야에서 가장 성숙한 기술은 음성 인식, 이미지 인식 등입니다. 이러한 분야에는 수많은 기술이 있습니다. 중국과 미국에서는 기업이 상장되어 특정 산업 클러스터를 형성합니다. 음성 인식 분야에서 상대적으로 성숙한 상장 기업으로는 iFlytek과 이전에 Microsoft가 290억 달러에 인수한 Nuance가 있습니다. 스마트 의료: AI+ 의료는 주로 의료 지원 시나리오에서 사용됩니다. 스마트 도시: 대도시 질병과 새로운 도시화는 도시 거버넌스에 새로운 도전을 가져오고 AI+ 도시 거버넌스에 대한 수요를 자극합니다. ▲ 2014-2022 스마트시티 시장 규모 및 전망 (단위: 조 위안) 2020 연간 시장 규모는 5710 물류 산업의 높은 비용과 디지털 전환의 맥락에서 창고 물류 및 제품 제조는 제조 및 유통 효율성을 향상시키기 위한 자동화, 디지털화, 지능형 전환의 긴급한 요구에 직면해 있습니다. 중국물류구매연맹(China Federation of Logistics and Purchasing)의 데이터에 따르면, 중국의 스마트 물류 시장은 2020년에 5,710억 위안에 달할 것이며, 2013년부터 2020년까지 연평균 복합 성장률은 21.61%에 달할 것입니다. 사물인터넷, 빅데이터, 클라우드 컴퓨팅, 인공지능 등 차세대 정보 기술은 스마트 물류 산업의 발전을 촉진했을 뿐만 아니라 스마트 물류 산업에 대한 더 높은 서비스 요구 사항을 제시했습니다. 물류시장은 지속적으로 확대될 것으로 예상된다. GGII 추정에 따르면 중국의 스마트 창고 시장 규모는 2019년 약 900억 위안에 달했으며, Forward Research Institute는 이 숫자가 2025년에 1,500억 위안 이상에 이를 것으로 예측합니다. ▲ 2013년부터 2020년까지 중국 스마트 물류 시장 규모 및 성장률 새로운 소매업: 인공 지능이 인건비를 절감하고 운영 효율성을 향상시킵니다. Amazon Go는 Amazon이 제안한 무인 매장 컨셉으로, 2018년 1월 22일 미국 시애틀에 공식 오픈했습니다. AmazonGo는 Just Walk Out 기술과 Amazon Rekognition을 적용하여 클라우드 컴퓨팅과 기계 학습을 결합합니다. 매장 내 카메라, 센서 모니터, 기계 알고리즘은 소비자가 가져가는 품목을 식별하고 고객이 매장을 떠날 때 자동으로 체크아웃합니다. 이는 소매업 분야의 새로운 혁명입니다. 클라우드 기반 인공지능 모듈 구성 요소는 현재 주요 인터넷 거대 기업의 인공지능 상용화의 주요 방향입니다. 공공 지능 기술을 퍼블릭 클라우드 서비스에 통합하여 판매합니다. Google Cloud Platform의 AI 기술은 항상 업계 선두에 있었으며 고급 AI 기술을 클라우드 컴퓨팅 서비스 센터에 통합하기 위해 최선을 다하고 있습니다. 최근 몇 년 동안 구글은 다수의 AI 기업을 인수하고 AI 전용 칩 TPU, 클라우드 서비스 Cloud AutoML 등 제품을 출시해 레이아웃을 완성했다. 현재 Google의 AI 기능은 인지 서비스, 기계 학습, 로봇 공학, 데이터 분석 및 협업 및 기타 분야를 포괄합니다. AI 분야에서 상대적으로 분산된 일부 클라우드 공급업체의 제품과 달리 Google은 AI 제품 운영에 있어 보다 완전하고 체계적입니다. 수직적 애플리케이션을 기본 AI 구성 요소에 통합하고 Tensorflow 및 TPU 컴퓨팅을 인프라에 통합하여 완전한 AI 플랫폼 서비스를 제공합니다. Baidu는 중국 AI 에서 가장 유능한 퍼블릭 클라우드 공급업체입니다. Baidu AI 의 핵심 전략은 개방형 권한 부여입니다. Baidu는 생태계를 개방하고 데이터와 시나리오의 긍정적인 반복을 형성하기 위해 DuerOS와 Apollo로 대표되는 AI 플랫폼을 구축했습니다. Baidu 인터넷 검색의 데이터 기반을 기반으로 자연어 처리, 지식 그래프 및 사용자 초상화 기술이 점차 성숙해졌습니다. 플랫폼과 생태학적 차원에서 바이두 클라우드는 모든 파트너에게 개방된 대규모 컴퓨팅 플랫폼이며 바이두 브레인의 다양한 기능을 갖춘 기본 지원 플랫폼이 된다. 자연어 인간-컴퓨터 상호 작용을 기반으로 한 차세대 운영 체제, 지능형 운전과 관련된 Apollo와 같은 일부 수직 솔루션도 있습니다. 자동차 제조업체는 필요한 기능을 요청할 수 있으며, 자동차 전자 제조업체는 전체 플랫폼과 생태계를 공동으로 구축하는 데 필요한 해당 기능을 요청할 수도 있습니다. 최근 몇 년간 AI 산업의 기술 진화 경로는 주로 다음과 같은 특징을 보여 왔습니다. 기본 모듈의 성능을 개선하고 모델의 일반화 능력에 중점을 두어 AI 알고리즘의 다양성을 최적화하고 데이터 수집을 피드백합니다. AI 기술의 지속 가능한 발전은 기반 알고리즘의 혁신에 달려 있으며, 이를 위해서는 컴퓨팅 파워를 핵심으로 하는 기본 역량 구축과 지식 및 경험 학습을 위한 빅데이터 지원 환경도 필요합니다. 업계에서 대형 모델의 급속한 인기, 대형 모델 + 소형 모델의 작동 모드, 칩 및 컴퓨팅 파워 인프라와 같은 기본 링크 기능의 지속적인 개선과 그에 따른 애플리케이션 시나리오 범주 및 궁극적으로 기본 산업 역량과 응용 시나리오 간의 지속적인 상호 촉진을 가져오고 긍정적 순환 논리에 따라 글로벌 AI 산업의 발전이 지속적으로 가속화되도록 추진할 것입니다. 대형 모델은 강력한 일반 문제 해결 능력을 제공합니다. 현재 대부분의 인공지능은 "수동 작업장 스타일"입니다. 다양한 산업 분야의 다운스트림 애플리케이션에 직면하면서 AI는 점차 단편화 및 다양화의 특성을 보여 왔으며 모델의 다양성은 높지 않습니다. 일반적인 해결 능력을 향상시키기 위해 대형 모델은 "대형 모델 사전 훈련 + 다운스트림 작업 미세 조정"이라는 실행 가능한 솔루션을 제공합니다. 이 솔루션은 레이블이 지정된 대량의 데이터와 레이블이 지정되지 않은 데이터에서 지식을 캡처하고 지식을 다수의 매개변수에 저장하고 특정 작업을 미세 조정하여 모델 일반화 기능을 향상시키는 것을 의미합니다. 대형 모델은 기존 모델 구조의 정확도 한계를 더욱 뛰어넘을 것으로 예상되며 중첩된 소형 모델 학습과 결합되어 특정 시나리오에서 모델 효율성을 더욱 향상시킵니다. 지난 10년 동안 모델 정확도 향상은 주로 네트워크의 구조적 변화에 의존해 왔습니다. 그러나 신경망 구조 설계 기술이 점차 성숙해지고 수렴되는 추세에 따라 정확도 향상에는 병목 현상이 발생했으며, 대형 모델은 이러한 병목 현상을 돌파할 것으로 예상된다. Google의 시각적 전송 모델인 BiT를 예로 들면, ILSVRC-2012(128만 이미지, 1000개 카테고리)와 JFT-300M(3억 이미지, 18291개 카테고리)의 두 데이터 세트를 사용하여 ResNet50의 정확도를 훈련합니다. 각각 77%와 79%입니다. 대형 모델을 사용하면 병목 정확도가 더욱 향상됩니다. 또한 JFT-300M을 사용하여 ResNet152x4를 훈련하면 정확도가 87.5%로 증가할 수 있으며 이는 ILSVRC-2012+ResNet50 구조보다 10.5% 더 높습니다. 대형 모델+소형 모델: 일반화된 대형 모델 인공 지능의 홍보와 특정 시나리오의 데이터 최적화 결합은 중기적으로 인공 지능 산업 상용화의 핵심이 될 것입니다. 특정 시나리오에 대한 데이터를 재추출하는 원래 모델은 수익 창출이 어려운 것으로 나타났습니다. 모델을 재학습하는 데 드는 비용이 너무 높고, 얻은 모델은 활용도가 낮고 재사용이 어렵습니다. 칩 컴퓨팅 성능이 지속적으로 향상되는 상황에서 대형 모델을 소형 모델에 중첩하려는 시도는 제조업체에게 대규모 데이터를 분석하여 범용 모델을 얻은 다음 특정 소형 모델을 중첩하여 솔루션을 제공할 수 있다는 또 다른 아이디어를 제공합니다. 다양한 시나리오에 맞게 최적화되고 많은 비용이 절감되었습니다. Alibaba Cloud, Huawei Cloud, Tencent Cloud 등 퍼블릭 클라우드 공급업체는 모델의 일반성을 향상하기 위해 자체 개발한 대형 모델 플랫폼을 적극적으로 개발하고 있습니다. NVIDIA로 대표되는 AI칩 거대 기업은 컴퓨팅 성능을 크게 향상시키기 위해 차세대 칩 업계에서 일반적으로 사용되는 AI모델용 새 엔진을 특별히 설계했습니다. 그림에서 볼 수 있듯이 vCPU 2개, ECU 2개, 7.5GiB를 갖춘 m1.large 제품의 가격은 2008년 시간당 약 $0.4에서 2022년 시간당 약 $0.18로 계속 하락했습니다. vCPU 8개, 메모리 30GB를 탑재한 Google Cloud의 n1-standard-8 제품의 주문형 사용 가격도 2014년 시간당 0.5달러에서 2022년에는 시간당 0.38달러로 인하되었습니다. 클라우드 컴퓨팅 가격은 현재 유지되고 있음을 알 수 있습니다. 전반적인 하향 추세입니다. 향후 3~5년 동안 우리는 서비스형 AI(AIaaS) 제품을 더 많이 보게 될 것입니다. 앞서 언급한 대형 모델 추세, 특히 GPT-3의 탄생이 이러한 추세를 촉발시켰습니다. GPT-3의 매개 변수는 엄청나게 많기 때문에 Azure 규모의 컴퓨팅 시설과 같은 거대한 공용 클라우드 컴퓨팅 성능에서 실행되어야 합니다. 그래서 마이크로소프트가 이를 웹 API를 통해 얻을 수 있는 서비스로 만드는 것도 더 큰 모델의 등장을 촉진할 것이다. ▲ AWS EC2 과거 표준 가격(USD/시간) 현재 컴퓨팅 성능 조건과 예측 가능한 기술 역량을 지원하여 애플리케이션 측은 데이터 수집을 통해 알고리즘 반복 및 최적화를 지속적으로 달성하고 현재 이해도를 향상시킬 것입니다. 지능(영상인식방향)은 아직 부족한 부분이 있어 의사결정지능을 향해 발전해 나가도록 노력합니다. 현재의 기술적 능력과 하드웨어 컴퓨팅 능력 지원에 따르면, 완전한 의사 결정 인텔리전스를 달성하는 데는 여전히 오랜 시간이 걸릴 것입니다. 기존 시나리오의 지속적인 심화를 기반으로 로컬 인텔리전스를 만드는 것이 3~5년 안에 주요 방향이 될 것입니다. 현재 AI 응용 수준은 여전히 너무 단일 지향적이며 로컬 시리즈 연결을 완료하는 것이 의사 결정 지능을 달성하는 첫 번째 단계가 될 것입니다. 인공 지능 소프트웨어 애플리케이션에는 하위 수준 드라이버부터 상위 수준 애플리케이션 및 알고리즘 프레임워크까지, 비즈니스 지향(제조, 금융, 물류, 소매, 부동산 등)부터 사람(메타버스, 의료, 휴머노이드 로봇 등)까지 포함됩니다. .) ), 자율주행 및 기타 분야. Zhixixi는 AI 칩, 컴퓨팅 성능 설비, 데이터 등 기본 요소의 지속적인 개선과 대형 모델이 가져오는 일반화된 문제 해결 능력의 실질적인 향상으로 AI 산업이 '칩'을 형성하고 있다고 믿습니다. + 컴퓨팅 파워 인프라 + AI" "프레임워크 & 알고리즘 라이브러리 + 응용 시나리오"의 안정적인 산업 가치 사슬 구조로 AI 칩 제조사, 클라우드 컴퓨팅 제조사(컴퓨팅 파워 설비 + 알고리즘 프레임워크), AI + 응용 시나리오 제조사, 플랫폼 알고리즘 프레임워크 제조업체 등은 계속해서 업계의 핵심 수혜자가 될 것으로 예상됩니다. 
2. 분업이 점차 완성되고, 구현 시나리오도 지속적으로 확대되고 있다
1. AI 칩: GPU부터 FPGA, ASIC 등에 이르기까지 성능이 지속적으로 향상되고 있습니다.
2. 컴퓨팅 파워 시설: 클라우드 컴퓨팅, 자체 구축 및 기타 방법의 도움으로 컴퓨팅 파워 규모 및 단가와 같은 지표가 지속적으로 개선되었습니다.
3. AI 프레임워크: 상대적으로 성숙하고 소수의 거대 기업이 지배함
4. 알고리즘 모델: 신경망 알고리즘이 주요 이론적 기반
3. 산업 변화: AI 대형 모델이 점차 주류로 자리잡고 있으며, 산업 전반에 걸쳐 발전이 가속화될 것으로 예상됩니다
위 내용은 심층 보고서: 대규모 모델 기반 AI가 전반적으로 속도를 높입니다! 황금시대가 시작된다의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
