전자컴퓨터는 1940년대에 탄생했고, 컴퓨터 출현 후 10년 이내에 인류 역사상 최초의 AI 애플리케이션이 등장했습니다.
AI 모델은 70년 넘게 개발되어 이제 시를 만들 수 있을 뿐만 아니라 텍스트 프롬프트를 기반으로 이미지를 생성할 수 있으며 심지어 인간이 알려지지 않은 단백질 구조를 발견하도록 도울 수도 있습니다.
이렇게 짧은 시간에 , AI 기술은 기하급수적인 성과를 달성했으며 레벨 성장, 그 이유는 무엇일까?
"우리 세상 데이터"의 긴 그림은 AI 모델을 대규모로 훈련하는 데 사용되는 컴퓨팅 성능의 변화를 통해 AI 개발의 역사를 추적합니다.
고화질 대형 사진: https://www.visualcapitalist.com/wp-content/uploads/2023/09/01.-CP_AI-Computation-History_Full-Sized.html 다시 작성해야 하는 내용은 다음과 같습니다. 고화질 대형 사진 링크: https://www.visualcapitalist.com/wp-content/uploads/2023/09/01.-CP_AI-Computation-History_Full-Sized.html
이 데이터의 출처는 MIT 및 타 대학의 연구자들이 발표한 논문입니다
논문 링크: https://arxiv.org/pdf/2202.05924.pdf
논문 외에도, 또 다른 연구팀은 본 논문의 데이터를 바탕으로 시각적 테이블을 제작했습니다. 사용자는 차트를 마음대로 확대하거나 축소하여 더 자세한 데이터를 얻을 수 있습니다
다시 작성해야 하는 내용은 다음과 같습니다. 테이블 주소: https://epochai.org/blog/compute-trends#compute -trends-are-slower -than-prepreously-reported
차트 작성자는 주로 작업 수와 GPU 시간을 계산하여 각 모델 학습의 계산 복잡성을 추정합니다. 중요한 모델인 저자는 주로 3가지 속성을 사용하여 추정합니다. 식별:
중요한 중요성: 시스템은 역사적으로 중요한 영향을 미치고 SOTA를 크게 개선하거나 1,000회 이상 인용되었습니다.
관련성: 저자는 실험 결과와 주요 기계 학습 구성 요소가 포함된 논문만 포함하고 있으며, 논문의 목표는 기존 SOTA의 개발을 촉진하는 것입니다.
독창성: 동일한 시스템을 설명하는 더 영향력 있는 또 다른 논문이 있으면 해당 논문은 저자의 데이터 세트에서 제거됩니다.
1950년대 미국 수학자 Claude Shannon 테세우스라는 로봇 쥐에게 미로를 탐색하고 그 경로를 기억하도록 훈련시켰습니다. 이것은 인공 학습의 첫 번째 사례입니다.
테세우스는 40개의 부동 소수점 연산(FLOP)을 기반으로 구축되었습니다. FLOP는 일반적으로 컴퓨터 하드웨어 컴퓨팅 성능을 측정하는 데 사용됩니다. FLOP 수가 많을수록 컴퓨팅 성능이 향상되고 시스템이 더욱 강력해집니다.
AI의 발전은 컴퓨팅 성능, 사용 가능한 훈련 데이터, 알고리즘이라는 세 가지 핵심 요소에 달려 있습니다. AI 개발 초기 수십 년 동안 컴퓨팅 파워에 대한 수요는 무어의 법칙에 따라 계속 증가했는데, 이는 컴퓨팅 파워가 약 20개월마다 두 배로 증가했다는 것을 의미합니다
그러나 2012년 AlexNet(이미지)이 출시되자 딥러닝 시대의 개막을 알린 인식 인공지능(AI)의 등장과 함께 연구자들이 컴퓨팅과 프로세서에 대한 투자를 늘려 이 두 배의 시간이 6개월로 대폭 단축됐다.
2015년 알파고와 바둑의 등장과 함께 —전문 인간 바둑 선수를 물리친 컴퓨터 프로그램—연구원들은 세 번째 시대를 발견했습니다. 즉, 이전의 모든 AI 시스템보다 계산 요구량이 더 많은 대규모 AI 모델의 도래입니다.
지난 10년을 되돌아보면 컴퓨팅 파워의 성장 속도는 그야말로 놀라울 정도입니다
예를 들어, 복잡한 수학 문제를 해결할 수 있는 AI인 Minerva를 훈련하는 데 사용된 컴퓨팅 성능은 10년 전 AlexNet을 훈련하는 데 사용된 것보다 거의 600만 배나 되었습니다.
이러한 컴퓨팅의 성장과 사용 가능한 방대한 데이터 세트 및 더 나은 알고리즘이 결합되어 AI는 매우 짧은 시간 내에 많은 발전을 이룰 수 있었습니다. 오늘날 AI는 인간의 성능 수준에 도달할 수 있을 뿐만 아니라 여러 분야에서 인간을 능가할 수도 있습니다.
위 그림을 보면 인공지능이 여러 분야에서 인간을 능가했고, 머지않아 다른 면에서도 인간을 능가할 것이라는 점을 분명히 알 수 있습니다. .
다음 그림은 AI가 일상 업무와 생활에서 인간이 사용하는 공통 능력에서 인간 수준에 도달하거나 초과한 해를 보여줍니다.
컴퓨팅 성장이 같은 속도를 유지할 수 있을지 판단하기 어렵습니다. 대규모 모델을 학습하려면 점점 더 많은 컴퓨팅 파워가 필요합니다. 컴퓨팅 파워의 공급이 계속해서 증가하지 못하면 인공지능 기술의 발전이 느려질 수 있습니다
마찬가지로 현재 사용 가능한 모든 데이터가 고갈될 수도 있습니다. AI 모델 학습을 위해 새로운 모델의 개발 및 구현을 방해합니다.
2023년에는 AI 산업에 자본이 유입될 것이며, 특히 대규모 언어 모델로 대표되는 생성적 AI가 더욱 두드러질 것입니다. 이는 앞으로 더 많은 돌파구가 찾아올 것임을 의미할 수 있다. AI 기술 발전을 촉진하는 위의 세 가지 요소는 앞으로 더욱 최적화되고 발전될 것으로 보인다
2023년 상반기에는 국내 스타트업의 자금 조달 규모가 AI 산업 규모는 1400억개에 달해 지난 4년간 받은 총 자금 조달액보다 훨씬 많다.
그리고 생성 AI 스타트업의 상당수(78%)가 아직 개발 초기 단계에 있으며 심지어 생성 AI 스타트업의 27%도 아직 자금을 조달하지 못했습니다.
360개 이상의 생성 인공 지능 회사 중 27%가 아직 자금을 조달하지 않았습니다. 절반 이상이 1라운드 이하의 프로젝트로, 전체 생성 AI 산업이 아직 초기 단계에 있음을 나타냅니다.
대규모 언어 모델 개발의 자본 집약적 특성으로 인해 생성 AI 인프라 카테고리는 2022년 3분기 이후 70% 이상의 자금을 지원받았으며 이는 전체 생성 AI 거래량 %의 10%에 불과합니다. 자금의 대부분은 기본 모델 및 API, MLOps(기계 학습 운영) 및 벡터 데이터베이스 기술과 같은 신흥 인프라에 대한 투자자의 관심에서 비롯됩니다.
위 내용은 AI 기술은 기하급수적으로 폭발합니다. 컴퓨팅 성능은 70년 동안 6억 8천만 배 증가했으며, 이는 역사적 3단계에서 목격되었습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!