저자 | 쉬지에청
리뷰어 윤자오
100조, 이 숫자는 얼마나 큰가? 매일 500만 장의 복권에 당첨되는 초능력이 있다면, 먹지도 마시지도 않고 돈을 다 저축해도 100조의 부를 저축하려면 약 5,500년을 살아야 합니다. 하지만 오늘 말씀드리고 싶은 100조는 'RMB', 'Dollor' 등 탐나는 단위에 뒤지지 않습니다. 여기서 100조는 많은 실리콘 밸리 기술 거물들이 공동 창립한 인공 지능 연구 회사인 OpenAI가 소유한 매개 변수의 수를 의미하며, 4세대 생성 사전 훈련 Transformer-GPT-4를 출시할 예정입니다.
모든 사람이 이 데이터를 보다 직관적으로 이해할 수 있도록 인간의 두뇌를 사용하여 GPT-4와 비교할 수 있습니다. 정상적인 상황에서 정상적인 인간의 뇌에는 약 800억~1000억 개의 뉴런과 약 100조 개의 시냅스가 있습니다. 이러한 뉴런과 시냅스는 백년 동안 사람의 거의 모든 생각, 판단, 행동을 직접적으로 제어하며 GPT-4는 인간 두뇌의 시냅스만큼 많은 매개 변수를 가지고 있습니다. 그렇다면 이러한 대규모 고밀도 신경망의 잠재력은 무엇입니까? GPT-4의 출현은 우리에게 실제로 인간 두뇌를 만들 수 있는 능력을 가지고 있습니까?
이러한 흥미로운 문제를 살펴보기 전에 먼저 GPT-4의 여러 "전임자"의 개발 역사를 이해하는 것이 좋습니다.
첫 번째 GPT 시리즈 모델인 GPT-1은 우리가 흔히 NLP 사전 훈련 모델이라고 부르는 첫 해입니다. GPT-1은 Transformer를 기반으로 한 최초의 사전 훈련 모델로서 Transformer의 디코더를 특징 추출기로 사용하여 사전 훈련 + FineTuning의 두 단계를 채택했으며 사전 훈련 단계는 1억 1천만 개의 매개변수로 쌓였습니다. 훈련 작업으로 "단일 "언어 모델"을 사용합니다.
성능면에서 GPT-1은 특정 일반화 능력을 갖추고 있으며 감독 작업과 관련이 없는 NLP 작업에 사용할 수 있습니다. 일반적으로 사용되는 작업은 다음과 같습니다.
GPT-1은 버그가 없는 작업에 일부 영향을 미치지만 일반화 능력은 GPT-1보다 훨씬 낮습니다. 미세 조정은 감독되는 작업이므로 GPT-1은 대화형 AI라기보다는 합리적으로 우수한 언어 이해 도구로만 간주될 수 있습니다.
GPT-1이 출현한 지 1년 후인 2019년에는 GPT-2도 예정대로 도착했습니다. GPT-1과 비교했을 때 GPT-2는 원래 네트워크에서 구조적 혁신과 설계를 많이 하지 않았습니다. 단지 더 많은 네트워크 매개변수와 더 큰 데이터 세트를 사용했을 뿐입니다. 가장 큰 모델은 총 48개의 레이어를 가지고 있으며 매개변수 양은 15억 개에 달하며, 학습 대상은 비지도 사전 학습 모델을 사용하여 지도 작업을 수행합니다.
출처: Twitter
성능면에서 OpenAI의 노력은 정말 기적을 가져온 것 같습니다. 이해 능력 외에도 GPT-2는 세대 최초로 강력한 재능을 보여주었습니다. 요약 읽기, 채팅, 계속 쓰기, 이야기 만들기, 심지어 가짜 뉴스 생성, 피싱 이메일 또는 온라인에서 다른 사람인 척하는 것도 모두 가능합니다. 산들 바람. "더 커진" 후 GPT-2는 일련의 보편적이고 강력한 기능을 시연했으며 당시 여러 특정 언어 모델링 작업에서 최고의 성능을 달성했습니다. 당시 OpenAI가 “GPT-2는 출시하기에는 너무 위험했다”고 말한 것은 당연합니다.
GPT-2의 성공 이후, 2020년에 출시된 GPT-3는 "Hercules"에 대한 OpenAI의 믿음이 점점 더 확고해졌고, 마이크로 혁신과 급속한 확장이라는 개발 아이디어를 계속 따르고 있습니다. GPT-3의 Transformer는 Sparse 구조를 적용한 점을 제외하면 GPT-3과 GPT-2의 구조에는 거의 차이가 없습니다. "활력" 측면에서 GPT-3 모델은 96개 레이어에 도달했으며 훈련 매개변수는 1,750억 개(GPT-2의 10배 이상)에 도달했습니다.
GPT-3은 또한 OpenAI의 비전을 다시 한번 입증합니다. GPT-3의 강력한 성능과 훨씬 더 많은 매개변수로 인해 이전 세대 GPT-2보다 확실히 더 많은 주제 텍스트가 포함되어 있습니다. 현재 사용 가능한 최대 규모의 조밀한 신경망인 GPT-3는 웹 페이지 설명을 해당 코드로 변환하고, 인간의 서사를 모방하고, 맞춤형 시를 만들고, 게임 스크립트를 생성하고, 심지어 죽은 철학자를 모방하여 삶의 진정한 의미를 예측할 수 있습니다. 그리고 GPT-3은 미세 조정이 필요하지 않으며 어려운 문법 문제를 처리하기 위해 출력 유형의 몇 가지 샘플(소량의 학습)만 필요합니다. GPT-3는 언어 전문가들의 상상을 모두 만족시켰다고 할 수 있습니다.
이에 대해 말하면 모두가 같은 질문을 할 것이라고 믿습니다. GPT-3은 이미 매우 강력하므로 우리에게 또 무엇이 필요합니까? GPT-4에서는 어디를 기대하시나요?
우리 모두 알고 있듯이 AI 시스템의 지능을 테스트하는 핵심 방법은 튜링 테스트입니다. 아직 인간 지능의 개념을 정의하기 위해 과학적으로 정량화할 수 있는 표준을 사용할 수 없는 상황에서 현재 튜링 테스트는 다음 중 하나입니다. 상대방이 인간 지능을 보유하고 있는지 여부를 판단할 수 있는 실행 가능하고 실현 가능한 테스트 방법입니다. 속담을 사용하려면: 어떤 것이 오리처럼 보이고, 오리처럼 걷고, 오리처럼 꽥꽥거린다면 그것은 오리입니다. 따라서 AI 시스템이 튜링 테스트를 성공적으로 통과할 수 있다면 시스템이 인간의 사고를 갖고 있으며 어떤 면에서는 인간을 대체할 수도 있다는 뜻이다. 국내 IT 매체 보도에 따르면 업계에서는 지난 11월 중순부터 GPT-4가 튜링 테스트를 완벽하게 통과했다고 보도했다. 한국의 보디에(Vodier) AI 기업 남세동 임원은 최근 한국의 '경제뉴스'와의 인터뷰에서 "GPT-4가 튜링 테스트를 통과했다는 소식이 공식적으로 확인된 것은 아니지만 그 소식은 상당히 신빙성이 있을 것"이라고 말했다.
OpenAI의 전 CEO인 기술 전문가 Sam Altman도 자신의 트위터에서 이 정보를 확인한 것으로 보입니다. 알트만은 11월 10일 트위터에 '스타워즈' 캐릭터 다스 베이더의 명언을 흉내내며 "당신이 만들어낸 이 기술적 패닉을 자랑스러워하지 말라. 튜링 테스트를 통과하는 능력은 원작에 있다. 아무것도 없다"고 썼다. 힘 앞에서도 할 수 있어."
업계가 GPT-4에 주목하는 이유는 아마도 GPT-4의 실제 상용화 문턱이 기존 GPT-3보다 낮을 것이기 때문일 것입니다. 이전에는 막대한 비용과 인프라 문제로 인해 관련 기술을 사용할 수 없었던 기업도 GPT-4를 사용할 것으로 예상됩니다. GPT-4는 현재 상장 막바지 단계로 올해 12월부터 내년 2월 사이에 출시될 예정이다. Cambridge AI Research의 분석가인 Alberto Garcia는 블로그를 게시하고 "GPT-4는 데이터 처리 최적화에 더 중점을 둘 것이므로 GPT-4의 학습 비용은 GPT-3보다 낮을 것으로 예상됩니다. GPT-4 에피소드당 비용은 아마도 GPT-3의 수백만 달러에서 약 100만 달러로 줄어들 것입니다."
위의 정보가 모두 사실이라면 지금 이 순간 우리는 GPT-4 분야의 출시를 예상할 수 있습니다. 딥러닝 연구는 내년에 새로운 물결을 가져올 것입니다. 이를 바탕으로 더욱 발전되고 자연스러워지며 식별이 거의 불가능한 채팅 서비스 로봇이 다수 등장할 것입니다. 다양한 전통 기업의 고품질 맞춤형 AI 서비스가 탄생했으며, 인지 지능을 통해 장벽 없는 커뮤니케이션을 최초로 달성할 가능성도 높습니다.
처음에 언급한 인간 두뇌를 제작하거나 시뮬레이션하는 문제로 돌아가 보겠습니다. MIT의 연구에 따르면, GPT-3의 신경망은 인간의 뇌를 직접적으로 모방하려고 시도하지는 않지만, GPT-3가 제시하는 언어 처리 방식은 인간의 뇌가 진화하는 과정에서 얻은 솔루션과 어느 정도 유사성을 갖고 있다. 테스트 인간의 뇌와 동일한 자극을 모델에 입력했을 때 모델은 인간의 뇌와 동일한 유형의 활성화를 얻었으며 40개 이상의 언어 모델 테스트에서 GPT-3는 이러한 모델의 기본을 거의 완벽하게 추론했습니다. 이 기능은 실제로 인간 두뇌의 언어 처리 센터와 유사합니다. 이에 대해 스탠퍼드대학교 심리학 및 컴퓨터과학과 다니엘 야민스(Daniel Yamins) 조교수도 “인공지능 네트워크는 뇌를 직접 모방하지는 않지만 결국 뇌처럼 보이게 된다. 인공지능과 자연 사이에는 일종의 수렴진화가 일어나는 것 같아요.”
출처: 인터넷
GPT 시리즈 모델은 블루 브레인 프로젝트의 뇌 구조를 시뮬레이션하는 디자인 아이디어를 직접 채택하지는 않지만, 그것이 나타내는 효과를 알 수 있습니다. Blue Brain Plan 프로젝트보다 우리 기대에 더 가까운 것 같습니다. 따라서 이 연구 방향이 실제로 실현 가능하고 GPT-4가 GPT-3를 기반으로 일부 측면에서 비약적인 발전을 이룰 수 있다면 우리는 인간 두뇌의 일부 기능을 시뮬레이션하려는 목표에 한 걸음 더 가까워질 것입니다.
마지막으로 OpenAI CEO 샘 알트만이 최근 트위터에 올린 글의 인용문으로 마무리하고 싶습니다. 이 글은 '실리콘밸리 아이언맨' 엘론 머스크도 인정한 바 있습니다. “일반 인공지능의 확립은 대부분의 인공지능보다 빠를 것이다” 사람들은 그것을 더 빠르게 상상하고, 오랜 시간에 걸쳐 대부분의 사람들이 상상하는 모든 것을 '변화'시킬 것입니다."
이미지 출처: Twitter
https://dzone.com/articles/what-can-you-do-with-the-openai-gpt-3-언어 - mod
https://analyticsindiamag.com/gpt-4-is-almost-here-and-it-looks-better-than-anything-else/
https://analyticsindiamag.com/openais-whisper- might -gpt4/
에 대한 키를 유지하세요위 내용은 곧 출시될 GPT4는 인간의 두뇌와 비슷하며 많은 업계 리더들이 가만히 있을 수 없습니다!의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
