*이 글은 원래 영어로 작성되었으며, 중국어 번역은 ChatGPT로 완성되었으며, 수정을 위해 몇 가지 모호한 부분(빨간색과 노란색 부분)을 표시한 채 있는 그대로 제시됩니다. 영문 원고는 부록을 참조하세요. 저자는 ChatGPT 번역의 부적절함은 원래 영어 원고의 유창한 표현 부족으로 인해 발생하는 경우가 많다는 것을 발견했습니다. 관심 있는 독자는 이 내용을 주의 깊게 읽어야 합니다.
ChatGPT는 최근 연구 커뮤니티, 비즈니스 커뮤니티, 일반 대중의 주목을 받았습니다. 사용자의 개방형 프롬프트나 질문에 답변할 수 있는 일반 챗봇입니다. 일관되고 일관되며 잘 구조화된 응답을 제공할 수 있는 인간과 유사한 놀라운 언어 능력에 대한 호기심이 생겼습니다. 사전 훈련된 대규모 생성 언어 모델 덕분에 다중 회전 대화 상호 작용은 소설 작성, 단어 놀이, 코드 생성을 통한 로봇 조작까지 포함하여 다양한 텍스트 및 코드 기반 작업을 지원합니다. 이로 인해 대중은 일반적인 기계 학습과 기계 이해가 곧 달성될 것이라고 믿게 됩니다.
더 깊이 파고들면 프로그래밍 코드가 훈련 데이터로 추가될 때 모델이 특정 수준에 도달하면 특정 추론 능력, 상식 이해, 심지어 사고 사슬(일련의 중간 추론 단계)이 나타날 수도 있습니다. 규모. 이 새로운 발견은 흥미롭고 인공 지능 연구 및 응용에 대한 새로운 가능성을 열어 주지만 해결되는 것보다 더 많은 질문을 제기합니다. 예를 들어, 이러한 emergingemerging 능력이 고급 지능의 초기 지표 역할을 할 수 있을까요, 아니면 단순히 인간 행동을 순진하게 모방한 것일까요? 이미 대규모 모델을 계속 확장하면 일반 인공지능(AGI)이 탄생할 수 있을까요? 아니면 이러한 모델은 표면적으로는 제한된 기능을 갖춘 AI일 뿐일까요? 이러한 질문에 답하면 인공 지능의 이론과 적용에 근본적인 변화가 일어날 수 있습니다.
따라서 우리는 ChatGPT의 성공을 재현할 뿐만 아니라 더 중요하게는 다음과 같은 인공 지능 영역에서 획기적인 연구와 새로운 애플리케이션 개발을 추진할 것을 촉구합니다(이것은 전체 목록이 아닙니다).
1 . 기반 task 기반 특정 을 넘어서는 새로운 머신러닝 이론 머신러닝의 확립된 패러다임
귀납적 추론은 과거 관찰을 바탕으로 세상에 대한 결론을 도출하는 추론 유형입니다. 기계 학습은 새로운 작업의 성능을 향상시키기 위해 과거의 (훈련) 데이터를 사용한다는 점에서 느슨하게 귀납적 추론으로 생각할 수 있습니다. 기계 번역을 예로 들면 일반적인 기계 학습 프로세스는 다음과 같은 네 가지 주요 단계로 구성됩니다.
1. 영어 문장을 중국어로 번역해야 하는 경우: E → C,
와 같은 특정 문제를 정의합니다. 2. 문장 쌍 {E → C},
등의 데이터를 수집합니다. 3. 입력 {E} 및 출력 {C}를 사용하여 심층 신경망과 같은 모델을 학습합니다.
4. 예를 들어 새로운 영어 문장 E'를 입력하고 중국어 번역 C'를 출력하고 결과를 평가합니다.
위에 표시된 것처럼 기존 머신러닝은 각 특정 작업에 대한 교육을 분리합니다. 따라서 각각의 새로운 작업에 대해 프로세스를 재설정하고 1단계부터 4단계까지 다시 실행해야 하며 이전 작업에서 획득한 모든 지식(데이터, 모델 등)이 손실됩니다. 예를 들어 프랑스어를 중국어로 번역하려면 다른 모델이 필요합니다.
이 패러다임에서 기계 학습 이론가의 작업은 훈련 데이터에서 보이지 않는 테스트 데이터까지 일반화하는 학습 모델의 능력을 이해하는 데 중점을 둡니다. 예를 들어, 일반적인 질문은 보이지 않는 테스트 데이터를 예측할 때 특정 오류 한계를 달성하기 위해 훈련에 얼마나 많은 샘플이 필요한지입니다. 우리는 학습 모델이 접하지 않은 결과를 예측하려면 귀납적 편향 편향 (즉, 사전 지식 또는 선험적 가정)이 필요하다는 것을 알고 있습니다. 알 수 없는 상황에서의 출력값은 완전히 임의적이며, 특정한 가정을 하지 않으면 문제 해결이 불가능하기 때문이다. 유명한 공짜 점심 없음 정리는 귀납적 편향이 특정 문제에만 적용되며, 가정된 선험적 지식이 올바르지 않은 경우 다른 곳에서는 실패할 수 있음을 보여줍니다.
그림 1 기계 번역용 ChatGPT 스크린샷. 사용자 프롬프트에는 지침만 포함되어 있으며 데모 예제는 필요하지 않습니다.
위 이론이 여전히 적용되지만 기본 언어 모델의 출현으로 인해 기계 학습에 대한 접근 방식이 바뀌었을 수 있습니다. 새로운 기계 학습 프로세스는 다음과 같습니다(기계 번역 문제를 예로 들면 그림 1 참조).
1.API는 영어/중국어 쌍을 포함한 다양한 문서에 대한 훈련과 같이 다른 사람이 훈련한 기본 언어 모델에 액세스합니다. 말뭉치 모델.
2. 예가 거의 없거나 전혀 없는 작업에 적합한 텍스트 설명(프롬프트라고 함)을 디자인합니다(예: PromptPrompt = {몇 가지 예 E ➔ C}).
3. 프롬프트에 따라 새로운 테스트 데이터 포인트가 주어지면 언어 모델은 프롬프트에 E'를 추가하고 모델에서 C'를 생성하는 등의 답변을 생성합니다.
4. 답변을 예상된 결과로 해석하세요.
1단계에서 볼 수 있듯이 기본 언어 모델은 universalone-size-fits-all 지식 기반 역할을 합니다. 2단계에서 제공되는 힌트와 컨텍스트를 사용하면 소수의 데모 예제를 기반으로 특정 목표나 문제를 해결하도록 기본 언어 모델을 사용자 정의할 수 있습니다. 위의 파이프라인은 주로 텍스트 기반 문제로 제한되어 있지만 사전 훈련된 기본 모델이 양식에 따라 발전함에 따라(섹션 3 참조) 이것이 기계 학습의 표준이 될 것이라고 가정하는 것이 합리적입니다. 이는 필요한 임무 장벽을 허물고 Artificial General Intelligence(AGI)의 길을 열 수 있습니다.
그러나 툴팁 텍스트의 데모 예제가 어떻게 작동할지 파악하는 것은 아직 초기 단계입니다. 일부 이전 작업을 통해 이제 데모 샘플의 형식이 라벨의 정확성보다 더 중요하다는 것을 이해합니다(예: 그림 1에서 볼 수 있듯이 번역 예제를 제공할 필요는 없지만 하지만 만 언어 설명을 제공해야 함), 그러나 "공짜 점심 없음" 정리에서 설명한 것처럼 적응성에 이론적 한계가 있습니까? 프롬프트에 명시된 상황과 명령에 대한 지식을 향후 사용을 위해 모델에 통합할 수 있습니까? 이러한 질문은 이제 막 탐구되기 시작했습니다. 그러므로 우리는 일반화의 경계가 어디에 있는지 조사하는 것과 같이 이러한 새로운 형태의 상황별 학습과 그 이론적 한계 및 속성에 대한 새로운 이해와 새로운 원리를 요구합니다.
그림 2 컴퓨터 게임 설계에 사용되는 인공지능 의사결정 생성(AIGA) 그림.
2. 추론 능력을 연마하세요
우리는 우리의 모든 언어 및 행동 데이터를 훈련을 위해 채굴할 수 있는(그리고 거대한 컴퓨터 모델로 동화시킬 수 있는) 흥미진진한 시대의 문턱에 서 있습니다. 우리의 전체 집단적 경험과 문명이 나중에 사용하기 위해 (숨겨진) 지식 기반(인공 신경망 형태)으로 소화될 수 있기 때문에 이는 엄청난 성과입니다. 실제로 ChatGPT와 대규모 기본 모델은 어떤 형태의 추론 능력을 보여주고 아마도 다른 사람의 마음 상태(마음 이론)에 대한 어느 정도의 이해도 보여주는 것으로 생각됩니다. 이는 데이터 피팅(훈련 신호로 마스크된 언어 토큰 예측)과 모방(인간 행동)을 통해 달성됩니다. 그러나 이러한 전적으로 데이터 기반 전략이 더 큰 지능으로 이어질지 여부는 논쟁의 여지가 있습니다.
이 점을 설명하기 위해 에이전트 (에이전트) 체스 게임 방법을 지시하는 예를 들어보세요. 에이전트(에이전트)가 인간의 체스 플레이 데이터에 무제한으로 접근할 수 있다고 하더라도 기존 전략을 모방하는 것만으로는 기존 데이터보다 나은 새로운 전략을 생성하기가 매우 어려울 것입니다. 그러나 이 데이터를 사용하면 세상에 대한 이해(예: 게임 규칙)를 구축하고 이를 "생각"(더 나은 전략을 만들기 위해 피드백을 수집하기 위해 두뇌에 시뮬레이터를 구축)하는 데 사용할 수 있습니다. 이는 단순히 무차별 접근 방식을 사용하는 것이 아니라 학습 에이전트 (에이전트) 가 자신을 개선하기 위해 세계의 특정 모델을 가져야 한다는 귀납적 편견의 중요성을 강조합니다.
따라서 기본 모델의 새로운 기능을 깊이 연구하고 이해하는 것이 시급합니다. 우리는 언어 능력과 더불어 근본적인 메커니즘에 대한 연구를 통해 실용적인 추론 능력의 습득을 옹호합니다. 유망한 접근법 중 하나는 신경과학과 뇌과학에서 영감을 얻어 인간 추론 메커니즘을 해독하고 언어 모델 개발을 발전시키는 것입니다. 동시에 견고한 마음 이론을 구축하려면 다중 에이전트 학습과 그 기본 원리에 대한 깊은 이해가 필요할 수도 있습니다.
3. AI 생성 콘텐츠(AIGC)에서 AI 생성 작업(AIGA)으로
인간 언어가 개발한 암시적 의미 체계는 기본 언어 모델에 매우 중요합니다. 이를 어떻게 활용하는가는 일반 머신러닝의 핵심 주제입니다. 예를 들어, 의미 공간이 다른 미디어(예: 사진, 비디오, 사운드) 또는 다른 형태의 인간 및 기계 행동 데이터(예: 로봇 궤적/행동)와 정렬되면 이에 대한 의미 해석 기능을 전혀 얻을 수 없습니다. 추가 비용. 이러한 방식으로 기계 학습(예측, 생성 및 의사 결정)은 일반화되고 분해 가능해집니다. 그러나 관계에 주석을 다는 것은 노동 집약적이기 때문에 교차 모달 정렬을 처리하는 것은 우리가 직면한 심각한 어려움입니다. 더욱이 인간의 가치관의 정렬은 많은 이해관계자들이 갈등을 겪을 때 어려워진다.
ChatGPT의 근본적인 단점은 인간과만 직접 소통할 수 있다는 것입니다. 그러나 외부 세계와의 충분한 정렬이 확립되면 기본 언어 모델은 다양한 행위자 및 환경과 상호 작용하는 방법을 배울 수 있어야 합니다. 이는 단순한 대화를 넘어 추론 능력과 언어 기반 의미론에 더 폭넓은 적용과 기능을 제공하기 때문에 중요합니다. 예를 들어 인터넷 검색, 컴퓨터 제어, 로봇 조작이 가능한 만능 에이전트(에이전트)로 발전할 수 있습니다. 따라서 에이전트 (에이전트) (일반적으로 생성된 작업의 형태)의 응답이 안전하고 신뢰할 수 있으며 편견이 없고 신뢰할 수 있음을 보장하는 절차를 구현하는 것이 더욱 중요합니다.
그림 2는 AIGA가 게임 엔진과 상호 작용하여 비디오 게임 설계 프로세스를 자동화하는 예를 보여줍니다.
4 기본 언어 모델을 사용한 다중 에이전트 상호 작용 이론
ChatGPT는 상황별 학습 및 프롬프트 엔지니어링을 사용하여 단일 세션에서 사람들과 여러 차례의 대화를 진행합니다. 프롬프트가 표시되면 전체 이전 대화(질문 및 답변)가 응답을 작성하기 위한 추가 컨텍스트로 시스템에 전송됩니다. 이는 간단한 대화 중심의 MDP(Markov Decision Process) 모델입니다:
{상태 = 컨텍스트, 작업 = 응답, 보상 = 좋아요/싫어요 평가}.
이 전략은 효과적이기는 하지만 다음과 같은 단점이 있습니다. 첫째, 프롬프트는 사용자의 응답에 대한 설명만 제공하지만 사용자의 진정한 의도는 명시적으로 명시되지 않을 수 있으며 추론해야 합니다. 아마도 이전에 대화형 봇을 위해 제안된 POMDP(Partially Observable Markov Decision Process)와 같은 강력한 모델은 숨겨진 사용자 의도를 정확하게 모델링할 수 있습니다.
두 번째로, ChatGPT는 먼저 학습을 위해 언어 적응성 을 사용하여 적합한 언어 생성 을 목표로 한 다음 대화 목표에 따라 학습/미세 조정을 위해 인간 레이블을 사용합니다. 플랫폼의 개방형 특성으로 인해 실제 사용자의 목표 및 목적은 교육/미세 조정 보상과 일치하지 않을 수 있습니다. 인간과 에이전트(에이전트) 사이의 균형과 이해 상충을 조사하기 위해서는 게임 이론의 관점을 사용하는 것이 가치가 있을 수 있습니다.
5. 새로운 애플리케이션
ChatGPT에서 입증된 것처럼 기본 언어 모델에는 미래 기계 학습 및 기본 언어 모델 애플리케이션의 원동력이 될 두 가지 고유한 특성이 있다고 믿습니다. 첫 번째는 우수한 언어 능력이고, 두 번째는 내재된 의미론적 및 초기 추론 능력(인간 언어 형태)입니다. 인터페이스로서 전자는 머신러닝 적용에 대한 진입 장벽을 크게 낮추고, 후자는 머신러닝의 적용 범위를 크게 향상시킵니다.
1부에서 소개된 새로운 학습 프로세스에서 볼 수 있듯이 프롬프트와 상황별 학습은 데이터 엔지니어링의 병목 현상과 모델 구축 및 교육에 필요한 노력을 제거합니다. 또한 추론 기능을 활용하면 어려운 작업의 각 하위 작업을 자동으로 분류하고 해결할 수 있습니다. 따라서 많은 산업과 응용 분야가 크게 바뀔 것입니다. 인터넷 기업에서 대화 기반 인터페이스는 웹 및 모바일 검색, 추천 시스템 및 광고를 위한 확실한 애플리케이션입니다. 그러나 우리는 키워드 기반의 URL 역색인 검색 시스템에 익숙하기 때문에 변화가 쉽지 않습니다. 사람들은 더 긴 쿼리와 자연어를 쿼리로 사용하도록 다시 배워야 합니다. 더욱이 기본 언어 모델은 경직되고 유연성이 없는 경우가 많습니다. 최근 사건에 대한 최신 정보가 부족합니다. 그들은 종종 사실을 떠올리게 하고 검색 기능과 검증을 제공하지 않습니다. 따라서 시간이 지남에 따라 동적으로 발전할 수 있는 즉각적인 기본 모델이 필요합니다.
따라서 우리는 다음 영역을 포함하되 이에 국한되지 않는 새로운 애플리케이션의 개발을 요구하고 있습니다.
작가 소개
UCL(University College London) 컴퓨터 과학 교수이자 Shanghai Digital Brain Institute의 공동 창립자 겸 학장인 왕준(Wang Jun)은 주로 의사결정 지능과 머신러닝, 강화 학습, 다중 모델 관련 연구를 연구합니다. 에이전트, 데이터 마이닝, 컴퓨터 광고, 추천 시스템 등 그는 200개 이상의 학술 논문과 2개의 학술 논문을 출판했으며 여러 개의 최우수 논문 상을 수상했으며 팀을 이끌고 세계 최초의 다중 에이전트 의사 결정 모델과 세계 최초의 다중 모드 의사 결정 모델을 개발했습니다.
부록:
혁신 촉구: 인공 일반 지능에 대한 Post-ChatGPT 이론 및 응용
ChatGPT는 최근 연구 커뮤니티, 상업 부문 및 일반 대중의 관심을 끌었습니다. 사용자의 개방형 프롬프트나 질문에 응답할 수 있는 일반적인 챗봇입니다. Curiosity는 일관되고 일관되며 잘 구조화된 응답을 제공하는 우수하고 인간적인 언어 기술로 자극됩니다. 사전 훈련된 대규모 생성 언어 모델 덕분에 소설 작성, 문자 구성, 텍스트 게임 플레이, 심지어 코드 생성을 통한 로봇 조작을 포함한 광범위한 텍스트 및 코드 기반 작업을 수행할 수 있습니다. 이는 일반 기계 학습 및 기계에 대한 대중의 신뢰를 제공합니다.
더 깊이 파고들면 프로그래밍 코드가 훈련 데이터로 추가될 때 특정 추론 능력, 상식 이해, 심지어 일련의 중간 추론까지 발견할 수 있습니다. 단계)는 모델이 특정 크기에 도달할 때 창발적 능력으로 나타날 수 있습니다[1]. 새로운 발견은 흥미롭고 AI 연구 및 응용에 대한 새로운 가능성을 열어 주지만, 이러한 창발적 능력이 해결될 수 있는지보다 더 많은 질문을 불러일으킵니다. 예를 들어, 더 높은 지능의 초기 지표로 사용됩니까? 아니면 단순히 데이터에 숨겨진 인간 행동을 엄청나게 순진하게 모방하는 것입니까? 이미 모델을 계속 확장하면 일반 인공 지능(AGI)이 탄생하게 될까요, 아니면 이러한 모델은 단순히 제한된 기능을 갖춘 피상적으로 지능적입니까? 대답하면 이러한 질문은 인공 지능 이론과 응용 프로그램의 근본적인 변화로 이어질 수 있습니다.
따라서 우리는 ChatGPT의 성공을 복제하는 것뿐만 아니라 가장 중요하게는 획기적인 연구와 새로운 응용 프로그램 개발을 추진할 것을 촉구합니다. 다음과 같은 인공 지능 영역(완전한 목록은 아님):
1.작업별 기계 학습의 기존 패러다임을 뛰어넘는 새로운 기계 학습 이론
귀납적 추론은 추론의 한 유형입니다. 기계 학습은 과거의 (훈련) 데이터를 활용하여 새로운 작업의 성능을 향상시킨다는 점에서 대략적으로 귀납적 추론으로 간주될 수 있습니다. 학습 파이프라인에는 다음 네 가지 주요 단계가 포함됩니다.
1.특정 문제 정의(예: 영어 문장을 중국어로 번역: E→C,
2.데이터 수집, 예: 문장 쌍 { E→C) } ,
3.모델 훈련(예: 입력 {E} 및 출력 {C}가 있는 심층 신경망),
4.보이지 않는 데이터 포인트에 모델 적용(예: 새로운 영어 입력) 문장 E'를 입력하고 중국어 번역 C'를 출력하고 결과를 평가합니다.
위에 표시된 것처럼 전통적인 기계 학습은 각 특정 작업에 대한 교육을 분리하므로 각 새 작업에 대해 단계부터 프로세스를 재설정하고 다시 실행해야 합니다. 1~4단계, 이전 작업에서 얻은 모든 지식(데이터, 모델 등)을 잃습니다. 예를 들어 영어를 중국어로 번역하는 대신 프랑스어를 중국어로 번역하려면 다른 모델이 필요합니다. 이 패러다임에서 기계 학습 이론가의 작업은 주로 훈련 데이터부터 보이지 않는 테스트 데이터까지 학습 모델의 일반화 능력을 이해하는 데 중점을 둡니다[2, 3]. 예를 들어, 일반적인 질문은 보이지 않는 테스트 데이터를 예측하는 특정 오류 범위를 달성하기 위해 훈련에 필요한 샘플 수입니다. 우리는 학습 모델이 아직 경험하지 못한 결과를 예측하려면 귀납적 편향(즉, 사전 지식 또는 사전 가정)이 필요하다는 것을 알고 있습니다. 알 수 없는 상황에서의 출력값은 완전히 임의적이어서 특정 가정을 하지 않으면 문제를 해결할 수 없기 때문입니다. 유명한 점심 공짜 정리[5]는 또한 모든 귀납적 편견에는 한계가 있다고 말합니다. 이는 특정 문제 그룹에만 적합하며, 가정된 사전 지식이 올바르지 않은 경우 다른 곳에서는 실패할 수 있습니다. 
그림 1 기계 번역에 사용되는 ChatGPT의 스크린샷. 프롬프트에는 지침만 포함되어 있으며 시연 예제는 필요하지 않습니다.
위의 이론은 여전히 유효하지만 기초 언어 모델의 등장으로 기계 학습에 대한 접근 방식이 바뀌었을 수 있습니다. 새로운 기계 학습 파이프라인은 다음과 같을 수 있습니다(예와 동일한 기계 번역 문제 사용, 그림 1 참조).
1. 다른 사람이 다른 곳에서 훈련한 기초 언어 모델에 대한 API 액세스(예: 다양한 언어로 훈련된 모델) 영어/중국어 페어링 코퍼스를 포함한 문서,
2. 몇 가지 예가 있거나 전혀 없는 경우 현재 작업에 적합한 텍스트 설명(프롬프트라고 함)을 디자인합니다(예: Prompt = {a some) 예 E→C },
3.프롬프트와 주어진 새로운 테스트 데이터 포인트에 따라 언어 모델은 답을 생성합니다. 예를 들어 프롬프트에 E'를 추가하고 모델에서 C'를 생성합니다.
4.답변을 예상 결과로 해석합니다.
1단계에서 볼 수 있듯이 기초 언어 모델은 모든 경우에 적용되는 단일 지식 저장소 역할을 합니다. 2단계에 제시된 프롬프트(및 컨텍스트)를 사용하면 몇 가지 데모 인스턴스만으로 기초 언어 모델을 특정 목표나 문제에 맞게 사용자 정의할 수 있습니다. 앞서 언급한 파이프라인은 주로 텍스트 기반 문제로 제한되어 있지만 교차 양식(섹션 3 참조) 기반 사전 학습 모델의 개발이 계속됨에 따라 일반적으로 기계 학습의 표준이 될 것이라고 가정하는 것이 합리적입니다. 이는 AGI의 길을 닦는 데 필요한 작업 장벽을 무너뜨릴 수 있습니다.
그러나 프롬프트 텍스트의 데모 예제가 어떻게 작동하는지 결정하는 과정은 아직 초기 단계입니다. 경험적으로 우리는 이제 일부 초기 작업[2]을 통해 데모 샘플의 형식이 라벨의 정확성보다 더 중요하다는 것을 이해합니다(예를 들어 그림 1에 설명된 것처럼 예제 번역을 제공할 필요는 없지만 언어 교육을 제공해야 함), 무상급식 정리에 명시된 대로 적응성에 이론적 한계가 있습니까? 프롬프트(2단계)에 명시된 상황 및 지침 기반 지식을 향후 사용을 위해 모델에 통합할 수 있습니까? 우리는 이러한 문의를 수박 겉핥기식으로만 다루고 있습니다. 따라서 우리는 이러한 새로운 형태의 맥락 내 학습과 그 이론적 한계 및 일반화 범위와 같은 속성 뒤에 있는 새로운 이해와 새로운 원칙을 요구합니다.
그림 2 컴퓨터 게임 디자인을 위한 AIGA 그림.
2.추론 능력 개발
우리는 우리의 모든 언어 및 행동 데이터를 채굴하여 거대한 컴퓨터 모델을 훈련(및 흡수)할 수 있는 흥미로운 시대의 가장자리에 있습니다. 우리의 전체 집단적 경험과 문명이 나중에 사용하기 위해 단일한 (숨겨진) 지식 기반(인공 신경망 형태)으로 소화될 수 있다는 점에서 이는 엄청난 성과입니다. 실제로 ChatGPT와 대규모 기반 모델은 일종의 추론 능력을 보여준다고 합니다. 그들은 심지어 다른 사람의 정신 상태를 어느 정도 파악하고 있을 수도 있습니다(마음 이론)[6]. 이는 데이터 피팅(마스크된 언어 토큰을 훈련 신호로 예측)과 모방(인간 행동)을 통해 수행됩니다. 그러나 이 전적으로 데이터 기반 전략이 우리에게 더 나은 정보를 제공할지는 논쟁의 여지가 있습니다.
이 개념을 설명하려면 예를 들어 상담원에게 체스 게임 방법을 지시하는 것을 고려해 보세요. 에이전트가 무한한 양의 인간 플레이 데이터에 액세스할 수 있더라도 기존 정책을 모방하는 것만으로는 이미 데이터에 존재하는 것보다 더 최적인 새로운 정책을 생성하기가 매우 어렵습니다. 그러나 데이터를 사용하면 세상에 대한 이해(예: 게임 규칙)를 개발하고 이를 "생각"하는 데 사용할 수 있습니다(보다 최적의 정책을 만들기 위해 피드백을 수집하기 위해 두뇌에 시뮬레이터를 구성). 이는 귀납적 편향의 중요성을 강조합니다. 단순한 무차별 대입이 아닌, 학습 에이전트는 자신을 개선하기 위해 세계에 대한 일부 모델을 갖고 데이터에서 이를 추론해야 합니다.
따라서 기초 모델의 새로운 역량을 철저히 조사하고 이해하는 것이 시급합니다. 우리는 언어 능력 외에도 기본 메커니즘을 조사하여 실제 추론 능력 획득에 대한 연구를 옹호합니다 [9]. 유망한 접근법 중 하나는 신경과학과 뇌 과학에서 영감을 얻어 인간 추론의 메커니즘을 해독하고 언어 모델 개발을 발전시키는 것입니다. 동시에, 견고한 정신 이론을 구축하려면 다중 에이전트 학습[10,11]과 그 기본 원리에 대한 심층적인 지식이 필요할 수도 있습니다.
3. AI 생성 콘텐츠(AIGC)에서 AI 생성 작업(AIGA)까지
인간 언어를 기반으로 개발된 암시적 의미 체계는 기초 언어 모델에 필수적입니다. 이를 어떻게 활용하느냐는 일반 머신러닝의 중요한 주제입니다. 예를 들어, 의미 공간이 다른 미디어(예: 사진, 비디오, 소리) 또는 로봇 궤적/행동과 같은 인간 및 기계 행동의 다른 형태의 데이터와 정렬되면 추가 작업 없이 이에 대한 의미 론적 해석 능력을 얻을 수 있습니다. 비용 [7, 14]. 이러한 방식으로 기계 학습(예측, 생성 및 의사 결정)은 일반적이고 분해 가능합니다. 그러나 양식 간 정렬을 처리하는 것은 관계에 레이블을 지정하는 노동 집약적 특성으로 인해 우리에게 상당한 장애물입니다. 또한 다수의 당사자가 이해관계가 상충되면 인간의 가치 정렬이 어려워집니다.
ChatGPT의 근본적인 단점은 사람하고만 직접 소통할 수 있다는 것입니다. 그러나 일단 외부 세계와의 충분한 정렬이 확립되면 기초 언어 모델은 다양한 당사자 및 환경과 상호 작용하는 방법을 배울 수 있어야 합니다 [7, 14]. 이는 대화를 넘어 더 폭넓은 응용과 역량을 위해 언어 기반의 추론 능력과 의미론에 힘을 실어줄 것이기 때문에 의미가 크다. 예를 들어, 인터넷 탐색[7], 컴퓨터 제어[13], 로봇 조작[12]이 가능한 일반 에이전트로 진화할 수 있습니다. 따라서 에이전트의 응답(종종 생성된 작업의 형태)이 안전하고 신뢰할 수 있으며 편견이 없고 신뢰할 수 있음을 보장하는 절차를 구현하는 것이 더욱 중요해졌습니다.
그림 2는 게임 엔진과 상호 작용하여 비디오 게임 설계 프로세스를 자동화하는 AIGA[7]의 데모를 제공합니다.
4.기초 언어 모델과의 상호 작용에 대한 다중 에이전트 이론
ChatGPT는 상황 내 학습 및 프롬프트 엔지니어링을 사용하여 단일 세션에서 사람들과 다단계 대화를 유도합니다. 즉, 질문이나 프롬프트가 주어지면 전체 이전 대화(질문 및 응답)가 추가 컨텍스트로 시스템에 전송됩니다. 응답을 구성합니다. 이는 대화를 위한 간단한 MDP(Markov Decision Process) 모델입니다:
{상태 = 컨텍스트, 작업 = 응답, 보상 = 좋아요/비추천 평가}.
이 전략은 효과적이기는 하지만 다음과 같은 단점이 있습니다. 첫째, 프롬프트는 단순히 사용자 응답에 대한 설명을 제공하지만 사용자의 진정한 의도는 명시적으로 명시되지 않을 수 있으며 추론해야 합니다. 이전에 대화 봇에 대해 제안된 강력한 모델은 아마도 숨겨진 사용자 의도를 정확하게 모델링하는 부분적으로 관찰 가능한 마르코프 결정 프로세스(POMDP)일 것입니다.
두 번째, ChatGPT는 먼저 언어 적합성을 사용하여 훈련한 다음 대화 목표를 위해 인간 레이블을 사용하여 훈련합니다. 플랫폼의 개방형 특성으로 인해 실제 사용자의 목표 및 목적은 훈련/세분화된 보상과 일치하지 않을 수 있습니다. 인간과 에이전트의 균형과 이해상충을 조사하기 위해서는 게임이론적 관점을 사용하는 것이 가치가 있을 수 있습니다[9].
5.새로운 애플리케이션
ChatGPT에서 입증된 바와 같이, 미래 기계 학습 및 기초 언어 모델 애플리케이션의 원동력이 될 기초 언어 모델에는 두 가지 독특한 특징이 있습니다. 첫 번째는 뛰어난 언어 능력이고, 두 번째는 내재된 의미론과 초기 추론 능력(인간 언어 형태)입니다. 인터페이스로서 전자는 응용 기계 학습에 대한 진입 장벽을 크게 낮추는 반면 후자는 기계 학습이 적용되는 방식을 크게 일반화합니다.
섹션 1에 제시된 새로운 학습 파이프라인에서 설명한 것처럼 프롬프트와 상황 내 학습은 데이터 엔지니어링의 병목 현상과 모델 구성 및 교육에 필요한 노력을 제거합니다. 또한 추론 기능을 활용하면 어려운 작업의 각 하위 작업을 자동으로 분석하고 해결할 수 있습니다. 따라서 이는 수많은 산업과 응용 부문을 극적으로 변화시킬 것입니다. 인터넷 기반 기업에서 대화 기반 인터페이스는 웹 및 모바일 검색, 추천 시스템 및 광고에 대한 확실한 응용 프로그램입니다. 그러나 우리는 키워드 기반의 URL 역색인 검색 시스템에 익숙하기 때문에 변화가 간단하지 않습니다. 사람들은 더 긴 쿼리와 자연어를 쿼리로 활용하도록 다시 배워야 합니다. 게다가 기초 언어 모델은 일반적으로 경직되고 유연성이 없습니다. 최근 사건에 관한 최신 정보에 대한 접근이 부족합니다. 그들은 일반적으로 사실을 환각하고 검색 기능과 검증을 제공하지 않습니다. 따라서 시간이 지남에 따라 역동적인 진화를 겪을 수 있는 적시 기반 모델이 필요합니다.
따라서 우리는 다음 영역을 포함하되 이에 국한되지 않는 새로운 응용 프로그램을 요구합니다.
위 내용은 '혁신 촉구: UCL Wang Jun이 ChatGPT 일반 인공지능의 이론과 응용 전망에 대해 논의합니다.'의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
