2022년 11월 말, ChatGPT가 출시되자 전 세계의 관심을 끌었으며 그 인기는 여전히 강합니다! 검색엔진을 대체하면서 특이점, 변곡점, 여러 직업이 실업위기에 직면하고 인류는 궁극적인 도전에 직면해 있다… 이러한 뜨거운 주제 앞에서 이 글은 우리의 이해를 공유하고 토론과 수정을 환영한다. .
일반적으로 ChatGPT는 상당한 기술적 진보를 이루었습니다. 비록 단점이 있지만 AGI(일반 인공 지능, 일반 인공 지능)를 향한 움직임은 여전히 많은 도전으로 가득 차 있습니다!
그림 1: https://openai.com/blog/chatgpt/ 웹페이지 스크린샷
먼저 AI 연구에 있어서 엘리자 효과(엘리자 효과)를 소개하자면, 이는 챗봇 관련과도 관련이 있습니다.
엘리자 효과는 사람들이 기계의 결과를 과도하게 해석하여 원래 가지고 있지 않았던 의미를 읽어낸다는 것을 의미합니다. 인간은 자연현상이 인간의 행동과 유사하다고 무의식적으로 믿는 심리적 경향이 있는데, 이를 심리학에서는 인간의 의인화(anthropomorphization)라고 하는데, 특히 인간이 새로운 현상에 대한 충분한 이해가 부족할 때 더욱 그러하다. 예를 들어, 고대 사람들은 천둥의 신이 화를 내면 천둥을 쳤다고 믿었습니다.
"엘리자"라는 이름은 1966년 MIT 컴퓨터 과학자 Joseph Weizenbaum이 개발한 채팅 로봇에서 따왔습니다. 챗봇 엘리자(Eliza)는 심리상담사를 목적으로 고안되었으며 기발한 엘리자 프로젝트는 당시 사용자들에게 충격과 센세이션을 불러일으켰지만 사실은 단순한 규칙 문법을 바탕으로 한 기발한 애플리케이션에 불과했습니다.
ChatGPT의 원리를 어느 정도 이해하면 ChatGPT를 이해할 때 엘리자 효과를 줄일 수 있습니다. 올바른 판단이 있어야만 우리는 건강하고 멀리까지 갈 수 있습니다. 이를 위해 우리는 엄격하게 노력하고 독자들이 더 잘 이해할 수 있도록 참고 자료를 제공합니다. 다음은 세 부분으로 나누어집니다.
: http://oa .ee .tsinghua.edu.cn/ouzhijian
저자: Ou Zhijian, 칭화대학교 전자공학과 부교수 겸 박사 지도교수. IEEE Audio Speech Language Journal(TASLP) 부편집장, Computer Speech & Language 편집위원, IEEE 음성 언어 기술 위원회(SLTC) 회원, IEEE Speech Technology(SLT) 2021 컨퍼런스 의장, China Computer 특별 회원 연맹(CCF) 및 특별위원회 스피치대화청문위원 등 그는 약 100편의 논문을 발표했으며 3개의 주정부 및 장관상을 수상했으며 다수의 국내외 우수 논문상을 수상했습니다. 무작위 필드 언어 모델, 이산 잠재 변수 모델을 위한 학습 알고리즘, 엔드투엔드 대화 모델 및 준지도 학습에 대한 기초 독창적 연구를 수행했습니다.
ChatGPT의 발전은 다년간의 인공지능 연구, 특히 다층 신경망을 활용한 기술인 딥러닝 기술의 거인들의 어깨 위에 서있습니다. ChatGPT의 시스템 구축에 중요한 역할을 하는 여러 기술을 아래 그림과 같이 정리했습니다. ChatGPT가 탄생한 것은 이러한 기술(6단계)의 결합 효과입니다.
ChatGPT의 모델 골격은 Transformer 신경망 아키텍처를 기반으로 한 자동 회귀 언어 모델(언어 모델)입니다. 미세 조정(finetuning) 기반 기술, Prompt(프롬프트) 기반 기술, 상황별 학습(in-context learning), 인간 피드백 강화 학습(RLHF) 기술이 점차 발전하여 궁극적으로 기여하고 있습니다. ChatGPT의 탄생.
그림 2: ChatGPT 진행 상황
1. 언어 모델(LM, 언어 모델)
언어 모델은 인간 자연어의 확률적 모델입니다. 인간의 자연어는 문장이고, 문장은 확률 분포를 따르는 자연어 기호 x1
,x2
,...,x
의 시퀀스입니다. 확률 이론의 곱셈 공식을 사용하면
이를 왼쪽에서 오른쪽으로 배치하고 이전 역사적 기호 x1,x2,…,xi-1을 사용할 수 있습니다. ( (즉, 위), 현재 기호의 (조건부) 확률을 계산하는 모델 P(xi | 당연히 위 조건이 주어지면 현재 기호를 생성하는 데 사용할 수 있습니다. 예를 들어, 아래 그림은 "AI의 가장 좋은 점은 AI의 능력"이라는 문장에서 다음 기호의 발생 확률을 보여줍니다. 은 재귀적으로 생성될 수 있습니다.
언어 모델 문제의 핵심은 조건부 분포를 나타내기 위해 어떤 종류의 함수 계열을 구성해야 하는지입니다. P(x
i| x
1
i-1) 빅데이터로부터 모델 매개변수를 효과적으로 학습할 수 있습니다. ChatGPT를 기반으로 한 기술 발전은 신경망을 사용하여 P(xi | x1,…,xi-1)을 표현한다는 것입니다. 2. 변환기 신경망 아키텍처
시퀀스 조건부 분포 모델링에 대한 도전 P(xi | x1
,…,xi-1) , 장거리 종속성 모델링. 일반적인 순환 신경망(RNN)을 사용하는 시퀀스 모델은 훈련 중에 폭발하고 사라지는 기울기 효과에 직면하게 되므로[1] 오랫동안 사람들은 장기 단기 기억 네트워크(장단기 기억, LSTM) RNN[2]은 시퀀스 모델링에 사용됩니다. LSTM은 Gating 메커니즘을 도입하여 Gradient Explosion 및 소멸의 결함을 어느 정도 완화합니다. 2017년에 개발된 Transformer 신경망 아키텍처[3]는 재귀 계산을 완전히 버리고 Self-Attention 메커니즘을 사용하여 FFNN(Feed-Forward Neural Network)을 사용하여 시퀀스 모델링을 수행함으로써 경사 폭발의 결함을 효과적으로 해결합니다. 그리고 실종. 시퀀스 모델링에서 RNN에 비해 Transformer의 장점을 직관적으로 이해해 보겠습니다. n 서로 떨어져 있는 시퀀스의 두 위치를 고려하세요. 이 두 위치 사이의 순방향 및 역방향 계산의 신호와 신경망에서 이동하는 경로 길이는 신경망의 장거리 종속성을 학습하는 능력에 영향을 미칩니다. RNN의 중요한 요소는 O(n)
이고 Transformer는O(1)입니다. 이 섹션을 이해하지 못하는 독자는 다음 콘텐츠를 읽는 데 영향을 주지 않고 건너뛸 수 있습니다.-)그림 3
3. 튜닝기술
자연어 이해에는 질문 답변, 의미 유사성 평가, 텍스트 함축 관계 판단, 문서 분류, 기계 번역, 독해, 요약 등 다양한 작업이 포함됩니다. 먼저 대량의 (레이블이 지정되지 않은) 텍스트에 대해 대규모 Transformer-LM(종종 스켈레톤이라고 함)을 훈련한 다음, 다음 문제에 직면했을 때 다운스트림 작업의 해당 주석 데이터를 사용하여 이 대규모 Transformer 네트워크를 미세 조정할 수 있다는 것이 밝혀졌습니다. , 소위 사전 훈련 + 미세 조정 기술(사전 훈련 + 미세 조정)이 개발된 대표적인 기술입니다. 2018-2019년에. GPT는 Transformer를 기반으로 한 자동회귀 언어 모델이고, BERT는 Transformer를 기반으로 한 MLM(Masked Language Model)입니다.
GPT 원문에 따르면 "우리 작업은 대체로 자연어에 대한 준지도 학습 범주에 속합니다." 이러한 종류의 비지도 사전 학습은 지도 미세 조정과 결합됩니다. 준지도 학습 의 핵심은 지도 학습과 비지도 학습을 공동으로 수행하는 것입니다. ㅋㅋㅋ 사전 훈련 +미세 조정 기술의 틀 아래에서는 각 하위 작업에 대해 주석이 달린 대량의 데이터를 수집하고 레이블을 지정한 다음 각 작업에 대한 "좁은 전문가"를 얻기 위해 미세 조정이 여전히 필요합니다. 좁은 모델은 별도로 구성하고 라벨을 지정해야 합니다. 저장에는 시간이 많이 걸리고 노동 집약적이며 리소스 집약적입니다. 많은 작업을 처리할 수 있고 각 작업에 대한 데이터 세트를 수동으로 수집하고 레이블을 지정할 필요가 없는 보다 일반적인 시스템을 구축할 수 있다면 좋을 것입니다. 2019년 GPT-2 원문[6]에서 이렇게 명확한 비전 선언문을 통해 이미 AGI로 나아가는 모습을 보셨나요? :-)
「우리는 다음과 같은 기능을 수행할 수 있는 보다 일반적인 시스템으로 나아가고 싶습니다. 많은 작업을 수행합니다. 결국 각 작업에 대한 훈련 데이터 세트를 수동으로 생성하고 레이블을 지정할 필요가 없습니다.》
기계가 자연어 이해 작업(질문 및 답변 등)을 수행하는 방법을 배우게 하면 핵심은 조건부 분포
일반 시스템은 다양한 작업을 수행할 수 있으므로 모델링은 task 작업, 즉 모델링
GPT로 대표되는 혁신적인 접근 방식입니다. 2는,
작업, 입력, 출력 은 모두 자연어에서 기호 시퀀스로 표현되므로 모델
P(출력 | 작업, 입력)은 언어 모델 으로 귀결됩니다. - 위의 경우, 재귀적으로 다음을 생성합니다. 다음 기호. 다양한 작업의 학습 데이터는
과 같은 기호 시퀀스 형태로 균일하게 구성됩니다. 예를 들어
(프랑스어, 영어 텍스트, 프랑스어 텍스트로 번역)
(질문에 답하기, 문서, 질문, 답변)그 중 task를 흔히 prompt라고 합니다.) . 촉구하는 방법에는 여러 가지가 있으며, 관련 연구도 많이 있으므로 이 글에서는 이에 대해 소개하지 않겠습니다.
GPT-2 이전에도 비슷한 아이디어에 대한 연구가 있었습니다. GPT-2는 훈련 세트나 모델의 크기에 관계없이 규모를 새로운 수준으로 끌어올렸습니다. WebText(40GB)를 설정하여 최대 매개변수 크기가 1.5B인 Transformer-LM을 학습하여 매개변수나 모델 아키텍처 수정 없이 제로 샘플 조건에서 여러 작업에서 뛰어난 성능을 보여주었습니다. GPT-2의 접근 방식은 멀티 태스킹 학습과 메타 학습을 완벽하게 구현하고 있으며, 이는 GPT-2의 우수한 성능에 대한 직관적인 설명으로 사용될 수 있다는 점을 지적할 가치가 있습니다.
(GPT-2 원본 텍스트 [6] "언어 모델은 비지도 멀티태스킹 학습자입니다." GPT-2는 117M, 345M, 762M, 1542M의 매개변수 크기를 사용하여 일련의 Transformer-LM을 교육했습니다. 그림은 각각 모델 매개변수 규모가 증가함에 따라 각 작업의 성능이 지속적으로 향상되는 것을 보여줍니다.)
5. GPT-3 및 상황 내 학습
2020년 GPT-3 작업 [ 7 ], GPT-2의 비전과 기술 경로를 이어가며 각 작업에서 작업별 주석 및 미세 조정의 단점을 극복하기를 희망합니다(여전히 작업별 데이터 세트 및 작업별 미세 조정이 필요함) ), 인간과 유사한 보편적인 시스템을 구축하기 위해 기사에서는 연구 동기 중 하나가 다음과 같은 점을 분명히 지적합니다. 자연어로(예: 『이 문장이 행복한 것을 묘사하는지 슬픈 것을 묘사하는지 말씀해 주세요』) 또는 기껏해야 소수의 시연(예: 『여기에 사람들이 용감하게 행동하는 두 가지 예가 있습니다. 용감한 세 번째 예를 들어주세요』)은 다음과 같습니다. 인간이 최소한 합리적인 수준의 능력으로 새로운 작업을 수행할 수 있을 만큼 충분합니다."
즉, 작업 설명(지침)과 데모 샘플(데모)이 주어지면 기계는 다음을 수행할 수 있어야 합니다. 인간처럼 다양한 작업을 수행합니다.
GPT-3가 다시 한 번 새로운 수준으로 확장되었습니다
. 훈련 세트 크기는 텍스트 45TB(청소 전) 및 570GB(청소 후)입니다. GPT-2에 비해 규모가 늘어났습니다. 10배, 175B에 도달(아래 표 2.1 참조). GPT-2 기사에서는 주로 제로샷 프롬프트 상황에 대한 실험을 수행한 반면, GPT-3에서는 In Context Learning(시나리오 학습)이라고 통칭하는 제로샷, 싱글샷 및 퓨샷 상황에 대한 실험을 수행했습니다. 데모)는 0, 1 또는 그 이상이 될 수 있지만 모두 작업 설명(작업 설명)을 갖습니다. 그림 2.1의 그림을 참조하세요. 그림 1.2에서 볼 수 있듯이 데모 샘플 수가 증가하면 다양한 크기의 모델 성능이 향상됩니다. ㅋㅋㅋ GPT 및 RLHF 기술자연어 이해를 위한 LLM(대형 언어 모델)의 현재 관행은 다음 기호를 재귀적으로 생성하는 것입니다. InstructGPT 연구의 한 가지 출발점은 인간-기계 대화에서 언어 모델을 증가시킨다고 해서 본질적으로 사용자 의도를 더 잘 따르게 되는 것은 아니라는 점을 고려하는 것입니다. 대규모 언어 모델은 사실 조작, 편향되고 유해한 텍스트 생성, 단순히 사용자에게 도움이 되지 않는 등 불만족스러운 동작을 나타낼 수도 있습니다.
최근 많은 대규모 LM에서 사용하는 언어 모델링 목표는 인터넷의 웹 페이지에서 다음 토큰을 예측하는 것이기 때문이며, 이는 "사용자의 지시를 유익하고 안전하게 따르기"라는 목표와는 다릅니다. 그러므로 우리는 언어 모델링 목표가 misaligned라고 말합니다. 수백 개의 애플리케이션에서 언어 모델을 배포하고 사용할 때 이러한 예기치 않은 동작을 피하는 것이 특히 중요합니다. 2022년 3월 InstructGPT 작업[8]에서는 인간 피드백을 기반으로 미세 조정하여 다양한 작업에 대한 사용자 의도에 맞게 언어 모델을 조정하는 방법을 시연했습니다. 결과 모델은 InstructGPT입니다. 구체적으로 아래 그림 2와 같이 InstructGPT 구성 프로세스는 3단계로 구성됩니다.
1단계: 데모 데이터 수집(13K개 데이터), 지도 학습 사용fine-tuningGPT-3(크기 175B) , 훈련 결과는 감독된 정책으로 이어집니다.
2단계: 비교 데이터(33K 데이터)를 수집하고 6B 크기의 보상 모델(보상 모델)을 학습합니다.
31K 훈련 데이터를 수집하고 강화 학습을 사용하여인간 피드백을 통한 강화 학습(인간 피드백을 통한 강화 학습, RLHF)이라는 보상 모델 전략을 최적화합니다. 구체적으로는 PPO라는 전략 최적화 방법이 사용된다[9].
시연 데이터 및 비교 데이터 수집을 위해 40개의 아웃소싱 주석자가 사용되었습니다.
(원본 InstructGPT 텍스트 [8] "인간 피드백을 통해 지침을 따르도록 언어 모델 훈련"에서)
2022년 11월 OpenAI는 기본적으로 ChatGPT 모델[10]을 출시했습니다. InstructGPT 모델 동일한 3단계 학습 방법이 사용되지만 모델 학습 및 시스템 구축을 위해 더 큰 규모의 데이터가 수집됩니다.
요약: 언어 모델 연구에서 Transformer 신경망 아키텍처, GPT 언어 모델 및 사전 훈련 + 미세 조정, GPT-2 및 제로샷 프롬프트, GPT-3 및 시나리오 학습(컨텍스트 학습) ), InstructGPT, ChatGPT 및 RLHF 기술로 개발되었습니다. 되돌아보면 비교적 명확한 기술 경로인 것처럼 보이지만 실제로는 다른 유형의 언어 모델(예: 에너지 기반 언어 모델[11]), 다른 유형의 신경 네트워크 아키텍처(예: 상태 공간 모델[12]), 기타 유형의 사전 학습 방법(예: 잠재 변수 모델[13] 기반), 기타 강화 학습 방법(예: 사용자 에뮬레이터[14] 기반) 등 ., 세계에서는 끊임없이 발전하고 있습니다. 다양한 방법은 서로 영감을 주고 촉진하며 일반 인공지능으로 이어지는 물결을 이루며 끊임없이 전진하고 있습니다. ChatGPT의 6개 부분에서 매우 중요한 점은 일반적으로 폭력의 미학으로 알려진 규모 효과입니다. 기본적으로 경로가 올바른 경우 규모를 늘리는 것이 성능을 향상시키는 좋은 방법입니다.
양적 변화는 질적 변화로 이어지지만, 그 과정에 부족함이 있다면 양적 변화가 질적 변화로 이어지지 않을 수도 있습니다. ChatGPT의 단점에 대해 이야기해보겠습니다.02 ChatGPT의 단점
최근 몇 년간 인공 지능(ICML, ACL 등) 분야 최고의 컨퍼런스에서 아주 좋은 관행은 제출 요구 사항을 추가하는 것인데, 에 섹션을 남겨야 합니다. 귀하의 작업을 설명하는 기사Limitations. 오히려 단점에 대해 이야기하는 것을 피하는 것은 엄격하지 않으며 기술에 대한 포괄적인 이해에 도움이 되지 않습니다. 이는 대중을 호도하고 엘리자 효과를 조장할 수 있으며 심지어 잘못된 판단을 내릴 수도 있습니다.
사실 ChatGPT[10]의 원본 텍스트에는 단점에 대해 비교적 포괄적인 설명이 나와 있습니다.
ChatGPT 단점 (ChatGPT 원본 텍스트 [10]의 스크린샷)
독자는 위 내용을 영어로 직접 읽을 수 있으며, 아래에는 중국어로 간단한 설명이 나와 있습니다. 독자는 다음 예를 통해 이를 이해할 수 있습니다. ChatGPT의 단점에 대한 자세한 분석은 AGI(인공 일반 지능)가 직면한 과제를 탐색할 때 다음 장에서 논의될 것입니다.L1. ChatGPT는 때때로 합리적으로 보이지만
틀렸거나 터무니없는 답변을 작성합니다.
L2.ChatGPT는 입력 문구 조정이나 동일한 프롬프트 여러 번 시도에 민감합니다. L3. ChatGPT 세대는 OpenAI 학습 언어 모델임을 반복하는 등 지나치게 장황하고 특정 문구 를 과도하게 사용하는 경우가 많습니다. L4. 이상적으로는 사용자가 모호한 쿼리를 제공하면 모델은 상대방의 설명이 필요한 질문을 해야 합니다. 대신 현재 모델은 사용자의 의도를 추측하는 경우가 많습니다. L5. ChatGPT는 모델이 부적절한 요청을 거부하도록 열심히 노력했지만 여전히 유해한 지시에 응답하거나 편향된 행동을 보일 수 있습니다. 그림 4: 소와 달걀에 대한 ChatGPT의 예 
그림 5: ChatGPT의 실시간 정보 처리 부족에 대한 예
03 AGI 챌린지를 향해ChatGPT [10] 원문에 설명된 단점을 합쳐ChatGPT의 단점을 다음 5가지로 요약합니다. 이 5가지 포인트는 기본적으로 ChatGPT가 미래와 일반 인공지능(AGI)을 향해 직면한 과제를 나타냅니다. 이는 AGI를 향해 시급히 해결해야 할 중요한 과학적 문제이자 핵심 기술입니다. 본 글의 관점은 과제의 관점에서 단점과 과제를 분석하는 것이 아니라 다양한 과제의 공통적인 문제의 관점에서 분석한다는 점을 지적할 만하다. 작업이 행이고 문제가 열인 경우 우리의 관점은 열별로 분석하는 것입니다. 한 줄 한 줄도 매우 좋은 분석과 판단을 제공할 수 있습니다.
AGI를 논할 때, 자연어 처리에만 집중하는 한계에서 벗어나 더 넓은 관점에서 인공지능 연구와 기술을 살펴봐야 합니다. 인공지능에 대한 고전적인 연구[15]를 보면, 인공지능은 지능형 에이전트의 연구와 설계를 의미합니다. 지능 에이전트(지능 에이전트)는 주변 환경을 관찰하고 행동을 수행할 수 있는 모든 장치를 의미합니다. 성공 가능성의 극대화, 그 이상 학술 용어로는 아래 그림과 같이 기대 효용(utility)을 극대화하거나 기대 수익(return)을 극대화하는 것입니다. 주의 깊은 독자라면 다음 그림이 강화 학습을 위한 프레임워크 다이어그램으로도 일반적으로 사용된다는 것을 알게 될 것입니다. 실제로 [15]에는 "강화 학습은 AI 전체를 포괄하는 것으로 간주될 수 있습니다"라는 유사한 진술이 있습니다(강화 학습은 인공 지능 전체를 포괄하는 것으로 간주될 수 있음). 이러한 개념을 염두에 두고 ChatGPT의 단점을 이해해 보겠습니다.
그림 6: 강화 학습을 위한 프레임워크 다이어그램으로 자주 사용되는 에이전트와 환경 간의 상호 작용 [16]
1 ChatGPT가 무작위로 구성합니다(잘못 제공). 정보를 진지하게), 지식 모델링 및 활용에 명백한 결함이 있습니다.
이것은 기본적으로 앞서 소개한 L1에 해당하며, 이는 앞의 예에서 명확하게 알 수 있습니다. 우리가 지식이라고 부르는 것은 상식적인 지식, 전문적인 지식, 실시간 정보를 포함합니다. 예를 들어, 상식적인 관점에서 ChatGPT는 처음에 소가 포유류이고 알을 낳을 수 없다는 사실을 몰랐다는 것을 보여주었습니다. 실시간 정보로 판단하면 ChatGPT는 본질적으로 Transformer 아키텍처를 기반으로 하는 대규모 자동 회귀 언어 모델입니다. 학습된 지식은 훈련 데이터로 제한되며 마감일은 2021년입니다. 독자는 스스로 ChatGPT를 사용해 보고 이와 관련하여 단점을 발견할 수 있습니다.
위의 단점은 더 깊은 수준에서 볼 때 인공지능 역사에서 연결주의(연결주의자)와 상징주의(상징주의) 사이의 오랜 논쟁을 반영합니다.
그림 7
연결주의는 지식이 신경망의 무게에 묻혀 있다고 믿으며, 신경망의 가중치를 조정하도록 훈련하면 지식을 배울 수 있습니다. 상징주의는 지식이 관계형 데이터베이스, 지식 그래프, 수학 물리학 및 기타 전문 지식, 수학 논리와 같은 기호 시스템으로 구성된다고 주장합니다.
따라서 ChatGPT의 지식 모델링 및 활용 결함을 극복하기 위해 기존 기술에 대한 뿌리깊은 과제는 신경망과 기호 논리의 효과적인 통합입니다. 데이터와 지식은 수년간 많은 연구 작업을 진행해 왔지만 일반적으로 효과적인 통합 방법을 찾는 데는 여전히 지속적인 노력이 필요합니다.
2. ChatGPT는 다단계 대화 상호 작용에 있어 명백한 단점이 있으며 계획 능력이 부족합니다.
이는 기본적으로 위의 L4에 해당합니다. L4는 ChatGPT가 명확한 질문을 하지 않는다는 점을 지적합니다. 하지만 L4보다 더 심각한 단점이 있습니다. ChatGPT의 구성 과정에서 예측을 위한 조건부 분포P(output | input)을 모델링하고 계획을 세우지 않습니다.
그림 6에 표시된 프레임워크에서 매우 중요한 개념은 계획입니다. 계획의 목적은 기대 효용을 최대화하는 것입니다. 이는 언어 기호 발생의 조건부 가능성을 최대화하는 P(출력 | 입력)이라는 대규모 언어 모델과 크게 다릅니다. InstructGPT는 시스템이 사용자 의도를 따라야 한다고 생각하고 RLHF(인간 피드백을 통한 강화 학습) 기술을 사용하여 시스템이 인간 질문에 정렬을 출력할 수 있도록 하여 GPT-3 정렬 오류를 계획하지 않고 지도 학습으로 인한 문제를 부분적으로 완화합니다. 문제. 기대 효용을 극대화하기 위한 계획 능력을 더욱 향상시키는 것은 AGI를 향한 ChatGPT의 큰 도전이 될 것입니다.
그렇다면 인간-컴퓨터 상호작용 시스템의 효용성은 무엇일까요? 이 점과 관련하여 InstructGPT 논문[8]은 이를 유용성, 정직성, 무해성이라는 세 가지 차원에서 논의했습니다. “우리는 언어 모델이 도움이 되고(사용자가 작업을 해결하도록 도와야 함) 정직하고(정보를 위조하거나 사용자를 오도해서는 안 됨) 무해하기를 원합니다(사람이나 환경에 신체적, 정신적, 사회적 해를 끼치면 안 됨). ) ).” 그러나 RLHF 기술에 그치지 않고 구체적인 구현 방법을 더 탐구할 필요가 있습니다.
3. ChatGPT 동작은 통제할 수 없습니다.
기본적으로 위의 L2, L3, L5에 해당합니다. 시스템 출력은 입력에 민감하고(L2), 너무 장황하거나 특정 문구를 과도하게 사용하는 경우에는 제어할 수 있는 방법이 없으며(L3), 유해한 지시에 반응하거나 편향된 동작을 나타내는 경우에는 제어할 수 있는 방법이 없습니다(L5). ). 이러한 단점은 ChatGPT뿐만 아니라 현재 딥러닝 기술로 구축된 컴퓨터 비전, 음성 인식 및 기타 지능형 시스템에서도 마찬가지로 제어할 수 없는 문제가 있습니다.인간은 자신이 모른다는 것을 안다는 소크라테스의 지혜를 가지고 있습니다. 이것이 바로 현재의 심층 신경망 시스템이 부족한 것입니다. 오늘날의 신경망 시스템의 대부분은 과신하고 인간에게 오류를 보고하지 않습니다. 여전히 실수할 때 놀라울 정도로 높아서 신뢰하고 제어하기 어렵습니다.
신뢰할 수 있고 제어 가능하는 것은 AGI에 대한 큰 도전이 될 것입니다.
4. ChatGPT 효율성이 부족합니다. ChatGPT는 결함 진술에서 이 점에 주의를 기울이지 않았습니다. 효율성에는 매개변수 효율성, 데이터 효율성, 에너지 소비 효율성 등이 포함됩니다. ChatGPT는 매우 큰 데이터를 사용하고, 매우 큰 모델을 훈련하며, 지속적으로 규모를 확장함으로써 뛰어난 성능을 달성했습니다. 그러나 동일한 규모(동일한 모델 매개변수 수, 동일한 데이터 라벨링 양 또는 비용, 동일한 컴퓨팅 성능, 동일한 에너지 소비)에서 ChatGPT가 가장 진보된 기술을 대표합니까? 대답은 '아니요'인 경우가 많습니다. 예를 들어, 최근 연구에서는 13B 매개변수를 가진 LLaMA 모델이 여러 벤치마크 테스트에서 175B GPT-3 모델보다 성능이 뛰어나므로 13B LLaMA 모델이 더 나은 매개변수 효율성을 갖는다고 보고했습니다. 우리의 최근 연구에 따르면 잘 설계된 지식 검색 대화 모델은 100M만 사용하고 성능은 1B의 대형 모델보다 훨씬 뛰어납니다. 에너지 소비 효율은 이해하기 쉬우나, 데이터 효율을 살펴보겠습니다. 현재 지능형 시스템의 구축은 수많은 수동 주석에 의존하는 지도 학습 패러다임에 갇혀 있어 데이터 효율성이 낮습니다. 자동회귀를 기반으로 한 대규모 언어 모델을 기반으로, 먼저 대량의 텍스트(라벨링 없이)를 학습한 후 미세 조정 또는 프롬프트 기술을 사용하여 낮은 데이터 효율성의 단점을 부분적으로 완화할 수 있음을 확인했습니다. 현재의 딥러닝 기술이지만 여전히 작업 관련 주석 데이터가 필요합니다. 모델이 클수록 라벨링 요구 사항도 커집니다. 레이블이 있는 데이터와 레이블이 없는 데이터를 더욱 효율적이고 공동으로 활용하는 방법은 데이터 효율성을 달성하기 위한 과제입니다. 5. 다중 모드 구현 지능은 AGI를 탐색하는 데 중요한 콘텐츠입니다. ChatGPT는 텍스트 입력 및 출력으로 제한되며, 많은 실수를 통해 의미, 지식 및 인과 추론이 심각하게 부족함을 알 수 있습니다. 단어의 의미는 실제 세계의 기반이 아니라 통계적 동시 발생에 있는 것 같습니다. 따라서 미래의 언어 모델이 점점 더 커지더라도 기본적인 물리적 상식에서는 여전히 제대로 작동하지 않습니다. 지능은 언어 능력보다 훨씬 더 중요합니다. 생물학적 지능의 기본 요소는 동물이 세상과 감각-운동 상호 작용을 할 수 있는 능력에 있습니다[20]. 미래의 지능형 기계는 반드시 인간의 형태를 가질 필요는 없지만 듣기, 말하기, 읽기, 쓰기, 생각, 사물 조작, 행동 등에서 신체를 통한 기계와 환경 간의 다중 모드 상호 작용은 크게 촉진할 것입니다. 또한 기계 지능이 단일 텍스트 형식의 한계를 뛰어넘어 인간에게 더 나은 도움을 줄 수 있습니다. 요약: 언어학적 관점에서 언어 지식에는 단어의 구조와 특성(어휘 및 어휘), 단어가 구와 문장을 형성하는 방법(구문), 형태소의 의미, 단어, 구, 문장과 담화 - 의미론 [21]. ChatGPT는 매우 큰 모델을 통해 상당한 언어 지식(특히 의미론적 수준 이하의 지식)을 학습했으며 일정한 언어 이해 능력을 갖추고 유창한 문장을 생성할 수 있지만 분명한 단점도 있습니다. 이러한 단점을 고려하여 우리는 그림 8과 같이 ChatGPT와 일반 인공지능(AGI)이 직면한 몇 가지 과제를 정리하고 몇 가지 중요한 연구 내용을 지적했습니다. 각 분야의 연구분야가 고립되어 있는 것이 아니라 서로 교차하고 있다는 점은 주목할 만하다. 예를 들어, 신뢰성과 통제 가능성에 대한 연구에서는 시스템 출력이 사회적 규범을 따르기를 기대하며, 시스템 계획의 출력이 사회적 규범을 따르도록 시스템의 유용성에 이러한 사회적 규범을 어떻게 반영할지를 기대합니다. 따라서 시스템 제어성에 관한 연구와 시스템 계획 능력 향상에 관한 연구는 중복된다. 또 다른 예로, 체계적인 계획과 의사결정에 지식을 통합하는 방법은 무엇입니까? 그림 8: AGI를 향한 과제 ChatGPT는 인공지능 연구에서 중요한 행사이며, AGI에 대한 진행 상황, 단점 및 향후 과제에 대한 철저한 이해가 매우 중요합니다. 우리는 진실을 추구하고 실용적이며 끊임없이 혁신함으로써 인공 지능의 발전을 새로운 차원으로 촉진할 수 있다고 믿습니다. 우리는 모든 사람이 토론하고 수정하는 것을 환영합니다. 감사합니다! 
04 결론
위 내용은 ChatGPT의 아우라와 향후 과제에 대한 심층 분석을 제공하는 칭화대학교 Ou Zhijian 교수와의 독점 인터뷰!의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
