NLP는 또 무엇을 할 수 있나요? Beihang University, ETH, Hong Kong University of Science and Technology, Chinese Academy of Sciences 및 기타 기관은 ChatGPT 이후 기술 체인을 체계적으로 설명하기 위해 100페이지 분량의 논문을 공동으로 발표했습니다.

모든 것은 ChatGPT의 등장으로 시작됩니다...

한때 평화로웠던 NLP 커뮤니티는 갑작스러운 "괴물"에 겁을 먹었습니다! 하루아침에 NLP계 전체가 엄청난 변화를 겪었습니다. 업계는 빠르게 뒤따르고 자본은 급증했으며 학계는 갑자기 혼란에 빠지기 시작했습니다. "NLP는 해결된다!"라고 믿으세요

그러나 최근에도 활발하게 활동하고 있는 NLP 학계와 끊임없는 우수한 연구 결과로 볼 때 "NLP는 단지 그렇지 않습니다. 진짜!"

지난 몇 달 동안 Beihang University, Mila, Hong Kong University of Science and Technology, ETH Zurich, University of Waterloo, Dartmouth College, University of Sheffield, Chinese Academy of Sciences 및 기타 기관에서 연마했습니다. 110페이지 분량의 이 논문은 ChatGPT 이후 시대의 기술 체인인 상호 작용을 체계적으로 설명합니다.

• 문서 주소: https://arxiv.org/abs/2305.13246
• 프로젝트 리소스: https://github. com /InteractiveNLP-팀

"HITL(Human in the Loop)" 및 "Writing Assistant"와 같은 전통적인 상호 작용 유형과 달리 이 기사에서 논의되는 상호 작용은 더 높고 포괄적인 관점을 갖습니다.

산업: 대형 모델에 사실성, 적시성 등 해결하기 어려운 문제가 있는 경우 ChatGPT+X로 해결할 수 있나요? ChatGPT 플러그인과 마찬가지로 티켓 예약, 식사 주문, 그림 그리기 등을 한 번에 수행할 수 있는 도구와 상호 작용할 수 있습니다! 즉, 체계적인 기술 프레임워크를 통해 현재 대형 모델의 한계를 일부 완화할 수 있습니다.
1. 
   
   
학계에: 실제 AGI란 무엇인가요? 실제로 2020년 초, 3대 딥 러닝 거인 중 한 명이자 Turing Award 수상자인 Yoshua Bengio는 대화형 언어 모델의 청사진을 설명했습니다[1]. 환경과 상호 작용할 수 있고 심지어 사회적으로도 상호 작용할 수 있는 언어 모델입니다. 이러한 방식으로만 언어에 대한 가장 포괄적인 의미론적 표현을 얻을 수 있습니다. 어느 정도는 환경 및 사람과의 상호 작용이 인간 지능을 만들어냅니다.

따라서 언어 모델(LM)이 외부 엔터티 및 자체와 상호 작용할 수 있도록 허용하면 대형 모델의 본질적인 단점을 극복하는 데 도움이 될 뿐만 아니라 AGI의 궁극적인 이상을 향한 중요한 이정표가 될 수도 있습니다!

상호작용이란 무엇인가요?

사실 '상호작용'이라는 개념은 저자가 상상한 것과는 다릅니다. ChatGPT가 등장한 이후 NLP 세계의 새로운 문제에 관한 다음과 같은 많은 논문이 출판되었습니다.

1. 기초 모델을 사용한 도구 학습은 언어 모델을 사용하여 실제 작업을 추론하거나 수행하는 방법을 설명합니다[2]
2. 의사 결정을 위한 기초 모델: 문제, 방법 및 기회는 언어 모델을 사용하여 수행하는 방법을 설명합니다. 의사 결정 작업(의사 결정)[3]
3. 로봇공학을 위한 ChatGPT: 설계 원리 및 모델 능력은 ChatGPT를 사용하여 로봇에 권한을 부여하는 방법을 설명합니다.[4]
4. 증강 언어 모델: 설문조사는 방법을 설명합니다. 사고 사슬(Chain of Thought), 도구 사용(Tool-use) 및 기타 향상된 언어 모델을 사용하고 언어 모델 도구의 사용이 외부 세계(예: 행위)에 실제 영향을 미칠 수 있음을 지적했습니다[5].
5. 인공 일반 지능의 불꽃: GPT-4를 사용한 초기 실험에서는 GPT-4를 사용하여 사람, 환경, 도구 등과 상호 작용하는 사례를 포함하여 다양한 유형의 작업을 수행하는 방법을 보여줍니다. [6].

NLP 학계의 초점이 "모델 구축 방법"에서 "프레임워크 구축 방법"으로 점차 전환되었음을 알 수 있습니다. 이는 언어 모델 훈련 과정에 더 많은 엔터티를 통합하고 추리. 가장 일반적인 예는 잘 알려진 RLHF(Reinforcement Learning from Human Feedback)입니다. 기본 원리는 언어 모델이 인간과의 상호 작용(피드백)을 통해 학습하도록 하는 것입니다[7].

그래서 "상호작용" 기능은 ChatGPT 이후 NLP의 가장 주류 기술 개발 경로 중 하나라고 할 수 있습니다! 저자의 논문은 처음으로 "대화형 NLP"를 정의하고 체계적으로 해체하며 주로 대화형 개체의 차원을 기반으로 다음을 포함하여 다양한 기술 솔루션의 장점과 단점 및 응용 고려 사항을 최대한 포괄적으로 논의합니다.

1. LM은 사용자 요구 사항을 더 잘 이해하고 충족하며, 응답을 개인화하고, 인간 가치에 부합하고, 전반적인 사용자 경험을 개선하기 위해 인간과 상호 작용합니다.
2. LM은 지식 기반과 상호 작용하여 언어적으로 표현된 사실 지식을 풍부하게 하고, 응답의 지식 배경 관련성을 파악하고 외부 정보를 동적으로 활용하여 보다 정확한 응답을 생성합니다.
3. LM은 모델 및 도구와 상호 작용하여 복잡한 추론 작업을 효과적으로 분해 및 해결하고 특정 지식을 활용하여 특정 하위 작업을 처리하고 출현을 촉진합니다.
4. LM은 환경과 상호 작용하여 언어 기반 엔터티 표현(언어 접지)을 학습하고 추론, 계획 및 의사 결정과 같은 환경 관찰과 관련된 특정 작업을 효과적으로 처리합니다.

따라서 상호 작용의 틀 아래에서 언어 모델은 더 이상 언어 모델 자체가 아니라 "관찰", "행동" 및 "피드백"이 가능한 모델입니다. 언어 기반 에이전트입니다.

객체와 상호작용하는 것을 저자는 이를 "XXX-in-the-loop"라고 부릅니다. 이는 이 객체가 언어 모델 훈련 또는 추론 과정과 계단식, 루프, 피드백 또는 참여에 참여한다는 의미입니다. 반복적인 형태로.

사람과 상호작용

언어 모델이 사람과 상호작용하도록 하는 세 가지 방법이 있습니다.

1. 구성을 사용하여 조정
2. 또한 확장 가능한 배포를 보장하기 위해 모델이나 프로그램을 사용하여 인간의 행동이나 선호도를 시뮬레이션하는, 즉 인간 시뮬레이션에서 학습하는 경우가 많습니다.
3. 일반적으로 인간 상호 작용에서 해결해야 할 핵심 문제는 정렬, 즉 언어 모델의 응답을 사용자의 요구에 더 부합하고, 더 유용하고, 무해하며, 근거가 있는 방식으로 만드는 것입니다. 사용자에게 더 나은 사용자 경험 등을 제공할 수 있습니다.

"프롬프트를 사용하여 의사소통하기"는 주로 상호 작용의 실시간 및 지속적인 특성에 중점을 둡니다. 즉, 여러 라운드의 대화의 지속적인 특성을 강조합니다. 이는 대화형 AI[8]의 아이디어와 일치한다. 즉, 여러 라운드의 대화를 통해 사용자가 계속 질문하도록 하여 언어 모델의 응답이 대화 중에 사용자의 선호도에 천천히 맞춰집니다. 이 접근 방식은 일반적으로 상호 작용 중에 모델 매개변수를 조정할 필요가 없습니다.

"피드백을 이용한 학습"은 현재 정렬의 주요 방법으로, 사용자가 언어 모델의 응답에 피드백을 줄 수 있도록 하는 것입니다. 이 피드백은 선호도를 설명하는 "좋음/나쁨" 주석일 수도 있고 자연스러울 수도 있습니다. 언어 형식으로 더 자세한 피드백을 제공합니다. 이러한 피드백을 최대한 높게 만들려면 모델을 훈련해야 합니다. 대표적인 예가 InstructGPT에서 사용하는 RLHF[7]입니다. 먼저 모델 응답에 대한 사용자 레이블이 지정된 선호도 피드백 데이터를 사용하여 보상 모델을 훈련한 다음 이 보상 모델을 사용하여 특정 RL 알고리즘으로 언어 모델을 훈련하여 보상을 극대화합니다. (아래 그림과 같이) ).



사람의 피드백을 통해 지침을 따르도록 언어 모델 교육 [7]

"구성을 사용하여 조정"은 사용자가 언어 모델의 상위 매개변수(예: 온도) 또는 언어 모델의 계단식 방법 등 대표적인 예가 Google의 AI Chains[9]입니다. 서로 다른 미리 설정된 프롬프트가 있는 언어 모델이 서로 연결되어 간소화된 작업을 처리하기 위한 추론 체인을 형성합니다. 사용자는 UI를 통해 드래그 앤 드롭하여 이 체인의 노드 연결 방법을 조정할 수 있습니다. .

"인간 시뮬레이션을 통한 학습"은 위 세 가지 방법의 대규모 배포를 촉진할 수 있습니다. 특히 훈련 과정에서 실제 사용자를 사용하는 것은 비현실적이기 때문입니다. 예를 들어, RLHF는 일반적으로 사용자 선호도를 시뮬레이션하기 위해 보상 모델을 사용해야 합니다. 또 다른 예는 Oracle 모델을 사용하여 사용자 편집 동작을 시뮬레이션하는 Microsoft Research의 ITG[10]입니다.

최근 스탠포드 교수 Percy Liang 등은 인간-LM 상호 작용에 대한 매우 체계적인 평가 체계인 인간-언어 모델 상호 작용 평가 [11]를 구축했습니다. 관심 있는 독자는 이 논문이나 원문을 참조할 수 있습니다.



지식 베이스와의 상호 작용의 세 단계 言 언어 모델 및 지식 베이스의 상호 작용:
보충 지식의 소스 결정: 지식 소스
1. 지식 검색: 지식 검색
2. 향상을 위한 지식 활용: 자세한 내용은 본 논문의 Interaction Message Fusion 섹션을 참조하세요. 여기서는 소개하지 않겠습니다.
일반적으로 지식 기반과 상호 작용하면 언어 모델의 "환각"을 줄일 수 있습니다. 즉, 출력의 사실성과 정확성을 향상할 수 있으며 언어 모델의 적시성을 향상하는 데도 도움이 될 수 있습니다. 언어 모델의 지식 기능을 보완하는 데 도움이 됩니다(아래 참조).



MineDojo [16]: 언어 모델 에이전트가 자신이 모르는 작업에 직면하면 지식 베이스에서 학습 자료를 검색한 다음 해당 자료의 도움으로 작업을 완료할 수 있습니다. . "지식 소스"는 두 가지 유형으로 나누어집니다. 하나는 WikiText 등의 폐쇄형 코퍼스 지식(Corpus Knowledge)입니다. [15] 다른 하나는 다음과 같은 개방형 네트워크 지식(인터넷 지식)입니다. 엔진에서 사용할 수 있는 검색 지식입니다[14].

"지식 검색"은 네 가지 방법으로 나뉩니다.

1. 어휘 매칭의 언어 기반 희소 표현 및 희소 검색(예: n-gram 매칭, BM25 등)
2. 언어 기반의 밀집 표현 및 의미 매칭을 기반으로 한 밀집 검색(dense retrieval): 단일 타워 또는 트윈 타워 모델을 검색기로 사용하는 등
3. 생성 검색 기반: 비교적 새로운 방법으로, 대표적인 연구로는 Google Tay Yi 등의 Differentiable Search Index[12]가 있는데, 이는 지식을 언어 모델의 매개변수에 저장하여 직접 출력합니다. 쿼리를 한 후 지식에 해당하는 문서 ID 또는 문서 콘텐츠가 지식 기반이기 때문입니다 [13]!
4. 강화 학습 기반: 비교적 최첨단 방법이기도 합니다. OpenAI의 WebGPT[14]와 같은 대표적인 작업은 인간의 피드백을 사용하여 모델을 훈련시켜 올바른 지식을 검색합니다.

모델 또는 도구와 상호 작용



모델 또는 도구와 상호 작용하는 언어 모델의 주요 목적은 복잡한 추론 작업을 여러 하위 작업으로 분해하는 것과 같은 복잡한 작업을 분해하는 것입니다. 생각의 [17]. 다양한 하위 작업은 다양한 기능을 갖춘 모델이나 도구를 사용하여 해결할 수 있습니다. 예를 들어 컴퓨팅 작업은 계산기를 사용하여 해결할 수 있으며 검색 작업은 검색 모델을 사용하여 해결할 수 있습니다. 따라서 이러한 유형의 상호 작용은 언어 모델의 추론, 계획 및 의사 결정 기능을 향상시킬 수 있을 뿐만 아니라 "환각" 및 부정확한 출력과 같은 언어 모델의 한계를 완화할 수 있습니다. 특히 도구를 사용하여 특정 하위 작업을 수행하는 경우 WeChat API를 사용하여 친구 서클 등을 게시하는 등 외부 세계에 일정한 영향을 미칠 수 있습니다. 이를 "도구 지향"이라고 합니다. 학습" [ 2].

또한 복잡한 작업을 명시적으로 분해하기 어려운 경우도 있습니다. 이 경우 서로 다른 역할이나 기술을 서로 다른 언어 모델에 할당한 다음 이러한 언어 모델이 서로 협력하도록 할 수 있습니다. 의사소통 과정에서 작업을 분할하기 위해 특정 작업 분할 계획이 암묵적으로 자동으로 형성됩니다. 이러한 유형의 상호 작용은 복잡한 작업의 해결 과정을 단순화할 뿐만 아니라 인간 사회를 시뮬레이션하고 일종의 지능형 에이전트 사회를 구축할 수 있습니다.

저자는 모델과 도구가 반드시 두 개의 별도 범주가 아니기 때문에 모델과 도구를 함께 묶었습니다. 예를 들어 검색 엔진 도구와 검색기 모델은 본질적으로 다르지 않습니다. 이 본질은 저자가 "작업 분해 후, 어떤 종류의 개체가 어떤 종류의 하위 작업을 수행하는지"를 사용하여 정의됩니다.

언어 모델이 모델 또는 도구와 상호 작용할 때 세 가지 유형의 작업이 있습니다.

1. 생각: 모델이 자체와 상호 작용하여 작업 분해 및 추론을 수행합니다.
2. 행동: 모델 호출 다른 모델 또는 외부 도구 등은 추론을 돕거나 외부 세계에 실제 영향을 미칩니다.
3. 협력: 여러 언어 모델 에이전트가 서로 통신하고 협력하여 특정 작업을 완료하거나 인간의 사회적 행동을 시뮬레이션합니다.

참고: Thinking은 주로 "다단계 사고 사슬"에 대해 이야기합니다. 즉, 언어 모델의 다양한 호출에 해당하는 다양한 추론 단계(다중 모델 실행), 모델을 한 번 실행하는 대신 Vanilla CoT [17]처럼 생각+답변(단일 모델 실행)을 출력하는 부분입니다.

이 부분은 ReAct [18]의 표현 방식을 계승합니다.

사고에 대한 일반적인 작업에는 ReAct [18], Least-to-Most Prompting [19], Self-Ask [20] 등이 포함됩니다. 예를 들어, Least-to-Most Prompting [19]은 먼저 복잡한 문제를 여러 개의 간단한 모듈 하위 문제로 분해한 다음 반복적으로 언어 모델을 호출하여 하나씩 해결합니다.

연기에 관한 대표적인 작업으로는 ReAct [18], HuggingGPT [21], Toolformer [22] 등이 있습니다. 예를 들어, Toolformer[22]는 언어 모델의 사전 훈련 코퍼스를 도구 사용 프롬프트가 있는 형식으로 처리하므로 훈련된 언어 모델은 외부 도구(예: 검색 엔진, 번역 도구, 시간 도구, 계산기 등)은 특정 하위 문제를 해결합니다.

협력에는 주로 다음이 포함됩니다.

1. 폐쇄 루프 상호 작용: 소크라테스 모델 [23] 등과 같은 대규모 언어 모델, 시각적 언어 모델 및 오디오 언어 모델의 폐쇄 루프 상호 작용을 통해 완료됩니다. 시각적 환경에 특정한 특정 복잡한 QA 작업.
2. 마음 이론: 한 에이전트가 다른 에이전트의 상태를 이해하고 예측하여 서로 효율적인 상호 작용을 촉진하는 것을 목표로 합니다. 예를 들어, EMNLP 2021의 뛰어난 논문인 MindCraft[24]는 서로 다른 두 가지 언어 모델에 서로 다르지만 상호 보완적인 기술을 제공하여 의사소통 과정에서 MineCraft 세계의 특정 작업을 완료하기 위해 협력할 수 있도록 합니다. 최근 유명한 Graham Neubig 교수는 [25] Communicative Agents: 여러 Agent가 서로 소통하고 협업할 수 있도록 하는 것을 목표로 하는 연구 방향에 큰 관심을 기울였습니다. 가장 전형적인 예는 최근 전 세계를 놀라게 한 스탠포드 대학의 Generative Agents[26]입니다. 샌드박스 환경을 구축하고 대형 모델에서 "영혼"이 주입된 많은 지능형 에이전트가 그 안에서 자유롭게 움직일 수 있도록 허용하면 자발적으로 인간과 유사한 일부를 제시할 수 있습니다. 채팅이나 인사 등의 사회적 행동에는 "서구 세계"의 특징이 있습니다(아래 참조). 또한 더 유명한 작품은 DeepGCN 저자의 신작 CAMEL [27]로, 대형 모델을 통해 권한을 부여받은 두 에이전트가 사람의 개입 없이도 서로 소통하는 과정에서 게임을 개발하고 주식까지 개발할 수 있게 해주는 작품이다. . 간섭. 저자는 기사에서 "Large Model Society"(LLM Society)의 개념을 명확하게 제시합니다.



생성 에이전트: 인간 행동의 대화형 시뮬라크르, https://arxiv.org/pdf/2304.03442.pdf

환경과 상호 작용

언어 모델과 환경은 서로 다른 두 가지 사분면에 속합니다. 언어 모델은 추상적인 텍스트 기호를 기반으로 구축되었으며 높은 수준의 추론, 계획, 의사 결정 및 기타 작업에 능숙한 반면, 환경은 특정 감각 신호(예: 시각적 정보)를 기반으로 구축되었습니다. , 청각 정보 등), 관찰 제공, 피드백, 상태 전환 등과 같은 일부 낮은 수준의 작업을 시뮬레이션하거나 자연스럽게 발생합니다. (예: 사과가 현실 세계에서 땅에 떨어지면 "크리퍼"가 나타남) 당신 앞에서).

따라서 언어 모델이 환경과 효과적이고 효율적으로 상호 작용할 수 있도록 하기 위해서는 주로 두 가지 측면의 노력이 포함됩니다.

양식 기반: 언어 모델이 이미지와 같은 다중 모드 정보를 처리할 수 있도록 허용 오디오 ;

1. 어포던스 접지: 언어 모델이 환경의 특정 장면 규모에 따라 가능하고 적절한 개체에 대해 가능하고 적절한 작업을 수행하도록 합니다.
2. Modality Grounding의 가장 일반적인 모델은 시각적 언어 모델입니다. 일반적으로 OFA [28]와 같은 단일 타워 모델, BridgeTower [29]와 같은 2-타워 모델 또는 BLIP-2 [30]와 같은 언어 모델과 시각적 모델의 상호 작용을 사용하여 수행할 수 있습니다. 여기서는 더 이상 자세한 내용을 다루지 않으며 독자들은 이 문서를 참조하여 자세한 내용을 확인할 수 있습니다.

Affordance Grounding에는 두 가지 주요 고려 사항이 있습니다. 즉, 주어진 작업 조건에서 (1) 장면 규모 인식(장면 규모 인식)을 수행하는 방법과 (2) 가능한 작업(가능한 작업)입니다. 예:

예를 들어 위 그림의 장면에서 "거실의 조명을 꺼주세요"와 "장면 규모 인식"이라는 과제를 수행하려면 현재 표시되는 조명 대신 빨간색 상자가 있는 조명을 모두 찾아야 합니다. 거실이 아니라 녹색 상자가 있는 부엌에서 "가능한 조치"를 수행하려면 조명을 끄는 실행 가능한 방법을 결정해야 합니다. 예를 들어, 코드 조명을 당기려면 조명을 켜야 합니다. 끄려면 "토글 스위치" 작업이 필요합니다.

일반적으로 Affordance Grounding은 SayCan[31]과 같은 환경에 따른 가치 함수나 Grounded Decoding[32]과 같은 특수 접지 모델을 사용하여 해결할 수 있습니다. 사람, 모델, 도구 등과의 상호 작용을 통해 해결할 수도 있습니다(아래 참조). winner monologue [33]



상호 작용에 사용할 것 다음을 포함한 미디어의 사용 및 장단점:

자연어: 몇 장의 예시, 작업 지침, 역할 할당 및 구조화된 자연어 등. 일반화와 표현성에 있어 그 특징과 기능을 주로 논한다.

공식 언어: 코드, 문법, 수학 공식 등 분석성과 추론능력 측면에서 그 특징과 기능을 주로 다룬다.

기계 언어: 소프트 프롬프트, 구분된 시각적 토큰 등 일반화에서의 특성과 기능, 정보병목이론, 상호작용 효율성 등을 주로 다룬다.

편집: 주로 텍스트 삭제, 삽입, 바꾸기, 유지 등의 작업이 포함됩니다. 그 원리, 역사, 장점, 현재의 한계에 대해 논의합니다.

1. 공유 메모리: 주로 하드 메모리와 소프트 메모리가 포함됩니다. 전자는 기록 상태를 메모리로 로그에 기록하고, 후자는 읽고 쓸 수 있는 메모리 외부 모듈을 사용하여 텐서를 저장합니다. 이 논문에서는 두 가지의 특성, 기능 및 한계에 대해 논의합니다.
2. 상호작용 방법: 상호작용 방법
4. 이 논문에서는 또한 다음을 포함하여 다양한 상호작용 방법을 포괄적이고 상세하며 체계적으로 논의합니다.
   1. Prompting: 모델 매개변수를 조정하지 않고 프롬프트 엔지니어링을 통해서만 언어 모델을 호출하며, In-Context Learning, Chain of Thought, Tool-use, Level Prompt Chaining 등 다양한 방법에 대한 원리, 기능을 자세히 논의합니다. 에서는 제어 가능성 및 견고성에 대한 고려 사항과 같은 다양한 프롬프트 기술의 다양한 트릭과 한계가 자세히 논의됩니다.
   2. 미세 조정: 모델이 대화형 정보를 통해 학습하고 업데이트할 수 있도록 모델 매개변수를 조정합니다. 이 섹션에서는 지도 명령어 조정, 매개변수 효율적인 미세 조정, 연속 학습, 반지도 미세 조정과 같은 방법을 다룹니다. 이러한 방법의 원리, 기능, 장점, 특정 사용 시 고려 사항 및 제한 사항에 대해 자세히 설명합니다. 또한 지식 편집(즉, 모델 내부의 지식 편집)의 일부도 포함됩니다.
   3. 능동 학습: 대화형 능동 학습 알고리즘 프레임워크입니다.
   4. 강화 학습: 대화형 강화 학습 알고리즘 프레임워크, 온라인 강화 학습 프레임워크, 오프라인 강화 학습 프레임워크, 인간 피드백 학습(RLHF), 환경 피드백 학습(RLEF), AI 피드백 학습(RLAIF) 등에 대해 논의합니다. 다른 방법.
   5. 모방학습: 온라인 모방학습, 오프라인 모방학습 등을 논의하는 대화형 모방학습 알고리즘 프레임워크입니다.
   6. Interaction Message Fusion: 위의 모든 상호 작용 방법에 대한 통합 프레임워크를 제공하는 동시에 이 프레임워크에서는 교차 주의 융합 방식과 같은 다양한 지식과 정보 융합 방식을 논의합니다. 제한된 디코딩 융합 방식(제약된 디코딩) 등

   기타 토론

   지면적 제약으로 인해 이 글에서는 평가, 적용, 윤리, 보안, 향후 개발 방향 등 기타 측면에 대한 논의를 자세히 다루지 않습니다. 그러나 이러한 내용은 여전히 ​​논문 원문에서 15페이지를 차지하므로 독자는 원문에서 자세한 내용을 확인하는 것이 좋습니다. 이 내용의 개요는 다음과 같습니다.

   상호작용에 대한 의견

   논문에서 평가에 대한 논의는 주로 다음 키워드와 관련됩니다:

   

   대화형 NLP의 주요 응용

   • 제어 가능한 텍스트 생성
   • 다음과의 상호작용 사람: RLHF의 생각 각인 현상 등
   • 지식과의 상호작용: Knowledge-Aware Fine-Tuning [34] 등
   • 모델, 도구와의 상호작용: Classifier-Guided CTG 등
   • 환경 상호 작용 포함: 여유 접지 등

   
   

   • Interactive Writing Assistant(Writing Assistant)
   • 콘텐츠 지원: 콘텐츠 지원 유형
   • 콘텐츠 확인 및 폴리싱: 콘텐츠 확인, 폴리싱 유형
   • 콘텐츠 강화: 풍부한 콘텐츠
   • 콘텐츠 공동 제작: 콘텐츠 제작

   
   

   • 내장 AI
   • 관찰 및 조작: 기본
   • 탐색 및 탐색: 고급( 예: 장거리 구현 작업)
   • 다중 역할 작업: 고급
   • 게임(텍스트 게임)
   • 텍스트가 포함된 대화형 게임 플랫폼: 대화형 텍스트 게임 플랫폼
   • 대화형 언어 모델이 텍스트 전용 게임을 플레이하는 방법: 텍스트 전용 게임 플레이
   • 대화형 언어 모델이 힘을 실어주는 방법 텍스트 미디어가 포함된 게임: 텍스트 기반 게임 강화
   • 기타 애플리케이션
   • 분야, 작업 전문화(Specialization): 예를 들어 금융 분야, 의료 분야 등에 특정한 상호 작용을 기반으로 만드는 방법 언어 모델 뼈대.
   • 개인화 및 성격: 예를 들어 사용자에게 특정하거나 상호 작용을 기반으로 특정 성격을 갖는 언어 모델을 만드는 방법입니다.
   • 모델 기반 평가

   윤리 및 안전

   에서는 대화형 언어 모델이 교육에 미치는 영향을 논의하고 사회적 편견, 개인 정보 보호 및 기타 윤리 안전 문제도 논의했습니다.

   향후 개발 방향 및 과제

   • Alignment: 언어 모델의 정렬 문제, 모델의 출력을 더 무해하게 만드는 방법, 인간의 가치에 더 일관되게 만드는 방법, 더 합리적으로 만드는 방법 등 .
   • 사회적 구현: 언어 모델의 접지 문제, 언어 모델의 구현과 사회화를 더욱 촉진하는 방법.
   • 가소성: 언어 모델의 가소성 문제, 업데이트 프로세스 중에 이전에 획득한 지식을 잊지 않고 모델 지식의 지속적인 업데이트를 보장하는 방법.
   • 속도 및 효율성: 언어 모델의 추론 속도 및 훈련 효율성, 성능에 영향을 주지 않고 추론을 가속화하는 방법, 가속 훈련의 효율성과 같은 문제입니다.
   • 컨텍스트 길이: 언어 모델의 컨텍스트 창 크기 제한입니다. 더 긴 텍스트를 처리할 수 있도록 컨텍스트의 창 크기를 확장하는 방법입니다.
   • 긴 텍스트 생성: 언어 모델의 긴 텍스트 생성 문제. 매우 긴 텍스트 생성 시나리오에서 언어 모델이 우수한 성능을 유지하도록 만드는 방법입니다.
   • 접근성: 언어 모델의 유용성 문제. 폐쇄 소스에서 오픈 소스로 언어 모델을 만드는 방법과 과도한 성능 손실 없이 언어 모델을 차량 시스템, 노트북과 같은 엣지 디바이스에 배포할 수 있도록 하는 방법입니다.
   • 분석: 언어 모델 분석, 해석 가능성 및 기타 문제. 예를 들어, 대형 모델 개발을 안내하기 위해 스케일 업한 후 모델의 성능을 예측하는 방법, 대형 모델의 내부 메커니즘을 설명하는 방법 등이 있습니다.
   • 창의성: 언어 모델의 창의적 문제. 언어모델을 더욱 창의적으로 만들고, 은유, 은유 등을 더 잘 활용하고, 새로운 지식을 창출하는 방법 등
   • 평가: 일반 대형 모델을 더 잘 평가하는 방법, 언어 모델의 상호 작용 특성을 평가하는 방법 등

위 내용은 NLP는 또 무엇을 할 수 있나요? Beihang University, ETH, Hong Kong University of Science and Technology, Chinese Academy of Sciences 및 기타 기관은 ChatGPT 이후 기술 체인을 체계적으로 설명하기 위해 100페이지 분량의 논문을 공동으로 발표했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!