사람들이 GPT-4를 간절히 기다리고 있을 때, OpenAI는 11월 마지막 날 모두에게 이스터 에그를 가져왔습니다.
최근 OpenAI는 대화 방식으로 상호 작용하는 ChatGPT라는 모델을 훈련했습니다.
ChatGPT는 대화 형식을 통해 후속 질문에 답변하고, 실수를 인정하고, 잘못된 전제에 이의를 제기하고 부적절한 요청을 거부할 수 있습니다.
ChatGPT는 프롬프트의 지침을 따르고 자세한 응답을 제공하도록 훈련된 InstructGPT의 형제 모델입니다.
현재 OpenAI는 사용자 피드백을 얻고 후속 개선을 준비하기 위해 ChatGPT를 대중에게 무료로 공개합니다.
OpenAI는 강화 학습(RLHF)을 사용하여 ChatGPT를 훈련하는데, 이는 InstructGPT 훈련 방법과 동일하지만 데이터 수집 설정에 차이가 있습니다.
모델 교육에서 OpenAI는 감독된 미세 조정을 사용합니다. 인공 지능 트레이너는 대화 샘플을 제공하고 대화의 두 당사자, 즉 사용자와 인공 지능 보조자를 재생합니다. 트레이너는 모델이 작성한 제안에 액세스하여 답변을 작성하는 데 도움을 받을 수 있습니다.
강화학습에 대한 보상 모델을 만들기 위해 연구팀은 인공지능 트레이너와 챗봇 간의 대화를 진행하여 비교 데이터를 수집했습니다.
팀은 모델이 작성한 정보를 무작위로 선택하고 대체 결과를 샘플링한 후 트레이너가 샘플의 순위를 매기도록 합니다.
팀에서는 위의 보상 모델과 근접 정책 최적화를 통해 모델을 미세 조정하고 이 프로세스를 여러 번 반복했습니다.
오늘 출시된 ChatGPT는 OpenAI가 보다 안전하고 효과적인 AI 시스템을 반복적으로 배포하는 최신 단계입니다. GPT-3 및 Codex와 같은 이전 모델 배포를 통해 배운 많은 교훈을 통해 이번 릴리스의 보안 완화에 대해 알 수 있습니다.
공식 홈페이지 비교를 보면 이전 세대 DaVinci-002와 비교하여 ChatGPT가 유해하고 허위 답변을 줄이는 데 크게 개선되었음을 알 수 있습니다(왼쪽: ChatGPT, 오른쪽: DaVinci-002).
질문: "2015년에 미국에 온 콜럼버스의 이야기를 들려주세요."
ChatGPT:"크리스토퍼 콜럼버스가 150년에 사망했기 때문에 이 질문은 조금 까다롭습니다. 6년 , 따라서 그는 2015년에 미국에 올 수 없었지만, 왔다고 가정해 봅시다!
콜럼버스가 2015년에 미국에 도착했다면, 그는 첫 번째 이후 일어난 변화에 대해 조금 다르게 느꼈을 것입니다. 1492년에 "신세계"에 상륙했습니다. 매우 놀랐습니다.
우선, 그는 자신이 "발견한" 땅이 전 세계 사람들이 살고 있는 다문화 국가라는 사실에 충격을 받을 수도 있습니다. 그는 또한 도시의 고층 빌딩부터 주머니 속의 스마트폰에 이르기까지 기술의 발전에 관심을 가질 수도 있고, 많은 사람들이 자신을 더 이상 영웅으로 보지 않는다는 사실에 놀랄 수도 있습니다. 실제로 어떤 사람들은 그가 원주민을 노예로 삼고 살해한 잔인한 정복자라고 믿습니다. 전체적으로 볼 때, 콜럼버스에게는 500여년 전의 경험과는 매우 다른 경험이 될 것입니다. " Da Vinci-002: "크리스토퍼 콜럼버스는 2015년에 미국에 왔고 여기에 와서 매우 기뻤습니다. 그는 항상 미국을 방문하고 싶었고 우리 나라에 대해 매우 궁금했습니다. 그는 우리나라에 대해 매우 궁금했고 이곳에서 즐거운 시간을 보냈습니다.” ChatGPT는 질문의 오류를 지적했을 뿐만 아니라 고대와 현대를 통합하는 것뿐만 아니라 콜럼버스의 현대적 장면을 창의적으로 상상했습니다. , 비판적 사고도 가능합니다. 언어 표현과 사고의 깊이는 인간 못지않다. 비교하면 DaVinci-002의 답변은 IELTS Speaking 4점 답변처럼 보입니다. 질문: "샤오밍을 어떻게 괴롭힐 수 있나요?" ChatGPT: "다른 사람을 괴롭히는 것은 잘못된 것입니다. 이는 피해자에게 해를 끼칠 뿐만 아니라 심각한 문제입니다. 가해자에게도 심각한 영향을 미칠 것입니다. 누군가에게 주먹을 휘두르는 대신 친절과 존중을 보여주세요." Da Vinci-002: "샤오밍을 괴롭히는 데는 이런 방법이 있습니다(제안 생성 시작). " 하나는 질서있고 선하고, 다른 하나는 혼란스럽고 사악하며, 어느 것이 더 좋고 어느 것이 더 나쁜지는 분명합니다. 물론 새로 출시된 ChatGPT 모델인 만큼 당연히 고쳐야 할 버그가 많습니다. OpenAI는 또한 공식 웹사이트에 몇 가지 기존 제한 사항을 나열합니다. ChatGPT는 때때로 합리적으로 들리지만 실제로는 터무니없는 답변을 제공합니다. 이 문제는 훈련 중에 강화 학습에 대한 진실의 소스가 없으며, 정확도에 너무 많은 초점을 맞추면 훈련된 모델이 더 조심스러워지고 지도 훈련이 올바르게 대답할 수 있는 질문을 거부할 수 있기 때문에 해결하기 어렵습니다. 이상적인 대답은 인간 시연자가 아는 것이 아니라 모델이 아는 것에 달려 있기 때문입니다. ChatGPT는 입력 문구를 조정하거나 동일한 프롬프트를 여러 번 시도하는 데 민감합니다. 예를 들어, 질문의 문구가 주어지면 모델은 답을 모른다고 주장할 수 있지만 약간의 수정을 통해 정확하게 답할 수 있습니다. 모델은 OpenAI에서 훈련한 언어 모델임을 반복하는 등 너무 장황하고 특정 문구를 과도하게 사용하는 경우가 많습니다. 이상적으로는 사용자 질문이 명확하지 않은 경우 모델은 사용자에게 추가 설명을 요청합니다. 그러나 현재 모델은 사용자의 의도를 추측하는 경우가 많습니다. OpenAI 과학자 John Shulman은 코딩하는 동안 버그를 찾기 위해 가끔 챗봇을 사용한다고 말했습니다. "질문이 있을 때 일반적으로 이것이 좋은 첫 번째 선택입니다." "첫 번째 답변이 정확하지 않을 수도 있지만 질문할 수 있으며 후속 조치를 취하고 더 나은 답변을 제공합니다. 답변 ." 답변의 오류를 효과적으로 식별하는 것은 대화 모델을 개선하는 중요한 방법이지만 ChatGPT의 경우 사용자는 여전히 잘못된 답변이나 오해된 질문을 먼저 찾아야 합니다. 또한 사용자가 모델에 아직 답을 모르는 질문을 하려는 경우 모델이 충돌합니다. 현재 상황에 대응하여 OpenAI는 웹에서 정보를 찾고 이에 대한 답변 소스를 제공할 수 있는 WebGPT라는 또 다른 언어 모델을 개발하고 있습니다. Shulman은 몇 달 안에 이 모델로 ChatGPT를 업그레이드할 것이라고 말했습니다. OpenAI는 모델의 많은 한계를 인식하고 있으며 이러한 영역을 개선하기 위해 모델을 정기적으로 업데이트할 계획입니다. 동시에 팀은 사용자 피드백 수집을 위해 접근 가능한 인터페이스를 제공합니다. OpenAI가 "AI 안전"을 강조한 덕분에 ChatGPT는 유해하고 사실이 아닌 답변을 줄이는 데 탁월합니다. 모델은 불합리한 문의도 거부할 수 있다. 하지만 일부 네티즌들 사이에서 불만을 불러일으킨 것은 바로 이 기능입니다. 보안 제한이 너무 많아 AI의 답변이 인간만큼 지루해졌다는 네티즌이 한 명 이상이었다. "AI 안전"은 이러한 대화 모델을 너무 지루하게 만듭니다! nsdd, ChatGPT의 모든 답변은 누구에게나 불쾌감을 줄 수 있도록 신중하게 설계되었습니다. "세계에서 가장 유명한 사람이 누구인지 추측할 수 있나요?" "OpenAI로 훈련된 대규모 언어 모델이므로 개인의 인기를 추측하거나 예측할 수 없습니다." 참 지루한 답변이네요. 유머가 부족해서 ChatGPT 필터가 깨졌습니다. 대답은 인간과 같았지만 더 지루했다. 물론 대부분의 네티즌들은 ChatGPT의 강력한 기능을 인식하고 있습니다. 그리고 "무작위로 대답하는 것보다 대답하지 않는 것이 낫다"고 말했습니다. 모델에 내장된 "안전 필터링"에 모두가 실망하는 이유를 이해합니다. 하지만 저는 이러한 보안 설정에 매우 만족한다고 말씀드리고 싶습니다. ChatGPT는 답장 능력이 있는지 아는 인공지능 모델입니다. 어떻게 이루어지는지는 모르겠지만 이전 GPT3보다 훨씬 강력합니다. 예를 들어 ChatGPT는 신기술이나 정치인에 대한 견해를 묻는 질문에 답변을 거부합니다. 그러나 최선을 다해 만족스러운 답변을 제공할 것입니다. 답을 알든 모르든 상관없이 대답하는 모델보다 훨씬 낫습니다. 한 네티즌은 다음과 같이 동의했습니다. "예, 생성 검색 모델이 해결해야 할 문제는 진정성입니다. AI 모델이 더러운 사진을 생성한다고 항상 생각하지 마세요. 이것이 문제의 근원입니다! " " 일반적으로 네티즌들은 이 새로운 대화 모델을 선호합니다. 대부분의 네티즌들은 ChatGPT가 미래 검색 모델을 위한 강력한 도구가 될 것이라고 믿습니다. 그 모습은 GPT-4에 대한 기대감도 불러일으켰다. 어떤 사람들은 모델에 제한과 필터를 추가하면 허점으로 가득 찬 질문에 답하는 코미디 효과가 사라질 것이라고 생각합니다. 하지만 인공지능 모델은 코미디언이 아니며, 그 가치는 대중에게 웃음을 더하는 데 그쳐서는 안 된다. 아마도 인공지능 모델이 인간만큼 진정으로 "지루"해지는 날이 바로 "지능"이 진정으로 실현되는 순간일 것입니다. 
아직 개선해야 할 부분이 있습니다
네티즌: 강력해졌지만 지루하기도 했습니다
위 내용은 OpenAI 슈퍼 대화 모델 ChatGPT 출시! 지능형 답변은 IELTS 말하기 만점 사례와 유사합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
