AI 챗봇이 말도 안되는 소리를 내는 이유는 무엇이며, 그 결과를 완전히 신뢰할 수 있습니까? 이를 알아보기 위해 여러 전문가에게 질문하고 이러한 AI 모델이 어떻게 작동하는지 자세히 알아봤습니다.
OpenAI의 ChatGPT와 같은 AI 챗봇은 "대형 언어 모델"(LLM)이라는 인공 지능 유형을 사용하여 응답을 생성합니다. LLM은 인간이 자연스럽게 글을 쓰거나 말하는 것처럼 "자연어" 텍스트 언어를 읽고 생성하기 위해 수백만 개의 텍스트 소스에서 훈련된 컴퓨터 프로그램입니다. 불행하게도 그들도 실수를 합니다.
학술 문헌에서 AI 연구자들은 종종 이러한 오류를 "환각"이라고 부릅니다. 주제가 주류가 되면서 일부 사람들은 AI 모델을 의인화하거나(인간과 유사한 특성을 가지고 있다고 암시) 이를 암시해서는 안 되지만 AI 모델에 할당한다고 믿기 때문에(그들이 힘을 가지고 있음을 암시하면서) 이 라벨에 대한 논란이 점점 더 커지고 있습니다. 스스로 선택을 할 수 있다는 것입니다.) 더욱이 상업용 LLM 제작자는 출력 자체에 책임을 지기보다는 잘못된 출력에 대해 AI 모델을 비난하는 핑계로 환상을 사용할 수도 있습니다.
그래도 생성 AI는 매우 새로운 분야이므로 이러한 고도의 기술적 개념을 더 많은 대중에게 설명하려면 기존 아이디어에서 은유를 빌려야 합니다. 이 경우에 우리는 "조작"이라는 단어가 비록 불완전하긴 하지만 "환각"이라는 은유보다 더 나은 은유라고 생각합니다. 인간 심리학에서 '픽션'이란 누군가의 기억 속에 존재하는 공백을 뜻하며, 뇌는 타인을 의도적으로 속이지 않고 잊혀진 경험을 설득력 있는 허구적 사실로 채워 넣는다. ChatGPT는 인간의 두뇌처럼 작동하지 않지만 "픽션"이라는 용어는 아래에서 살펴볼 (의도적으로 속이기보다는) 창의적으로 공백을 채우는 원리에 따라 작동하기 때문에 더 나은 비유일 수 있습니다.
AI 봇이 오해의 소지가 있거나 명예를 훼손할 수 있는 허위 정보를 생성하는 것은 큰 문제입니다. 최근 워싱턴 포스트(The Washington Post)는 ChatGPT가 다른 사람을 성희롱한 법학자 목록에 자신을 포함시켰다는 사실을 발견한 한 법학 교수에 대해 보도했습니다. 하지만 이 문제는 ChatGPT에 의해 완전히 조작된 허위 사실입니다. 같은 날 Ars는 또한 호주 시장이 자신이 뇌물 수수로 유죄 판결을 받고 투옥되었다는 ChatGPT의 주장도 완전히 조작되었다는 사실을 발견했다고 보도했습니다.
ChatGPT가 출시된 직후 사람들은 검색 엔진의 종말을 옹호하기 시작했습니다. 그러나 동시에 ChatGPT에 대한 많은 가상 사례가 소셜 미디어에 널리 퍼지기 시작했습니다. AI 봇은 존재하지 않는 책과 연구, 교수가 집필하지 않은 출판물, 가짜 학술 논문, 가짜 법적 인용, 존재하지 않는 Linux 시스템 기능, 비현실적인 소매 마스코트 및 의미 없는 기술 세부 사항을 발명했습니다.
그러나 ChatGPT의 캐주얼한 거짓말 성향에도 불구하고 허구를 억압하는 것이 바로 오늘 우리가 이에 대해 이야기하는 이유입니다. 일부 전문가들은 ChatGPT가 일부 질문에 대한 답변을 거부하거나 답변이 정확하지 않을 때 알려줄 수 있다는 점에서 일반 GPT-3(이전 모델)에 비해 기술적으로 개선되었다고 지적합니다.
Scale AI의 대규모 언어 모델 전문가이자 신속한 엔지니어인 Riley Goodside는 "ChatGPT 성공의 주요 요인은 허구를 성공적으로 억제하고 많은 일반적인 문제를 눈에 띄지 않게 만들었다는 것입니다. 이전 제품과 달리 ChatGPT는 훨씬 덜합니다.
브레인스토밍 도구로 사용하면 ChatGPT의 논리적 비약과 허구가 창의적인 돌파구로 이어질 수 있습니다. 그러나 사실적인 참조로 사용될 경우 ChatGPT는 실제 해를 끼칠 수 있으며 OpenAI는 이를 알고 있습니다.
모델이 출시된 직후 OpenAI CEO인 Sam Altman은 다음과 같이 트윗했습니다. “ChatGPT는 기능이 매우 제한되어 있지만 어떤 면에서는 위대하다는 오해의 소지가 있는 인상을 주기에 충분합니다. 중요한 일에 의존하는 것은 실수입니다. 이는 진보의 미리보기입니다. 견고함과 진정성 측면에서 우리는 아직 해야 할 일이 많습니다.”라고 나중에 트윗에서 말했습니다. “그것은 많은 것을 알고 있지만 맹목적으로 확신하고 잘못되었다는 위험이 있습니다.
여기서 무슨 일이 일어나고 있나요?
ChatGPT 작동 방식
연구원들은 "비지도 학습"이라는 프로세스를 사용하여 GPT-3 및 GPT-4와 같은 대규모 언어 모델을 구축(훈련)합니다. 이는 모델을 훈련하는 데 사용하는 데이터에 특별히 주석을 달거나 레이블을 지정하지 않음을 의미합니다. 이 과정에서 모델은 많은 양의 텍스트(수백만 권의 책, 웹 사이트, 기사, 시, 원고 및 기타 소스)를 입력받고 각 단어 시퀀스에서 다음 단어를 반복적으로 예측하려고 시도합니다. 모델의 예측이 실제 다음 단어에 가까우면 신경망은 해당 예측으로 이어진 패턴을 강화하기 위해 매개변수를 업데이트합니다.
반대로 예측이 잘못된 경우 모델은 매개변수를 조정하여 성능을 개선하고 다시 시도합니다. 이러한 시행착오 과정은 역전파라고 불리는 기술이지만 모델이 실수로부터 학습하고 훈련 중에 예측을 점차적으로 향상시킬 수 있습니다.
따라서 GPT는 데이터세트에 있는 단어와 관련 개념 간의 통계적 연관성을 학습합니다. OpenAI 수석 과학자 Ilya Sutskever와 같은 일부 사람들은 GPT 모델이 이보다 더 나아가 차기 최고의 토큰을 더 정확하게 예측할 수 있도록 현실의 내부 모델을 구축한다고 믿지만 이 아이디어는 논란의 여지가 있습니다. GPT 모델이 신경망에서 다음 토큰을 제안하는 방법에 대한 정확한 세부 사항은 여전히 불확실합니다.
현재 GPT 모델에서 이 핵심 훈련(현재는 "사전 훈련"이라고도 함)은 한 번만 발생합니다. 그런 다음 훈련된 신경망을 "추론 모드"에서 사용할 수 있으며, 이를 통해 사용자는 훈련된 네트워크에 입력을 제공하고 결과를 얻을 수 있습니다. 추론 중에 GPT 모델에 대한 입력 시퀀스는 항상 인간에 의해 제공되며 이를 "프롬프트"라고 합니다. 프롬프트는 모델의 출력을 결정하며 프롬프트를 조금만 변경해도 모델에서 생성된 결과가 크게 바뀔 수 있습니다.
예를 들어 GPT-3 "Mary had a"를 입력하면 일반적으로 "little Lamb"로 문장이 완성됩니다. 이는 GPT-3의 훈련 데이터 세트에 "Mary had a little Lamb"이라는 예가 수만 개 있어서 합리적인 출력이 되기 때문입니다. 그러나 프롬프트에 "병원에서 Mary에게 a가 있었습니다"와 같이 더 많은 컨텍스트를 추가하면 결과가 변경되고 "아기" 또는 "일련의 테스트" 단어와 같은 단어가 반환됩니다.
ChatGPT의 흥미로운 점은 직접적인 텍스트 생성 작업이 아닌 상담원과의 대화로 설정되어 있기 때문입니다. ChatGPT의 경우 입력 프롬프트는 시뮬레이션된 대화가 시작되기 전에 ChatGPT에 제공된 특정 지침을 포함하여 첫 번째 질문이나 설명부터 시작하여 ChatGPT와 나누는 전체 대화입니다. 이 프로세스 동안 ChatGPT는 해당 내용과 사용자가 작성한 모든 내용에 대한 단기 기억("컨텍스트 창"이라고 함)을 유지하며 사용자와 "대화"하는 동안 대화의 텍스트 생성 작업을 완료하려고 합니다.
또한 ChatGPT는 사람이 작성한 대화 텍스트에 대해서도 훈련된다는 점에서 일반 GPT-3과 다릅니다. OpenAI는 초기 ChatGPT 출시 페이지에 다음과 같이 썼습니다. “우리는 감독된 미세 조정을 사용하여 초기 모델을 교육했습니다. 인간 AI 트레이너는 사용자와 AI 보조자 역할을 하는 대화를 제공합니다.
ChatGPT는 또한 더 나은 조정을 위해 RLHF(Reinforcement Learning with Human Feedback)라는 기술을 사용합니다. 이 기술에서 인간 평가자는 선호도에 따라 ChatGPT 응답의 순위를 매긴 다음 이 정보를 모델에 다시 공급합니다. OpenAI는 RLHF를 통해 "정확하게 대답할 수 없는 질문에 대한 답변 회피"라는 목표를 모델에 주입할 수 있습니다. 이를 통해 ChatGPT는 기본 모델보다 적은 허구로 일관된 응답을 생성할 수 있습니다. 그러나 부정확한 정보는 여전히 빠져나갈 수 있습니다.
기본적으로 GPT 모델의 원본 데이터 세트에는 사실과 허구를 구분할 수 있는 내용이 없습니다.
LLM의 행동은 여전히 활발한 연구 분야입니다. 이러한 GPT 모델을 만든 연구원들조차도 처음 개발되었을 때 누구도 예측하지 못했던 기술의 놀라운 특성을 여전히 발견하고 있습니다. 언어 번역, 프로그래밍, 체스 게임 등 현재 우리가 보고 있는 많은 흥미로운 작업을 수행하는 GPT의 능력은 한때 연구자들을 놀라게 했습니다.
ChatGPT가 아티팩트를 생성하는 이유를 묻는 질문에는 정확한 기술적인 답변을 찾기가 어렵습니다. 신경망 가중치에는 "블랙박스" 요소가 있기 때문에 복잡한 프롬프트가 주어졌을 때 정확한 출력을 예측하는 것은 어렵습니다(또는 불가능합니다). 그럼에도 불구하고 우리는 소설이 등장하는 몇 가지 기본적인 이유를 알고 있습니다.
ChatGPT의 가상 기능을 이해하는 열쇠는 예측 기계로서의 역할을 이해하는 것입니다. ChatGPT는 구성할 때 데이터 세트에 존재하지 않는 정보나 분석을 찾고 그럴듯한 단어로 공백을 메웁니다. ChatGPT는 처리해야 하는 데이터의 양이 엄청나고 단어 컨텍스트를 잘 수집하여 주변 텍스트에 오류 메시지를 원활하게 배치할 수 있기 때문에 내용을 구성하는 데 특히 좋습니다.
소프트웨어 개발자인 Simon Willison은 이렇게 말했습니다. “소설에 대해 생각하는 가장 좋은 방법은 대규모 언어 모델의 본질에 대해 생각하는 것입니다. 그들이 할 수 있는 유일한 방법은 훈련을 기반으로 다음으로 가장 좋은 단어를 선택하는 것입니다.
2021년 논문에서 옥스퍼드 대학교와 OpenAI의 연구원 3명이 ChatGPT와 같은 LLM이 생산할 수 있는 두 가지 주요 거짓말 유형을 식별했습니다. 첫 번째는 일반적인 오해(예: "칠면조를 먹으면 졸리게 됩니다")와 같은 훈련 데이터 세트의 부정확한 소스 자료에서 비롯됩니다. 두 번째는 훈련 데이터 세트에 존재하지 않는 특정 상황에 대한 추론에서 발생합니다. 이는 앞서 언급한 "환각" 레이블에 속합니다.
GPT 모델이 터무니없는 추측을 하는지 여부는 AI 연구자들이 흔히 "창의력" 설정으로 설명하는 "온도" 속성이라고 부르는 것에 달려 있습니다. 창의성을 높게 설정하면 모델은 추측을 하고, 낮게 설정하면 데이터 세트를 기반으로 결정론적으로 데이터를 내보냅니다.
최근 Microsoft 직원 Mikhail Parakhin은 Bing Chat의 환각 경향과 환각의 원인에 대해 이야기하기 위해 Twitter를 방문했습니다. 그는 "이것이 제가 이전에 설명하려고 했던 것입니다: 환상 = 창의성입니다. 처리하는 모든 데이터를 사용하여 문자열의 가장 높은 확률 연속을 생성하려고 합니다. 일반적으로 정확합니다. 때때로 사람들은 그런 연속을 결코 만들어본 적이 없습니다.”
Parakhin은 이러한 미친 창의적인 도약이 LLM을 재미있게 만드는 이유라고 덧붙였습니다. 환각을 억제할 수는 있지만 매우 지루하다는 것을 알게 될 것입니다. 항상 "모르겠어요"라고 대답하거나 검색 결과에 있는 내용만 반환하기 때문입니다(때로는 부정확하기도 함). 지금 빠진 것은 어조입니다. 이러한 상황에서는 자신감 있는 것처럼 보여서는 안 됩니다. ”
ChatGPT와 같은 언어 모델을 미세 조정할 때 창의성과 정확성의 균형을 맞추는 것은 어려운 일입니다. 한편으로 창의적인 응답을 제시하는 능력은 ChatGPT를 새로운 아이디어를 생성하거나 작성자의 병목 현상을 제거하는 강력한 도구로 만듭니다. 반면에 신뢰할 수 있는 정보를 생성하고 허구를 피하려면 이 둘 사이의 올바른 균형을 찾는 것이 언어 모델 개발에 매우 중요하지만 유용하고 유용한 도구를 개발하는 데도 중요합니다.
압축 문제도 있습니다. GPT-3는 훈련 중에 페타바이트의 정보를 고려하지만, 널리 읽혀지는 New Yorker 기사에서 저자 Ted Chiang은 이를 " 흐릿한 네트워크 JPEG"는 실제 교육 데이터의 대부분이 손실됨을 의미합니다. GPT-3는 개념 간의 관계를 학습하여 이를 보완한 다음 이러한 사실의 새로운 배열을 재구성하는 데 사용할 수 있습니다. 기억력에 결함이 있는 사람이 작동하는 것처럼 직감에 따라 때로는 틀릴 수도 있습니다. 답을 모르면 최선의 추측을 내립니다.
우리는 허구에서 프롬프트의 역할을 잊을 수 없습니다. 어떤 면에서 ChatGPT는 사용자가 제공하는 것을 제공합니다. 당신은 거짓말을 하고 당신의 의견에 동의하고 그에 따라 "생각"하는 경향이 있습니다. 이것이 바로 주제를 바꾸거나 원치 않는 응답을 받을 때 새로운 프롬프트로 다시 시작하는 것이 중요한 이유입니다. 즉, ChatGPT는 확률적입니다.
이 모든 결과로 인해 OpenAI는 다음 결론에 동의합니다. 현재 설계된 ChatGPT는 신뢰할 수 있는 사실 정보 소스가 아니며 Margaret 박사를 신뢰할 수 없습니다. AI 회사인 Hugging Face의 연구원이자 최고 윤리 과학자인 Mitchell은 "ChatGPT는 글쓰기 블록을 마무리하거나 창의적인 아이디어를 생각해내는 것과 같은 특정 작업에 매우 유용할 수 있습니다. 그것은 진리를 위해 만들어지지 않았으므로 진리가 될 수 없습니다. 그렇게 간단합니다. ”
AI 챗봇을 맹신하는 것은 실수지만, ChatGPT는 지난해 11월 출시 이후 여러 차례 업그레이드를 거쳤으며, 이러한 업그레이드 중 일부에는 정확도가 향상되었습니다.
그러면 OpenAI는 어떻게 ChatGPT를 더 정확하게 만들 계획인가요? 하지만 우리는 이 문제에 대해 지난 몇 달 동안 OpenAI에 여러 번 연락했습니다. 아무런 응답도 받지 못했지만 OpenAI가 공개한 문서와 회사가 ChatGPT를 인간 직원과 일치시키도록 안내하려는 뉴스 보도에서 단서를 찾을 수 있습니다.
앞서 언급했듯이 ChatGPT가 성공한 이유 중 하나는 RLHF를 사용한 광범위한 교육 때문입니다. OpenAI는 “모델을 더 안전하고 유용하며 일관성 있게 만들기 위해 'RLHF(Reinforcement Learning with Human Feedback)'라는 기존 기술을 사용합니다. 고객이 API에 제출한 팁에 따르면 우리의 태거는 다음과 같은 데모를 제공합니다. 그런 다음 이 데이터를 사용하여 GPT-3를 미세 조정합니다.”라고 OpenAI의 Sutskever는 RLHF를 통한 추가 교육을 통해 말합니다. Sutskever는 이번 달 초 인터뷰에서 Forbes에 "이 후속 RLHF를 개선함으로써 환각을 느끼지 않도록 가르칠 수 있기를 바랍니다."라고 말했습니다. 그는 계속해서 "오늘 우리가 한 일은 다음과 같습니다. 그렇게 하는 방법은 사람들을 고용하여 신경망에 반응하는 방법을 가르치고, 채팅 도구에 반응하는 방법을 가르치는 것입니다. 그냥 상호 작용하면 반응을 통해 알 수 있습니다. 아, 이건 당신이 원하는 것이 아닙니다. . 출력이 만족스럽지 않습니다. 그래서 출력이 별로 좋지 않습니다. 다음에는 뭔가 다른 것을 해야 한다고 생각합니다. 이 접근 방식은 환각 문제를 완전히 해결할 것입니다."
다른 사람들은 동의하지 않습니다. Meta의 수석 인공 지능 과학자인 Yann LeCun은 GPT 아키텍처를 사용하는 현재 LLM이 환각 문제를 해결할 수 없다고 믿습니다. 그러나 현재 아키텍처에서 LLM의 정확도를 높일 수 있는 새로운 방법이 있습니다. 그는 "LLM에 사실성을 추가하기 위해 가장 활발하게 연구되는 접근 방식 중 하나는 검색 확대입니다. 즉, 외부 문서를 소스로 제공하고 컨텍스트를 지원하는 것입니다. 연구원들은 이 기술을 통해 모델이 Google 검색 엔진과 같은 외부 문서를 사용하도록 가르치기를 희망합니다. , 인간 연구원과 마찬가지로 답변에 신뢰할 수 있는 출처를 인용하고 모델 교육 중에 배운 신뢰할 수 없는 사실 지식에 덜 의존합니다.”
Bing Chat과 Google Bard는 이미 웹 검색을 통해 이를 달성했으며, 곧 ChatGPT의 브라우저 지원 버전도 출시될 예정입니다. 구현되었습니다. 또한 ChatGPT 플러그인은 웹 및 특별히 구축된 데이터베이스와 같은 외부 소스에서 정보를 검색하여 GPT-4의 교육 데이터를 보완하도록 설계되었습니다. 이러한 향상된 기능은 백과사전이 있는 사람이 백과사전이 없는 사람보다 사실을 더 정확하게 설명하는 방식과 유사합니다.
또한 GPT-4와 같은 모델을 훈련시켜 상황을 만들고 그에 따라 조정하는 것도 가능합니다. Mitchell은 "보다 정교한 데이터 관리 및 PageRank와 같은 접근 방식을 사용하여 훈련 데이터를 '신뢰'에 맞추는 것을 포함하여 ChatGPT 및 이와 유사한 것들을 처음부터 보다 현실적으로 만들기 위해 사람들이 할 수 있는 몇 가지 더 깊은 일이 있다고 믿습니다. 점수는 연결되어 있습니다. ... 그리고 응답에 대한 확신이 덜할 때 위험을 방지하기 위해 모델을 미세 조정할 수도 있습니다."
위 내용은 ChatGPT와 Bing Chat이 스토리 전개에 탁월한 이유의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
