2023년 첫날, ChatGPT의 연말정산을 확인해보세요!

ChatGPT의 출현은 비록 가장 기술적인 것은 아닐지라도 2022년 하반기 가장 눈길을 끄는 AI 혁신이 될 수 있습니다.

얼마 전 뉴올리언스에서 열린 2022 NeurIPS에서는 GPT-4에 대한 소문이 끊이지 않았으며, 동시에 OpenAI도 뉴스 매체의 초점이 되었습니다.

OpenAI는 AI 대규모 언어 모델인 GPT-3 시리즈의 새로운 모델인 text-davinci-003을 발표했습니다. 성능을 향상시키기 위해 더 높은 품질의 긴 형식의 콘텐츠를 생성합니다.

새로운 모델은 InstructGPT를 기반으로 구축되었으며 인간의 피드백과 함께 강화 학습을 사용하여 언어 모델을 인간의 지시에 더 잘 맞춥니다.

Da Vinci-003은 인간 시연과 고득점 모델 샘플에 대한 감독 미세 조정을 사용하여 생성 품질을 향상시키는 진정한 인간 피드백 강화 학습(RLHF) 모델입니다. "

"GPT-3.5 시리즈"의 또 다른 부분으로 OpenAI는 ChatGPT의 초기 시연을 공개했습니다. 회사는 이 대화형 대화 모델이 수많은 후속 질문에 답할 수 있을 뿐만 아니라 실수를 인정하고, 잘못된 질문 전제에 질문하고, 부적절한 질문 요청을 거부합니다.

OpenAI는 블로그 게시물에서 ChatGPT의 연구 릴리스가 "점점 더 안전하고 유용한 AI 시스템을 반복적으로 배포하는 OpenAI의 최신 단계"라고 말했습니다. 이는 GPT-3 및 Codex Many와 같은 이전 모델 배포에서 가져온 것입니다. RLHF(Reinforcement Learning with Human Feedback)를 활용하면 학습된 교훈, 해롭고 비현실적인 출력 결과가 크게 줄어듭니다.

또한 ChatGPT는 교육에서 기계 학습 모델임을 강조하므로 논란을 피하기 위한 것일 수도 있습니다. 얼마 전 구글의 챗봇 LaMDA로 인해 발생한 'AI가 의식이 있는지'에 대한 논란이 일었다.

물론 ChatGPT에도 한계가 있습니다.

블로그 게시물에서 OpenAI는 때로는 답변이 합리적으로 들리지만 실제로는 부정확하거나 무의미하다는 사실을 포함하여 제한 사항을 자세히 설명합니다.

"이 문제를 해결하는 것은 매우 어렵습니다. 왜냐하면 (1) 현재 강화 학습 훈련 중에 신뢰할 수 있는 소스에 대한 보장이 없기 때문입니다. (2) 훈련 모델은 더 조심스럽고 문제가 맞을 수 있는 답변을 거부합니다. ( 3) 이상적인 답변은 인간 시연자가 아는 것이 아니라 모델이 아는 것에 달려 있기 때문에 지도 학습은 모델을 오도할 수 있습니다. "

Open AI는 ChatGPT가 "때때로 유해한 지시에 반응하거나 편향된 행동을 보입니다. 우리는 안전하지 않은 특정 콘텐츠 유형을 경고하거나 차단하기 위해 API를 사용하고 있지만 현재로서는 일부 거짓 부정과 긍정이 있을 것으로 예상하고 있으며, 이 모델을 개선하기 위한 지속적인 작업에 도움이 되도록 사용자 피드백을 수집하는 데 큰 관심을 갖고 있습니다. ".

ChatGPT에는 아직 개선이 필요한 문제가 많이 남아있을 수 있지만 GPT-4가 출시되기 이전에는 ChatGPT가 여전히 최고 수준의 대규모 언어 모델이라는 사실을 부인할 수 없습니다.

하지만 최근 커뮤니티에는 모든 사람의 토론 열정에 불을 붙인 새로운 모델이 있습니다. 가장 중요한 것은 오픈 소스라는 것입니다.

이번 주 Meta의 Make-A-Video를 포함한 비공개 소스 AI 시스템 리버스 엔지니어링을 담당하는 개발자 Philip Wang이 ChatGPT처럼 작동하는 텍스트 생성 모델인 PaLM+RLHF를 출시했습니다.

코드 주소: https://github.com/lucidrains/PaLM-rlhf-pytorch

이 시스템은 Google의 대규모 언어 모델 PaLM과 강화 학습을 인간 피드백(RLHF) 기술과 결합하여 만들어졌습니다. 이메일 초안 작성 및 컴퓨터 코드 제안을 포함하여 ChatGPT에서 거의 모든 작업을 수행할 수 있는 시스템입니다.

PaLm + RLHF의 힘

ChatGPT는 출시 이후 인간과 유사한 고화질 텍스트를 생성하고 사용자 질문에 대화식으로 응답하는 능력으로 기술 세계에 파장을 일으켰습니다. 폭풍.

이는 챗봇 개발 초기 단계의 큰 진전이지만 인공 지능 분야의 많은 팬들은 ChatGPT의 폐쇄적 성격에 대해 우려를 표명했습니다.

현재까지 ChatGPT 모델은 독점 상태로 유지됩니다. 즉, 기본 코드를 대중이 볼 수 없습니다. OpenAI만이 그것이 어떻게 작동하고 어떤 데이터를 처리하는지 실제로 알고 있습니다. 이러한 투명성 부족은 광범위한 결과를 초래할 수 있으며 장기적으로 사용자 신뢰에 영향을 미칠 수 있습니다.

많은 개발자들이 오픈 소스 대안을 구축하기 위해 노력해 왔으며 이제 마침내 출시되었습니다. PaLM+RLHF는 Python 언어용으로 특별히 제작되었으며 PyTorch용으로 구현될 수 있습니다.

개발자는 자동 회귀 변환기만큼 쉽게 PaLM을 교육한 다음 인간의 피드백을 사용하여 보상 모델을 교육할 수 있습니다.

ChatGPT와 마찬가지로 PaLM + RLHF는 본질적으로 단어를 예측하기 위한 통계 도구입니다. PaLM+RLHF는 Reddit의 게시물, 뉴스 기사, 전자책 등 교육 데이터에서 수많은 예제를 입력하면 주변 텍스트의 의미론적 맥락과 같은 패턴을 기반으로 단어가 발생할 가능성이 얼마나 되는지 학습합니다.

정말 너무 완벽하죠?

물론, 이상과 현실 사이에는 여전히 큰 격차가 있습니다. PaLM + RLHF는 완벽해 보이지만 다양한 문제도 있습니다. 가장 큰 문제는 사람들이 아직 그것을 사용할 수 없다는 것입니다.

PaLM + RLHF를 실행하려면 사용자는 블로그, 소셜 미디어, 뉴스 기사, 전자책 등 다양한 소스에서 얻은 기가바이트의 텍스트를 컴파일해야 합니다.

이 데이터는 여러 가지 응답을 생성하는 미세 조정된 PaLm 모델에 공급됩니다. 예를 들어, 모델에게 "경제학의 기본 지식은 무엇입니까?"라고 질문하면 PaLm은 "경제학은 연구하는 사회과학입니다..."라고 대답합니다.

이후 개발자는 사람들에게 모델에서 생성된 답변을 최고부터 최악까지 순위를 매기도록 요청하고 보상 모델을 만듭니다. 마지막으로 순위는 원래 모델의 응답을 가져와 선호도에 따라 정렬하고 주어진 프롬프트에 대한 최상의 답변을 필터링하는 "보상 모델"을 교육하는 데 사용됩니다.

그러나 이는 비용이 많이 드는 과정입니다. 훈련 데이터를 수집하고 모델 자체를 훈련시키는 것은 비용이 많이 들지 않습니다. PaLM에는 5,400억 개의 매개변수가 있으며, 이는 언어 모델이 훈련 데이터에서 학습하는 것입니다. 2020년 연구에 따르면 15억 개의 매개변수만으로 텍스트 생성 모델을 개발하는 데 최대 160만 달러의 비용이 소요되는 것으로 나타났습니다.

올해 7월, Hugging Face 연구진은 1,760억 개의 매개변수로 오픈소스 모델 Bloom을 훈련시키기 위해 3개월을 투자하고 384개의 NVIDIA A100 GPU를 사용했습니다. A100 한 대의 가격은 수천 달러인데, 이는 일반 사용자가 감당할 수 있는 비용이 아닙니다.

또한 모델을 학습시킨 후에도 PaLM + RLHF 크기의 모델을 실행하는 것은 쉽지 않습니다. Bloom은 8개의 A100 GPU를 갖춘 전용 PC를 보유하고 있으며 OpenAI의 텍스트 생성 GPT-3(약 1,750억 개의 매개변수 포함)을 실행하는 데 연간 약 87,000달러가 소요됩니다.

AI 연구원 Sebastian Raschka는 PaLM + RLHF에 대한 기사에서 필요한 개발 워크플로를 확장하는 것도 어려울 수 있다고 지적합니다.

"누군가가 이 모델을 훈련하기 위해 500개의 GPU를 제공하더라도 여전히 인프라를 처리하고 이를 처리할 수 있는 소프트웨어 프레임워크가 있어야 합니다."라고 그는 말했습니다. "이것이 가능하긴 하지만 현재로서는 많은 노력이 필요합니다."

차세대 오픈소스 ChatGPT

높은 비용과 엄청난 규모는 자금이 충분한 기업이나 개인이 없다는 것을 보여줍니다. , 모델 훈련에 어려움을 겪고 있는 PaLM + RLHF는 현재 ChatGPT를 대체할 수 있는 기능이 없습니다.

아직까지 PaLM + RLHF의 정확한 출시일이 없습니다. 참고로 Hugging Face는 Bloom을 훈련하는데 3개월이 걸렸습니다. 이에 비해 5,400억 개의 매개변수가 있는 PaLM + RLHF는 의미 있는 버전을 생성하려면 6~8개월을 기다려야 할 수도 있습니다.

좋은 소식은 지금까지 ChatGPT에 대한 이 오픈 소스 대안을 작업하는 것으로 알려진 세 명의 플레이어가 있다는 것입니다. 야닉 킬처

• CarperAI는 EleutherAI 및 스타트업인 Scale AI 및 Hugging Face와 파트너십을 맺고 인간 피드백으로 훈련된 최초의 즉시 실행 가능한 ChatGPT와 유사한 AI 모델을 출시할 계획입니다.
• 코드 주소: https://github.com/CarperAI/trlx

LAION은 Stable Diffusion의 초기 데이터 세트를 제공한 비영리 단체이기도 합니다. Project를 사용하여 최신 기계 학습 기술로 ChatGPT를 복제하세요.

코드 주소 : https://github.com/LAION-AI/Open-Assistant

LAION은 이메일 작성과 지원만 할 수 있는 '미래 도우미'를 만드는 것을 목표로 합니다. "의미 있는 작업 수행, API 사용, 동적인 정보 검색 등"을 수행할 수도 있습니다. 초기 단계이지만 관련 리소스가 포함된 프로젝트가 몇 주 전에 GitHub에 게시되었습니다.

그리고 유튜브 셀럽이자 AI 연구자인 Yannic Kilcher가 만든 GPT-4chan은 "진흙에서 나와 더러워지는" 욕설 전문가에 가깝습니다.

이 모델의 "4chan"은 미국 온라인 익명 포럼입니다. 네티즌의 신원이 익명이기 때문에 많은 사람들이 두려움을 모르고 온갖 정치적으로 잘못된 발언을 합니다. Kilcher는 모델을 훈련하기 위해 공식적으로 4chan의 게시물을 사용했으며 결과는 예측 가능합니다.

포럼의 일반적인 어조와 마찬가지로 GPT-4chan의 답변은 인종차별, 성차별, 반유대주의로 가득 차 있었습니다. 뿐만 아니라 Kilcher는 다른 사람들이 다운로드할 수 있도록 기본 모델을 Hugging Face에 게시했습니다. 그러나 많은 AI 연구자들의 비난으로 인해 관계자들은 신속하게 네티즌들의 모델 접근을 제한했습니다.

더 많은 오픈 소스 언어 모델의 출현을 기대하는 동안, 지금 우리가 할 수 있는 일은 기다리는 것뿐입니다. 물론, ChatGPT를 무료로 계속 사용하는 것도 좋은 생각입니다.

오픈 소스 버전이 공식적으로 출시되기 전에 OpenAI가 아직 개발에서 훨씬 앞서 있다는 점은 주목할 가치가 있습니다. 2023년 GPT-4는 의심할 여지없이 전 세계 AI 애호가들이 기대하는 것입니다.

수많은 AI 거인들이 이에 대해 나름대로 예측을 내렸습니다. 이러한 예측은 좋을 수도 있고 나쁠 수도 있지만, OpenAI COO인 Sam Altman이 말했듯이 "일반 인공지능의 완성은 대부분의 사람들이 상상하는 것보다 더 어려울 것입니다. 대부분의 사람들이 상상하는 모든 것이 바뀔 것입니다."

위 내용은 2023년 첫날, ChatGPT의 연말정산을 확인해보세요!의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!