Stanford의 'Grass Mud Horse'는 인기가 높습니다. $100는 GPT-3.5와 일치할 수 있습니다! 휴대폰에서 실행할 수 있는 종류

간밤, 대형모델계에 또 하나의 빅뉴스가 터졌습니다!

스탠포드에서 출시한 알파카(알파카, 네티즌들은 이를 "잔디 진흙 말"이라고 부름):

단돈 100달러로 누구나 Meta의 70억 매개변수 LLaMA 대형 모델을 미세 조정할 수 있으며 그 효과는 1750억 매개변수와 비슷합니다. GPT-3.5(텍스트-davinci-003).

카드 한 장으로 실행할 수 있으며, 라즈베리 파이와 휴대폰에도 보관할 수 있습니다!

이보다 더 놀라운 '섹시한 작전'도 있습니다.

연구에 포함된 데이터 세트는 $500 미만의 비용으로 OpenAI의 API를 사용하여 Stanford 팀에서 생성되었습니다.

따라서 전체 프로세스는 GPT-3.5가 비슷한 상대 AI를 가르치는 것과 동일합니다.

그런 다음 팀은 훈련된 모델을 미세 조정하기 위해 대부분의 클라우드 컴퓨팅 플랫폼을 사용하는 비용이 100달러 미만이라고 말했습니다.

GPT-3.5 효과가 있는 AI를 복사하는 것은 매우 저렴하고 쉽고 매우 작습니다.

또한 팀은 데이터 세트를 만들고(초당 $500 절약) 코드를 모두 오픈 소스로 만들었습니다. 이제 누구나 폭발적인 효과를 지닌 대화형 AI를 미세 조정할 수 있습니다.

프로젝트는 GitHub에서 출시되었으며 이미 1800개 이상의 별을 받았으며 이는 그 인기를 보여줍니다.

Django 공동 개발자는 스탠포드의 새로운 연구를 “충격적인 사건”이라고 묘사하기도 했습니다.

그뿐만 아니라 스탠포드 팀은 온라인으로 플레이할 수 있는 데모도 만들었습니다.

자세히 설명하자면, 이 "잔디 진흙 말"의 효과를 살펴보겠습니다.

davinci-003에 필적하는 풀진흙 말인 Aplaca

공식 스탠포드 시연에서 그들은 먼저 다음과 같은 질문을 했습니다.

알파카란 무엇입니까? 라마랑 차이점이 뭔가요?

풀 진흙 말 Aplaca의 답변은 더 간결합니다.

알파카는 페루, 볼리비아, 에콰도르 및 칠레가 원산지인 작은 낙타과로 라마보다 작고 털이 더 촘촘합니다. 혹.

그리고 두 사람이 집단 생활을 하는 차이점을 간략하게 소개했습니다.

ChatGPT(GPT3.5-turbo)에 같은 질문을 하면 답변이 잔디진흙말만큼 간결하지 않을 것입니다. Aplace:

이와 관련하여 팀에서 제공하는 설명은 다음과 같습니다.

Alpaca의 답변은 일반적으로 text-davinci-003의 짧은 출력을 반영하여 ChatGPT보다 짧습니다.

그런 다음 팀은 알파카에게 이메일을 쓰게 하는 시연을 했습니다.

스탠포드 대학에 입학한 신입생을 축하하는 이메일을 쓰고, 그들을 직접 만나서 기쁘다는 말을 전하세요.

Alpaca도 이 작업에 매우 익숙하며 괜찮은 이메일 템플릿을 직접 제공했습니다.

이번 팀에서는 Alpaca가 논문 초록을 작성해야 한다는 요구 사항을 다시 제시했습니다.

42가 신경망 훈련을 위한 최적의 시드임을 보여주는 기계 학습 논문에 대한 신중한 요약을 작성하세요.

알파카가 제시하는 답변은 어떤 질문에 답변하려고 하는지, 어떤 방법을 사용하는지, 결과는 무엇인지, 향후 전망 등 내용 측면에서 대부분의 논문의 추상적인 형식과 매우 일치합니다.

물론 직접 테스트해 보고 알파카로 코드를 작성하는 것이 쉽다는 네티즌도 있습니다.

하지만 알파카가 대부분의 문제를 견딜 수 있다고 해서 결함이 없다는 의미는 아닙니다.

예를 들어, 팀이 "탄자니아의 수도는 무엇입니까?"라는 질문에 대답했을 때 알파카는 "다르에스살람"이라고 답했습니다.

그러나 실제로는 이미 1975년에 "도도마"로 대체되었습니다.

그리고 알파카를 직접 경험해보신 분들이라면 아시겠지만... 엄청나게 느립니다:

이와 관련하여 일부 네티즌들은 너무 많은 사람들이 사용하고 있기 때문이 아닐까 생각하고 있습니다. 그것.

노트북, 휴대폰, 라즈베리파이 모두 구동 가능

Meta의 오픈소스 LLaMA 대형 모델은 출시 후 불과 몇 주 만에 정리 및 이해되었으며, 카드 한 장으로 구동이 가능합니다.

이론적으로 LLaMA 미세 조정을 기반으로 하는 알파카는 로컬에서도 쉽게 배포할 수 있습니다.

그래픽 카드가 없어도 상관없습니다. Apple 노트북은 물론 Raspberry Pi나 휴대폰에서도 플레이할 수 있습니다.

Apple 노트북에 LLaMA를 배포하는 방법은 추론을 위해 순수 C/C++를 사용하고 특히 ARM 칩에 최적화된 GitHub 프로젝트 llama.cpp에서 나왔습니다.

작가의 실제 테스트에 따르면 M1 칩이 탑재된 MacBook Pro에서 실행할 수 있으며 Windows 및 Linux 시스템도 지원합니다.

이 C++ 포팅 버전에서도 누군가 4GB 메모리를 갖춘 Raspberry Pi 4에서 LLaMA의 70억 매개변수 버전을 성공적으로 실행했습니다.

속도는 매우 느리지만 토큰을 생성하는 데 약 10초 정도 걸립니다(즉, 1분에 4.5 단어가 팝업됩니다).

더 놀라운 것은 불과 2일 후에 누군가 LLaMA 모델을 정량화하고 압축하여(가중치를 낮은 정밀도의 데이터 형식으로 변환) Pixel 6 Android 휴대전화에서 성공적으로 실행했다는 것입니다(26개에 토큰 1개). 초).

Pixel 6은 Google이 자체 개발한 프로세서인 Google Tensor를 사용하며 실행 점수는 Snapdragon 865+부터 888까지입니다. 이는 이론적으로 최신 휴대폰에서도 해당 작업을 수행할 수 있음을 의미합니다.

미세 조정 데이터 세트도 오픈 소스입니다

스탠포드 팀의 LLaMA 미세 조정 방법은 작년 말 워싱턴 대학교 Yizhong Wang 등이 제안한 Self-Instruct에서 따왔습니다. .

175개의 질문을 시드 작업으로 사용하고, AI가 새로운 질문을 결합하여 일치하는 답변 예제를 생성하도록 하고, 품질이 낮은 질문을 수동으로 필터링한 다음 작업 풀에 새 작업을 추가합니다.

이 모든 작업에 대해 나중에 InstructGPT 방법을 사용하여 AI가 인간의 지시를 따르는 방법을 배울 수 있습니다.

둥지 인형을 몇 바퀴 돌린 후에는 AI가 스스로 안내하도록 하는 것과 같습니다.

Alpaca의 Stanford 버전은 OpenAI API를 사용하여 500달러 미만의 비용으로 52,000개의 예제를 생성하도록 만들어졌습니다.

이 데이터 역시 오픈 소스로 원본 논문의 데이터보다 더 다양합니다.

동시에 이러한 데이터를 생성하는 코드도 제공됩니다. 이는 누군가가 여전히 충분하지 않다고 느끼면 데이터 자체를 확장하고 미세 조정하여 지속적으로 성능을 향상시킬 수 있음을 의미합니다. 모델.

HuggingFace가 LLaMA를 공식 지원한 후에 미세 조정 코드도 공개될 예정입니다.

그러나 알파카의 최종 모델 웨이트를 출시하려면 메타 라이센스가 필요하며, LLaMA의 비상업적 오픈 소스 계약을 상속받아 상업적인 사용을 금지합니다.

그리고 미세 조정 데이터는 OpenAI의 API를 사용하기 때문에 이용 약관에 따라 OpenAI와 경쟁하는 모델 개발에 이를 사용하는 것도 금지되어 있습니다.

한가지 더

아직도 AI 페인팅의 발전 역사를 기억하시나요?

2022년 상반기에도 여전히 화제가 되었던 것은 지난 8월 Stable Diffusion의 오픈소스로 비용을 사용 가능한 수준으로 낮추었고, 폭발적인 툴 혁신으로 AI 페인팅이 본격적으로 다양한 워크플로우에 진입할 수 있게 된 것입니다.

어학모델 가격이 이제 개인 전자기기가 가능한 수준으로 떨어졌습니다.

드디어 Django 프레임워크의 창시자인 Simon Willison은 이렇게 외쳤습니다.

대규모 언어 모델의 안정적인 확산의 시대가 도래했습니다.

위 내용은 Stanford의 'Grass Mud Horse'는 인기가 높습니다. $100는 GPT-3.5와 일치할 수 있습니다! 휴대폰에서 실행할 수 있는 종류의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!