3년 동안 16개의 기사, 전 구글 연구 과학자 Yi Tay가 Gemini Pro에 필적하는 새로운 모델인 21B, GPT-3.5를 공식 발표했습니다.

팀의 새로운 모델은 여러 벤치마크에서 Gemini Pro 및 GPT-3.5와 비슷합니다.

대형 AI 모델에 대한 논문을 자주 읽는다면 이태이는 친숙한 이름일 것입니다. Google Brain의 전 수석 연구 과학자인 Yi Tay는 PaLM, UL2, Flan-U-PaLM, LaMDA/Bard, ViT-22B, PaLI를 포함하여 잘 알려진 많은 대규모 언어 모델 및 다중 모드 모델에 기여했습니다. , 엄마 등.

Yi Tay의 프로필 통계에 따르면, 그는 Google Brain에서 3년 넘게 근무하면서 총 45편 정도의 논문 집필에 참여했으며 그 중 16편의 공동 저자입니다. 저자 논문에는 UL2, U-PaLM, DSI, Synthesizer, Charformer 및 Long Range Arena 등이 포함됩니다.

자신의 사업을 시작하기 위해 Google을 떠난 대부분의 Transformer 작가들과 마찬가지로 Yi Tay는 작년 3월 Google 퇴사를 발표하고 Reka라는 회사를 공동 창립했으며 회사의 수석 과학자로 활동하고 있습니다. -규모 언어 모델.

시간이 지남에 따라 Yi Tay는 새로운 모델을 출시했다고 방금 발표했습니다.

"SOTA 성능을 갖춘 새로운 21B 멀티 모드인 Reka Flash를 여러분과 공유하게 되어 기쁩니다. 역동적인 모델 이는 언어 및 시각적 벤치마크에서 Gemini Pro 및 GPT 3.5와 비슷합니다. 상대적으로 제한된 리소스로 이 모델을 처음부터 훈련했습니다... 한편, 가장 크고 강력한 모델인 Reka-Core도 곧 완성될 예정입니다. "

Reka Flash: 효율적인 다중 모달 언어 모델

Reka Flash의 매개변수 크기는 21B이며 완전히 처음부터 시작됩니다. 훈련 성능은 더 큰 것과 비슷합니다. 모델이며 Reka Flash는 수많은 언어 및 비전 벤치마크에서 Gemini Pro 및 GPT-3.5와 경쟁적입니다.

또한 Reka 팀은 매개변수가 7B에 불과하고 더 효율적이어서 리소스 제약 조건(예: 장치에서 로컬에서도 실행) 시나리오.

이 두 모델은 공개 테스트 단계에 있으며 관심 있는 독자들은 가서 시험해 볼 수 있다는 점을 언급할 가치가 있습니다.

평가판 주소: https://chat.reka.ai/auth/login

동시에 Reka 팀은 가장 크고 강력한 Reka Core 모델을 대중에게 공개할 것이라고 발표했습니다. 앞으로 몇 주 안에 출시될 예정입니다.

오픈소스 문제에 대해서는 아직 검토 중이라고 팀에서 밝혔습니다.

평가: 언어 ​​

평가 벤치마크에는 MMLU(지식 기반 질문 답변), GSM8K(추론 및 수학), HumanEval(코드 생성) 및 GPQA(Google 인증 대학원 수준)가 포함됩니다. 질문 답변) .

결과에 따르면 Reka Flash는 MMLU 및 GPQA에서 Gemini Pro를 능가하고 GSM8K 및 HumanEval에서 경쟁력 있는 결과를 달성하는 등 벤치마크에서 매우 좋은 결과를 얻었습니다. 또한 이러한 평가에서 Reka Flash는 많은 대형 모델(예: Llama 2 70B, Grok-1, GPT-3.5)보다 훨씬 뛰어난 성능을 발휘합니다.

평가: 다국어 추론

Reka 32개 이상의 언어로 제공되는 플래시 텍스트(영어, 독일어, 중국어, 일본어, 프랑스어, 한국어, 스페인어, 이탈리아어, 아랍어 등 포함) Reka Flash에서는 Reka Flash가 강력한 다중 언어 모델로 간주될 수 있습니다. 연구원들은 다국어 상식 추론, 인과 추론, 질문 답변을 포함한 다국어 벤치마크에서 다양한 모델의 성능을 비교했습니다. 결과에 따르면 Reka Flash는 이러한 모든 작업에서 Llama-2 70B 및 Mixtral보다 성능이 뛰어납니다.

평가: 비전 및 비디오

또한 이 연구에서는 시각적 질문 답변(MMMU, VQA-v2), 비디오 자막(VATEX) 및 영상 질문과 답변(인식 테스트). 결과는 Reka Flash가 네 가지 벤치마크 모두에서 Gemini Pro와 경쟁력이 있음을 보여줍니다.

이 연구에서는 Reka Flash 기반 채팅 모델을 평가하기 위해 일련의 인간 평가도 수행했습니다. 연구원들은 1) 텍스트 전용 채팅 모델과 2) 다중 모드 채팅 모델이라는 두 가지 설정을 고려했습니다. 평가 과정에서 Askell et al.의 방법에 따라 ELO 점수와 전체 승률을 계산했습니다.

일반 텍스트 채팅: 연구원들은 GPT-4, Claude 2.1 및 Gemini Pro(API 버전)와 같은 주요 모델을 벤치마킹했습니다. 또한 연구원들은 Reka Edge, Mistral 7B 및 Llama 2 7B 채팅 모델의 성능도 비교했습니다.

인간 평가 결과 Reka Flash는 GPT-3.5 Turbo, Claude, Mixtral 및 Gemini Pro를 능가하는 경쟁력 있는 결과를 달성한 것으로 나타났습니다. Reka Edge는 다른 두 7B 모델보다 앞서 Claude Instant 1.2의 성능에 접근합니다. 🎙 비교해보세요. 결과는 Reka Flash가 GPT4-V를 제외한 모든 모델보다 성능이 우수하다는 것을 보여줍니다. Reka Edge도 Mistral 7B 기반 Llava 1.6 7B를 제치고 Gemini Pro의 성능에 근접하는 등 좋은 순위를 달성했습니다.

7B 매개변수가 포함된 Reka Edge 모델

Reka Edge는 온프레미스 배포 및 대기 시간에 민감한 애플리케이션을 위해 설계된 보다 컴팩트한 7B 모델입니다. 언어 평가 작업에서 이 연구는 비슷한 크기의 모델(예: Mistral 7B 및 Llama-2 7B)과의 비교를 보고합니다. 결과에 따르면 Reka Edge는 표준 언어 벤치마크에서 Llama 2 7B 및 Mistral 7B보다 성능이 뛰어납니다.

요약

Reka 팀은 가장 진보된 다중 모달 언어 모델을 구축하는 것을 목표로 하고 있으며 Reka Flash 및 Reka Edge의 출시로 AI 로드맵의 초기 이정표는 다음과 같습니다. 달성. 누구나 다음 연구를 기대할 수 있습니다.

참조 링크: https://reka.ai/reka-flash-an-efficient-and-capable-multimodal-언어-model/

위 내용은 3년 동안 16개의 기사, 전 구글 연구 과학자 Yi Tay가 Gemini Pro에 필적하는 새로운 모델인 21B, GPT-3.5를 공식 발표했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!