16 Artikel in drei Jahren: Der ehemalige Google-Forscher Yi Tay kündigte offiziell ein neues Modell an, 21B vergleichbar mit Gemini Pro, GPT-3.5

Das neue Modell des Teams ist in mehreren Benchmarks mit Gemini Pro und GPT-3.5 vergleichbar.

Wenn Sie häufig Artikel über große KI-Modelle lesen, muss Yi Tay ein bekannter Name sein. Als ehemaliger leitender Forschungswissenschaftler bei Google Brain hat Yi Tay zu vielen bekannten groß angelegten Sprachmodellen und multimodalen Modellen beigetragen, darunter PaLM, UL2, Flan-U-PaLM, LaMDA/Bard, ViT-22B und PaLI , Mama usw. .

Laut Profilstatistik von Yi Tay hat er in mehr als drei Jahren seiner Tätigkeit bei Google Brain insgesamt an etwa 45 Artikeln mitgewirkt und ist Co-Autor von 16 davon. Zu den verfassten Artikeln gehören UL2, U-PaLM, DSI, Synthesizer, Charformer und Long Range Arena usw.

Wie die meisten Transformer-Autoren, die Google verlassen haben, um ein eigenes Unternehmen zu gründen, gab Yi Tay im März letzten Jahres seinen Abschied von Google bekannt und gründete ein Unternehmen namens Reka. Yi Tay fungiert als leitender Wissenschaftler des Unternehmens und konzentriert sich auf große Unternehmen -skaliertes Sprachenmodell.

Im Laufe der Zeit hat Yi Tay gerade bekannt gegeben, dass sie ein neues Modell herausgebracht haben:

„Ich freue mich, Ihnen Reka Flash vorstellen zu können, ein neues 21B-Multimode-Modell mit SOTA-Leistung. Ein dynamisches Modell.“ Das ist in Bezug auf Sprache und visuelle Benchmarks mit Gemini Pro und GPT 3.5 vergleichbar. Wir haben dieses Modell von Grund auf mit relativ begrenzten Ressourcen trainiert ... In der Zwischenzeit steht auch unser größtes und leistungsstärkstes Modell, Reka-Core, kurz vor der Fertigstellung vorwärts zu unserer nächsten Arbeit Modelle, und Reka Flash ist bei zahlreichen Sprach- und Seh-Benchmarks mit Gemini Pro und GPT-3.5 konkurrenzfähig.

Darüber hinaus schlug das Reka-Team auch eine kompaktere Modellvariante vor, Reka Edge, die weniger Parameter hat, nur 7B, und effizienter ist, sodass sie unter Ressourcenbeschränkungen (z. B. auf Geräten) betrieben werden kann (auch in lokalen Szenarios lauffähig).

Erwähnenswert ist, dass sich diese beiden Modelle in der öffentlichen Testphase befinden und interessierte Leser sie ausprobieren können.

Testadresse: https://chat.reka.ai/auth/login

Gleichzeitig gab das Reka-Team bekannt, dass ihr grösstes und leistungsstärkstes Reka-Core-Modell der Öffentlichkeit zugänglich sein wird in den kommenden Wochen ausrollen.

Was das Open-Source-Problem betrifft, sagte das Team, es werde noch geprüft. Bewertung: Sprachen Fragenbeantwortung).

Die Ergebnisse zeigen, dass Reka Flash in diesen Benchmarks sehr gute Ergebnisse erzielt: Gemini Pro bei MMLU und GPQA übertreffen und wettbewerbsfähige Ergebnisse bei GSM8K und HumanEval erzielen. Darüber hinaus übertrifft Reka Flash in diesen Bewertungen viele größere Modelle (z. B. Llama 2 70B, Grok-1, GPT-3.5) deutlich.

Bewertung: Mehrsprachiges Denken

Reka Flash-Text in über 32 Sprachen (einschließlich Englisch, Deutsch, Chinesisch, Japanisch, Französisch, Koreanisch, Spanisch, Italienisch, Arabisch und mehr) Vortrainiert auf Reka Flash, so dass Reka Flash als leistungsstarkes mehrsprachiges Modell angesehen werden kann. Die Forscher verglichen die Leistung verschiedener Modelle anhand mehrsprachiger Benchmarks, einschließlich mehrsprachigem Common-Sense-Argumentation, Kausalschlussfolgerung und Fragebeantwortung. Die Ergebnisse zeigen, dass Reka Flash bei all diesen Aufgaben Llama-2 70B und Mixtral übertrifft.

Bewertung: Vision und Video

Darüber hinaus bewertet die Studie Reka Flash auch anhand multimodaler Benchmarks, einschließlich visueller Fragebeantwortung (MMMU, VQA-v2), Video-Untertitel (VATEX) und Video-Frage und Antwort (Wahrnehmungstest). Die Ergebnisse zeigen, dass der Reka Flash in allen vier Benchmarks mit dem Gemini Pro konkurrenzfähig ist.

Die Studie führte auch eine Reihe menschlicher Bewertungen durch, um das auf Reka Flash basierende Chat-Modell zu evaluieren. Die Forscher betrachteten zwei Einstellungen: 1) Nur-Text-Chat-Modell und 2) multimodales Chat-Modell. Während der Bewertung berechneten sie den ELO-Score und die Gesamtgewinnrate nach der Methode von Askell et al.

Klartext-Chat: Forscher verglichen führende Modelle wie GPT-4, Claude 2.1 und Gemini Pro (API-Version). Darüber hinaus verglichen die Forscher auch die Leistung der Chat-Modelle Reka Edge, Mistral 7B und Llama 2 7B.

Die Ergebnisse der menschlichen Evaluierung zeigen, dass Reka Flash wettbewerbsfähige Ergebnisse erzielt und GPT-3.5 Turbo, Claude, Mixtral und Gemini Pro übertrifft. Der Reka Edge liegt vor den beiden anderen 7B-Modellen und nähert sich der Leistung des Claude Instant 1.2. 🎙 Vergleichen. Die Ergebnisse zeigen, dass Reka Flash alle Modelle außer GPT4-V übertrifft. Auch der Reka Edge erzielte gute Platzierungen, übertraf den auf Mistral 7B basierenden Llava 1.6 7B und näherte sich der Leistung des Gemini Pro an.

Reka Edge-Modell mit 7B-Parametern

Reka Edge ist ein kompakteres 7B-Modell, das für die Bereitstellung vor Ort und latenzempfindliche Anwendungen entwickelt wurde. Bei einer Sprachbewertungsaufgabe berichtet die Studie über Vergleiche mit Modellen ähnlicher Größe (d. h. Mistral 7B und Llama-2 7B). Die Ergebnisse zeigen, dass Reka Edge bei Standardsprachen-Benchmarks Llama 2 7B und Mistral 7B übertrifft.

Zusammenfassung

Das Reka-Team gibt an, das fortschrittlichste multimodale Sprachmodell zu entwickeln, und mit der Veröffentlichung von Reka Flash und Reka Edge wurden die ersten Meilensteine ​​in ihrer KI-Roadmap erreicht erreicht. Jeder kann sich auf seine nächste Forschung freuen.

Referenzlink: https://reka.ai/reka-flash-an-efficient-and-capable-multimodal-lingual-model/

Das obige ist der detaillierte Inhalt von16 Artikel in drei Jahren: Der ehemalige Google-Forscher Yi Tay kündigte offiziell ein neues Modell an, 21B vergleichbar mit Gemini Pro, GPT-3.5. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!