ホームページ テクノロジー周辺機器 AI 3年間で16本の記事、元Google研究員Yi Tay氏がGemini Pro、GPT-3.5に匹敵する新モデル21Bを正式発表

3年間で16本の記事、元Google研究員Yi Tay氏がGemini Pro、GPT-3.5に匹敵する新モデル21Bを正式発表

Feb 15, 2024 pm 06:45 PM
業界 reka yi tay

チームの新しいモデルは、複数のベンチマークにおいて Gemini Pro および GPT-3.5 に匹敵します。

AI の大規模モデルの方向性に関する論文をよく読む人なら、Yi Tay はよく知られた名前に違いありません。 Google Brain の元上級研究員として、Yi Tay は、PaLM、UL2、Flan-U-PaLM、LaMDA/Bard、ViT-22B、PaLI など、多くの有名な大規模言語モデルやマルチモーダル モデルに貢献してきました。 、ママなど。

Yi Tay の個人情報によると、Google Brain での 3 年以上の勤務中に、合計約 45 の論文の執筆に参加し、共著者でもありました。そのうち 16 件中。執筆論文には、UL2、U-PaLM、DSI、Synthesizer、Charformer、Long Range Arenaなどが含まれます。
三年16篇一作,前谷歌研究科学家Yi Tay官宣新模型,21B媲美Gemini Pro、GPT-3.5
Google を辞めて自分のビジネスを始めたほとんどの Transformer 著者と同じように、Yi Tay は昨年 3 月に Google からの退職を発表し、Reka という会社を共同設立しました。彼は同社のチーフサイエンティストを務めており、大規模な言語モデルに重点を置いています。

時間が経ち、たった今、Yi Tay が新しいモデルをリリースしたことを発表しました:
三年16篇一作,前谷歌研究科学家Yi Tay官宣新模型,21B媲美Gemini Pro、GPT-3.5
"とても幸せです Reka Flash を共有します。言語およびビジュアル ベンチマークにおいて Gemini Pro および GPT 3.5 に匹敵する SOTA パフォーマンスを備えた新しい 21B マルチモーダル モデルです。比較的限られたリソースでゼロから開始しました。このモデルをトレーニングしています...同時に同時に、当社の最大かつ最も強力なモデル Reka-Core も完成間近です。次の作品にご期待ください。」

Reka Flash: An効率的なマルチモーダル言語モデル

Reka Flash のパラメータ サイズは 21B で、完全にスクラッチからトレーニングされており、そのパフォーマンスはより大きなモデルと比較できます。 Reka Flash は、数多くの言語および視覚ベンチマークにおいて Gemini Pro および GPT-3.5 と競合します。

さらに、Reka チームは、よりコンパクトなモデル バリアントである Reka Edge も提案しました。これはパラメータが少なく、わずか 7B で、より効率的であり、リソースが限られたシナリオ (デバイス上、ローカルなど) で実行することもできます。

これら 2 つのモデルは公開テスト段階にあり、興味のある読者は行って試してみることができることは言及する価値があります。

トライアルアドレス: https://chat.reka.ai/auth/login

同時に, Reka チームは、最大かつ最も強力な Reka Core モデルが今後数週間以内に一般公開されると発表しました。

オープンソースの問題に関しては、チームはまだ検討中であると述べました。
三年16篇一作,前谷歌研究科学家Yi Tay官宣新模型,21B媲美Gemini Pro、GPT-3.5
#評価: 言語

##評価ベンチマークには MMLU (知識ベースの質問応答) が含まれます、GSM8K (推論と数学)、HumanEval (コード生成)、GPQA (Google が証明する大学院レベルの質問応答)。

結果は、Reka Flash がこれらのベンチマーク テストで非常に良い結果を達成したことを示しています。MMLU と GPQA では Gemini Pro よりも優れており、GSM8K と HumanEval Competitiveness の結果では優れた結果を達成しています。さらに、これらの評価では、Reka Flash は多くの大型モデル (Llama 2 70B、Grok-1、GPT-3.5 など) を大幅に上回っています。
三年16篇一作,前谷歌研究科学家Yi Tay官宣新模型,21B媲美Gemini Pro、GPT-3.5
評価: 多言語推論

Reka Flash は 32 以上の言語で利用可能ですReka Flash を含む、強力な多言語モデルとみなすことができます。研究者らは、多言語の常識推論、因果推論、質問応答などの多言語ベンチマークでさまざまなモデルのパフォーマンスを比較しました。結果は、Reka Flash がこれらすべてのタスクにおいて Llama-2 70B および Mixtral よりも優れていることを示しています。
三年16篇一作,前谷歌研究科学家Yi Tay官宣新模型,21B媲美Gemini Pro、GPT-3.5
評価: ビジュアルとビデオ

さらに、この研究は複数の分野でも行われます。モーダル Reka Flash は、ビジュアル質問応答 (MMMU、VQA-v2)、ビデオ字幕 (VATEX)、ビデオ質問応答 (Perception Test) などのベンチマークで評価されました。結果は、Reka Flash が 4 つのベンチマークすべてにおいて Gemini Pro と競合できることを示しています。
三年16篇一作,前谷歌研究科学家Yi Tay官宣新模型,21B媲美Gemini Pro、GPT-3.5
調査では、Reka Flash ベースのチャット モデルを評価するために、一連の人による評価も実施しました。研究者らは、1) テキストのみのチャット モデルと 2) マルチモーダル チャット モデルの 2 つの設定を検討しました。評価中に、Askell らの方法に従って ELO スコアと全体の勝率を計算しました。

プレーン テキスト チャット: 研究者は、GPT-4、Claude 2.1、Gemini Pro (API バージョン) などの主要モデルをベンチマークしました。さらに研究者らは、Reka Edge、Mistral 7B、および Llama 2 7B チャット モデルのパフォーマンスも比較しました。

人間による評価の結果、Reka Flash は GPT-3.5 Turbo、Claude、Mixtral、Gemini Pro を上回る競争力のある結果を達成していることが示されています。 Reka Edge は他の 2 つの 7B モデルよりも優れており、Claude Instant 1.2 のパフォーマンスに近づいています。
三年16篇一作,前谷歌研究科学家Yi Tay官宣新模型,21B媲美Gemini Pro、GPT-3.5
評価: マルチモダリティ

この研究では、Reka Flash と GPT4-V も組み合わせています。 Gemini Pro、Llava-1.6、IDEFICS 80b、および Adept Fuyu-8B マルチモーダル言語モデルを比較します。結果は、Reka Flash が GPT4-V を除くすべてのモデルよりも優れていることを示しています。 Reka Edge も良好なランキングを獲得し、Mistral 7B ベースの Llava 1.6 7B を上回り、Gemini Pro のパフォーマンスに迫りました。
三年16篇一作,前谷歌研究科学家Yi Tay官宣新模型,21B媲美Gemini Pro、GPT-3.5
7B パラメータ Reka Edge モデル

Reka Edge は、よりコンパクトに設計された 7B モデルです。オンプレミス展開や遅延の影響を受けやすいアプリケーション向け。この研究では、言語評価タスクに関して、同様のサイズのモデル(つまり、Mistral 7B および Llama-2 7B)との比較を報告しています。結果は、Reka Edge が標準言語ベンチマークで Llama 2 7B および Mistral 7B よりも優れていることを示しています。
三年16篇一作,前谷歌研究科学家Yi Tay官宣新模型,21B媲美Gemini Pro、GPT-3.5
概要

Reka チームは、最先端のマルチモーダル言語モデル、Reka Flash と Reka Edge のリリースにより、AI ロードマップの最初のマイルストーンが達成されました。誰もが次の研究を楽しみにしています。

参考リンク:https://reka.ai/reka-flash-an-efficient-and-capable-multimodal- language-model/

以上が3年間で16本の記事、元Google研究員Yi Tay氏がGemini Pro、GPT-3.5に匹敵する新モデル21Bを正式発表の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

DeepMind ロボットが卓球をすると、フォアハンドとバックハンドが空中に滑り出し、人間の初心者を完全に打ち負かしました DeepMind ロボットが卓球をすると、フォアハンドとバックハンドが空中に滑り出し、人間の初心者を完全に打ち負かしました Aug 09, 2024 pm 04:01 PM

でももしかしたら公園の老人には勝てないかもしれない?パリオリンピックの真っ最中で、卓球が注目を集めています。同時に、ロボットは卓球のプレーにも新たな進歩をもたらしました。先ほど、DeepMind は、卓球競技において人間のアマチュア選手のレベルに到達できる初の学習ロボット エージェントを提案しました。論文のアドレス: https://arxiv.org/pdf/2408.03906 DeepMind ロボットは卓球でどれくらい優れていますか?おそらく人間のアマチュアプレーヤーと同等です: フォアハンドとバックハンドの両方: 相手はさまざまなプレースタイルを使用しますが、ロボットもそれに耐えることができます: さまざまなスピンでサーブを受ける: ただし、ゲームの激しさはそれほど激しくないようです公園の老人。ロボット、卓球用

クロードも怠け者になってしまった!ネチズン: 自分に休日を与える方法を学びましょう クロードも怠け者になってしまった!ネチズン: 自分に休日を与える方法を学びましょう Sep 02, 2024 pm 01:56 PM

もうすぐ学校が始まり、新学期を迎える生徒だけでなく、大型AIモデルも気を付けなければなりません。少し前、レディットはクロードが怠け者になったと不満を漏らすネチズンでいっぱいだった。 「レベルが大幅に低下し、頻繁に停止し、出力も非常に短くなりました。リリースの最初の週は、4 ページの文書全体を一度に翻訳できましたが、今では 0.5 ページの出力さえできません」 !」 https://www.reddit.com/r/ClaudeAI/comments/1by8rw8/something_just_feels_wrong_with_claude_in_the/ というタイトルの投稿で、「クロードには完全に失望しました」という内容でいっぱいだった。

初のメカニカルクロー!元羅宝は2024年の世界ロボット会議に登場し、家庭に入ることができる初のチェスロボットを発表した 初のメカニカルクロー!元羅宝は2024年の世界ロボット会議に登場し、家庭に入ることができる初のチェスロボットを発表した Aug 21, 2024 pm 07:33 PM

8月21日、2024年世界ロボット会議が北京で盛大に開催された。 SenseTimeのホームロボットブランド「Yuanluobot SenseRobot」は、全製品ファミリーを発表し、最近、世界初の家庭用チェスロボットとなるYuanluobot AIチェスプレイロボット - Chess Professional Edition(以下、「Yuanluobot SenseRobot」という)をリリースした。家。 Yuanluobo の 3 番目のチェス対局ロボット製品である新しい Guxiang ロボットは、AI およびエンジニアリング機械において多くの特別な技術アップグレードと革新を経て、初めて 3 次元のチェスの駒を拾う機能を実現しました。家庭用ロボットの機械的な爪を通して、チェスの対局、全員でのチェスの対局、記譜のレビューなどの人間と機械の機能を実行します。

世界ロボット会議で「未来の高齢者介護の希望」を担う家庭用ロボットを囲みました 世界ロボット会議で「未来の高齢者介護の希望」を担う家庭用ロボットを囲みました Aug 22, 2024 pm 10:35 PM

北京で開催中の世界ロボット会議では、人型ロボットの展示が絶対的な注目となっているスターダストインテリジェントのブースでは、AIロボットアシスタントS1がダルシマー、武道、書道の3大パフォーマンスを披露した。文武両道を備えた 1 つの展示エリアには、多くの専門的な聴衆とメディアが集まりました。弾性ストリングのエレガントな演奏により、S1 は、スピード、強さ、正確さを備えた繊細な操作と絶対的なコントロールを発揮します。 CCTVニュースは、「書道」の背後にある模倣学習とインテリジェント制御に関する特別レポートを実施し、同社の創設者ライ・ジエ氏は、滑らかな動きの背後にあるハードウェア側が最高の力制御と最も人間らしい身体指標(速度、負荷)を追求していると説明した。など)、AI側では人の実際の動きのデータが収集され、強い状況に遭遇したときにロボットがより強くなり、急速に進化することを学習することができます。そしてアジャイル

Li Feifei 氏のチームは、ロボットに空間知能を与え、GPT-4o を統合する ReKep を提案しました Li Feifei 氏のチームは、ロボットに空間知能を与え、GPT-4o を統合する ReKep を提案しました Sep 03, 2024 pm 05:18 PM

ビジョンとロボット学習の緊密な統合。最近話題の1X人型ロボットNEOと合わせて、2つのロボットハンドがスムーズに連携して服をたたむ、お茶を入れる、靴を詰めるといった動作をしていると、いよいよロボットの時代が到来するのではないかと感じられるかもしれません。実際、これらの滑らかな動きは、高度なロボット技術 + 精緻なフレーム設計 + マルチモーダル大型モデルの成果です。有用なロボットは多くの場合、環境との複雑かつ絶妙な相互作用を必要とし、環境は空間領域および時間領域の制約として表現できることがわかっています。たとえば、ロボットにお茶を注いでもらいたい場合、ロボットはまずティーポットのハンドルを掴んで、お茶をこぼさないように垂直に保ち、次にポットの口がカップの口と揃うまでスムーズに動かす必要があります。 、そしてティーポットを一定の角度に傾けます。これ

ACL 2024 賞の発表: HuaTech による Oracle 解読に関する最優秀論文の 1 つ、GloVe Time Test Award ACL 2024 賞の発表: HuaTech による Oracle 解読に関する最優秀論文の 1 つ、GloVe Time Test Award Aug 15, 2024 pm 04:37 PM

貢献者はこの ACL カンファレンスから多くのことを学びました。 6日間のACL2024がタイのバンコクで開催されています。 ACL は、計算言語学と自然言語処理の分野におけるトップの国際会議で、国際計算言語学協会が主催し、毎年開催されます。 ACL は NLP 分野における学術的影響力において常に第一位にランクされており、CCF-A 推奨会議でもあります。今年の ACL カンファレンスは 62 回目であり、NLP 分野における 400 以上の最先端の作品が寄せられました。昨日の午後、カンファレンスは最優秀論文およびその他の賞を発表しました。今回の優秀論文賞は7件(未発表2件)、最優秀テーマ論文賞1件、優秀論文賞35件です。このカンファレンスでは、3 つの Resource Paper Award (ResourceAward) と Social Impact Award (

宏蒙スマートトラベルS9とフルシナリオ新製品発売カンファレンス、多数の大ヒット新製品が一緒にリリースされました 宏蒙スマートトラベルS9とフルシナリオ新製品発売カンファレンス、多数の大ヒット新製品が一緒にリリースされました Aug 08, 2024 am 07:02 AM

今日の午後、Hongmeng Zhixingは新しいブランドと新車を正式に歓迎しました。 8月6日、ファーウェイはHongmeng Smart Xingxing S9およびファーウェイのフルシナリオ新製品発表カンファレンスを開催し、パノラマスマートフラッグシップセダンXiangjie S9、新しいM7ProおよびHuawei novaFlip、MatePad Pro 12.2インチ、新しいMatePad Air、Huawei Bisheng Withを発表しました。レーザー プリンタ X1 シリーズ、FreeBuds6i、WATCHFIT3、スマート スクリーン S5Pro など、スマート トラベル、スマート オフィスからスマート ウェアに至るまで、多くの新しいオールシナリオ スマート製品を開発し、ファーウェイは消費者にスマートな体験を提供するフル シナリオのスマート エコシステムを構築し続けています。すべてのインターネット。宏孟志興氏:スマートカー業界のアップグレードを促進するための徹底的な権限付与 ファーウェイは中国の自動車業界パートナーと提携して、

中国初の大型UIモデル登場! Motiff の大規模モデルはデザイナーにとって最適なアシスタントを作成し、UI デザインのワークフローを最適化します 中国初の大型UIモデル登場! Motiff の大規模モデルはデザイナーにとって最適なアシスタントを作成し、UI デザインのワークフローを最適化します Aug 19, 2024 pm 04:48 PM

人工知能は想像を超えるスピードで発展しています。 GPT-4 がマルチモーダル技術を一般に公開して以来、マルチモーダル大型モデルは急速な開発段階に入り、純粋なモデルの研究開発から垂直分野での探査と応用へと徐々に移行し、あらゆる分野に深く統合されています。インターフェイス インタラクションの分野では、Google や Apple などの国際的なテクノロジー大手が、携帯電話 AI 革命を前進させる唯一の方法とみなされている大規模なマルチモーダル UI モデルの研究開発に投資してきました。このような状況の中で、中国初の大規模UIモデルが誕生しました。 8月17日、国際エクスペリエンスデザインカンファレンス「IXDC2024」において、AI時代のデザインツールであるMotiffは、独自開発したUIマルチモーダルモデル「Motiff Model」を発表した。世界初のUIデザインツールです

See all articles