目次
はじめに
ホームページ テクノロジー周辺機器 AI BERT から ChatGPT まで、事前トレーニングされた大規模モデルの進化の歴史を 100 ページのレビューで要約

BERT から ChatGPT まで、事前トレーニングされた大規模モデルの進化の歴史を 100 ページのレビューで要約

Apr 12, 2023 pm 04:19 PM
モデル 電車

すべての成功には痕跡があり、ChatGPT も例外ではありません。

つい最近、チューリング賞受賞者のYann LeCun氏が、ChatGPTに対する厳しい評価を理由にホット検索リストに入れられました。

彼の見解では、「基盤となるテクノロジーに関する限り、ChatGPT には特別な革新性はありません」、また「何か革命的なもの」でもありません。多くの研究機関が同じテクノロジーを使用し、同じ作業を行っています。さらに、ChatGPT とその背後にある GPT-3 は、多くの点で、複数の関係者によって長年にわたって開発された複数のテクノロジで構成されており、さまざまな人々による数十年にわたる貢献の結果です。したがって、LeCun 氏は、ChatGPT は科学的な画期的な進歩というよりも、適切な工学的な例であると考えています。

BERT から ChatGPT まで、事前トレーニングされた大規模モデルの進化の歴史を 100 ページのレビューで要約

「ChatGPT が革新的かどうか」は物議を醸すトピックです。しかし、これまでに蓄積された多くのテクノロジーに基づいて構築されていることは疑いの余地がありません。たとえば、コアとなる Transformer は数年前に Google によって提案され、Transformer は Bengio のアテンションの概念に関する研究からインスピレーションを受けました。さらに遡れば、さらに数十年前の研究とリンクすることもできます。

もちろん、一般の人々にはこの段階的な感覚を理解できないかもしれません。結局のところ、誰もが論文を 1 つずつ読むわけではありません。しかし、技術者にとって、これらのテクノロジーの進化を理解することは依然として非常に役立ちます。

最近の総説記事では、ミシガン州立大学、北京航空大学、リーハイ大学、その他の機関の研究者がこの分野を注意深く調査しました。主に、数百の論文があります。テキスト、画像、グラフ学習の分野における基本モデルの事前トレーニングに焦点を当てており、読む価値があります。デューク大学教授、カナダ工学アカデミー会員ペイ・ジャン,大学コンピューターサイエンス学部特別教授イリノイ州シカゴにてYu ShilunPhilip S. Yu )、Salesforce AI Research 副社長Xiong CaimingDu は、論文の著者。

BERT から ChatGPT まで、事前トレーニングされた大規模モデルの進化の歴史を 100 ページのレビューで要約

# 論文リンク: https://arxiv.org/pdf/2302.09419.pdf

論文の目次は次のとおりです:

BERT から ChatGPT まで、事前トレーニングされた大規模モデルの進化の歴史を 100 ページのレビューで要約

BERT から ChatGPT まで、事前トレーニングされた大規模モデルの進化の歴史を 100 ページのレビューで要約

海外のソーシャル プラットフォームで、DAIR.AI の共同創設者 Elvis S. がこのレビューを推薦し、1 件を獲得しました「いいね!」が千件以上。

BERT から ChatGPT まで、事前トレーニングされた大規模モデルの進化の歴史を 100 ページのレビューで要約

はじめに

事前トレーニング済み基本モデル (PFM) は、ビッグデータ時代の人工知能の重要な部分です。 「ベーシック モデル」という名前は、Percy Liang 氏、Li Feifei 氏らが発表したレビュー「基礎モデルの機会とリスクについて」に由来しており、モデルの種類とその機能の総称です。 PFM は、NLP、CV、グラフ学習の分野で広く研究されています。これらは、テキスト分類、テキスト生成、画像分類、オブジェクト検出、グラフ分類などのさまざまな学習タスクにおける特徴表現学習に大きな可能性を示します。大規模なデータセットを使用した複数のタスクのトレーニングでも、小規模なタスクの微調整でも、PFM は優れたパフォーマンスを発揮するため、データ処理を迅速に開始できます。

PFM と事前トレーニング

PFM は事前トレーニング テクノロジーに基づいており、大規模なトレーニングを利用することを目的としています。さまざまなダウンストリーム アプリケーションで簡単に微調整できる一般的なモデルをトレーニングするためのデータとタスクの量。

事前トレーニングのアイデアは、CV タスクにおける転移学習から生まれました。しかし、CV 分野でこのテクノロジーの有効性が確認された後、他の分野でモデルのパフォーマンスを向上させるためにこのテクノロジーを使用し始めました。

事前トレーニング テクノロジを NLP 分野に適用すると、十分にトレーニングされた言語モデルによって、長期的な依存関係や階層関係など、下流のタスクに有益な豊富な知識を取得できます。 、など。さらに、NLP の分野における事前トレーニングの大きな利点は、ラベルのないテキスト コーパスからトレーニング データを取得できることです。つまり、事前トレーニング プロセスに使用できるトレーニング データの量がほぼ無制限であることです。 。初期の事前トレーニングは NNLM や Word2vec などの静的手法でしたが、静的手法はさまざまなセマンティック環境に適応するのが困難です。したがって、BERT、XLNet などの動的事前トレーニング手法が提案されています。図 1 は、NLP、CV、および GL の分野における PFM の歴史と進化を示しています。事前トレーニング技術に基づく PFM は、大規模なコーパスを使用して一般的な意味表現を学習します。これらの先駆的な成果の導入に続いて、さまざまな PFM が登場し、下流のタスクやアプリケーションに適用されています。

最近人気の ChatGPT は、PFM アプリケーションの代表的なケースです。これは、大量のこの論文とコードを使用してトレーニングされた生成事前トレーニング済みトランスフォーマー モデル GPT-3.5 から微調整されています。さらに、ChatGPT は人間のフィードバックからの強化学習 (RLHF) を適用します。これは、大規模な LM を人間の意図に合わせて調整する有望な方法として浮上しています。 ChatGPT の優れたパフォーマンスは、命令調整技術、強化学習、プロンプト チューニング、思考連鎖の適用など、各タイプの PFM のトレーニング パラダイムに変化をもたらし、一般的な人工知能に移行する可能性があります。

この記事では、比較的成熟した研究分類手法であるテキスト、画像、グラフの分野の PFM に焦点を当てます。テキストの場合、シーケンス内の次の単語または文字を予測するために使用される汎用 LM です。たとえば、PFM は機械翻訳、質問応答システム、トピック モデリング、感情分析などに使用できます。画像の場合、テキストの PFM に似ており、膨大なデータセットを使用して、多くの CV タスクに適した大規模なモデルをトレーニングします。グラフの場合、同様の事前トレーニングのアイデアを使用して、多くの下流タスクで使用される PFM を取得します。この記事では、特定のデータ ドメイン用の PFM に加えて、音声、ビデオ、クロスドメイン データ用の PFM やマルチモーダル PFM など、他のいくつかの高度な PFM についてもレビューし、詳しく説明します。さらに、マルチモーダル タスクを処理できる PFM が大幅に統合され、いわゆる統合 PFM が出現しています。著者らはまず統合 PFM の概念を定義し、次に SOTA を実現した統合 PFM (OFA、UNIFIED-IO、FLAVA、BEiT-3 など) に関する最近の研究をレビューします。

上記 3 つの分野における既存の PFM の特徴を踏まえ、筆者は、PFM には次の 2 つの大きな利点があると結論付けています。まず、下流タスクのパフォーマンスを向上させるために、モデルを微調整するだけで済みます。次に、PFM は品質の面で精査されています。同様の問題を解決するためにモデルを最初から構築する代わりに、PFM をタスク関連のデータ セットに適用できます。 PFM の幅広い見通しにより、モデルの効率、セキュリティ、圧縮などの問題に焦点を当てた大量の関連作業が行われてきました。

論文の寄稿と構成

この記事の公開前に、いくつかのレビューがいくつかありました。テキスト生成、ビジュアルトランスフォーマー、ターゲット検出などの分野における特定の事前トレーニング済みモデル。

「基礎モデルの機会とリスクについて」では、基礎モデルの機会とリスクについてまとめています。しかし、既存の研究では、トレーニング前のタスク、効率、有効性、プライバシーなど、さまざまなドメイン (CV、NLP、GL、音声、ビデオなど) における PFM のさまざまな側面の包括的なレビューは達成されていません。このレビューでは、著者らは、NLP 分野における PFM の進化と、事前トレーニングがどのように CV および GL 分野に移され、採用されてきたかについて詳しく説明します。

他のレビューと比較すると、この記事は 3 つの分野すべてにおける既存の PFM の包括的な紹介と分析を提供するものではありません。以前の事前トレーニング済みモデルのレビューとは異なり、著者は、従来のモデルから PFM までの既存のモデルと 3 つの分野の最新の研究を要約しています。従来のモデルは静的な特徴学習を重視しています。ダイナミック PFM は、主流の研究である構造についての入門を提供します。

著者はさらに、他の高度で統合された PFM、モデルの効率と圧縮、セキュリティ、プライバシーなど、PFM に関する他の研究をいくつか紹介します。最後に、著者らは将来の研究課題とさまざまな分野の未解決の問題をまとめています。また、付録 F および G では、関連する評価指標とデータセットの包括的な紹介も提供します。

要約すると、この記事の主な貢献は次のとおりです:

  • PFM への NLP、CV、および GL の開発は、詳細かつ最新の内容でレビューされています。このレビューでは、著者らは、これら 3 つの主要なアプリケーション分野における一般的な PFM の設計と事前トレーニング方法について議論し、洞察を提供しています。
  • は、他のマルチメディア分野における PFM の開発を要約しています。音声や映像など。さらに、著者は、統合 PFM、モデルの効率と圧縮、セキュリティとプライバシーなど、PFM に関する最先端のトピックについても説明します。
  • 著者は、さまざまなタスクにおける PFM のさまざまなモードのレビューを通じて、新世代を導くビッグデータ時代の超大規模モデルに関する将来の研究の主な課題と機会について説明します。 PFM ベースの協調的でインタラクティブなインテリジェンスを実現します。

各章の主な内容は次のとおりです。

この文書の第 2 章では、 PFM アーキテクチャの一般的な概念。

BERT から ChatGPT まで、事前トレーニングされた大規模モデルの進化の歴史を 100 ページのレビューで要約

# 第 3 章、第 4 章、および第 5 章では、それぞれ NLP、CV、および GL の分野における既存の PFM を要約します。

BERT から ChatGPT まで、事前トレーニングされた大規模モデルの進化の歴史を 100 ページのレビューで要約

BERT から ChatGPT まで、事前トレーニングされた大規模モデルの進化の歴史を 100 ページのレビューで要約

BERT から ChatGPT まで、事前トレーニングされた大規模モデルの進化の歴史を 100 ページのレビューで要約

##第 6 章と第 7 章では、最先端の統合 PFM、モデルの効率と圧縮、セキュリティとプライバシーなど、PFM に関するその他の最先端の研究を紹介します。

第 8 章では、PFM の主な課題を要約します。第 9 章では全文を要約しています。

以上がBERT から ChatGPT まで、事前トレーニングされた大規模モデルの進化の歴史を 100 ページのレビューで要約の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

オープンソース!ゾーイデプスを超えて! DepthFM: 高速かつ正確な単眼深度推定! オープンソース!ゾーイデプスを超えて! DepthFM: 高速かつ正確な単眼深度推定! Apr 03, 2024 pm 12:04 PM

0.この記事は何をするのですか?私たちは、多用途かつ高速な最先端の生成単眼深度推定モデルである DepthFM を提案します。従来の深度推定タスクに加えて、DepthFM は深度修復などの下流タスクでも最先端の機能を実証します。 DepthFM は効率的で、いくつかの推論ステップ内で深度マップを合成できます。この作品について一緒に読みましょう〜 1. 論文情報タイトル: DepthFM: FastMonocularDepthEstimationwithFlowMatching 著者: MingGui、JohannesS.Fischer、UlrichPrestel、PingchuanMa、Dmytr

世界で最も強力なオープンソース MoE モデルが登場。GPT-4 に匹敵する中国語機能を備え、価格は GPT-4-Turbo のわずか 1% 近くです 世界で最も強力なオープンソース MoE モデルが登場。GPT-4 に匹敵する中国語機能を備え、価格は GPT-4-Turbo のわずか 1% 近くです May 07, 2024 pm 04:13 PM

従来のコンピューティングを超える能力を備えているだけでなく、より低コストでより効率的なパフォーマンスを実現する人工知能モデルを想像してみてください。これは SF ではありません。世界で最も強力なオープンソース MoE モデルである DeepSeek-V2[1] が登場しました。 DeepSeek-V2 は、経済的なトレーニングと効率的な推論の特徴を備えた強力な専門家混合 (MoE) 言語モデルです。これは 236B のパラメータで構成されており、そのうち 21B は各マーカーをアクティブにするために使用されます。 DeepSeek67B と比較して、DeepSeek-V2 はパフォーマンスが優れていると同時に、トレーニング コストを 42.5% 節約し、KV キャッシュを 93.3% 削減し、最大生成スループットを 5.76 倍に高めます。 DeepSeek は一般的な人工知能を研究する会社です

MLP に代わる KAN は、オープンソース プロジェクトによって畳み込みまで拡張されました MLP に代わる KAN は、オープンソース プロジェクトによって畳み込みまで拡張されました Jun 01, 2024 pm 10:03 PM

今月初め、MIT やその他の機関の研究者らは、MLP に代わる非常に有望な代替案である KAN を提案しました。 KAN は、精度と解釈可能性の点で MLP よりも優れています。また、非常に少数のパラメーターを使用して、多数のパラメーターを使用して実行する MLP よりも優れたパフォーマンスを発揮できます。たとえば、著者らは、KAN を使用して、より小規模なネットワークと高度な自動化で DeepMind の結果を再現したと述べています。具体的には、DeepMind の MLP には約 300,000 個のパラメーターがありますが、KAN には約 200 個のパラメーターしかありません。 KAN は、MLP が普遍近似定理に基づいているのに対し、KAN はコルモゴロフ-アーノルド表現定理に基づいているのと同様に、強力な数学的基礎を持っています。以下の図に示すように、KAN は

こんにちは、電気アトラスです!ボストン・ダイナミクスのロボットが復活、180度の奇妙な動きにマスク氏も恐怖 こんにちは、電気アトラスです!ボストン・ダイナミクスのロボットが復活、180度の奇妙な動きにマスク氏も恐怖 Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas は正式に電動ロボットの時代に突入します!昨日、油圧式アトラスが歴史の舞台から「涙ながらに」撤退したばかりですが、今日、ボストン・ダイナミクスは電動式アトラスが稼働することを発表しました。ボストン・ダイナミクス社は商用人型ロボットの分野でテスラ社と競争する決意を持っているようだ。新しいビデオが公開されてから、わずか 10 時間ですでに 100 万人以上が視聴しました。古い人が去り、新しい役割が現れるのは歴史的な必然です。今年が人型ロボットの爆発的な年であることは間違いありません。ネットユーザーは「ロボットの進歩により、今年の開会式は人間のように見え、人間よりもはるかに自由度が高い。しかし、これは本当にホラー映画ではないのか?」とコメントした。ビデオの冒頭では、アトラスは仰向けに見えるように地面に静かに横たわっています。次に続くのは驚くべきことです

AI が数学研究を破壊する!フィールズ賞受賞者で中国系アメリカ人の数学者が上位 11 件の論文を主導 | テレンス・タオが「いいね!」しました AI が数学研究を破壊する!フィールズ賞受賞者で中国系アメリカ人の数学者が上位 11 件の論文を主導 | テレンス・タオが「いいね!」しました Apr 09, 2024 am 11:52 AM

AI は確かに数学を変えつつあります。最近、この問題に細心の注意を払っている陶哲軒氏が『米国数学協会会報』(米国数学協会会報)の最新号を送ってくれた。 「機械は数学を変えるのか?」というテーマを中心に、多くの数学者が意見を述べ、そのプロセス全体は火花に満ち、ハードコアで刺激的でした。著者には、フィールズ賞受賞者のアクシャイ・ベンカテシュ氏、中国の数学者鄭楽軍氏、ニューヨーク大学のコンピューター科学者アーネスト・デイビス氏、その他業界で著名な学者を含む強力な顔ぶれが揃っている。 AI の世界は劇的に変化しています。これらの記事の多くは 1 年前に投稿されたものです。

超知性の生命力が覚醒する!しかし、自己更新 AI の登場により、母親はデータのボトルネックを心配する必要がなくなりました。 超知性の生命力が覚醒する!しかし、自己更新 AI の登場により、母親はデータのボトルネックを心配する必要がなくなりました。 Apr 29, 2024 pm 06:55 PM

世界は狂ったように大きなモデルを構築していますが、インターネット上のデータだけではまったく不十分です。このトレーニング モデルは「ハンガー ゲーム」のようであり、世界中の AI 研究者は、データを貪欲に食べる人たちにどのように餌を与えるかを心配しています。この問題は、マルチモーダル タスクで特に顕著です。何もできなかった当時、中国人民大学学部のスタートアップチームは、独自の新しいモデルを使用して、中国で初めて「モデル生成データフィード自体」を実現しました。さらに、これは理解側と生成側の 2 つの側面からのアプローチであり、両方の側で高品質のマルチモーダルな新しいデータを生成し、モデル自体にデータのフィードバックを提供できます。モデルとは何ですか? Awaker 1.0 は、中関村フォーラムに登場したばかりの大型マルチモーダル モデルです。チームは誰ですか?ソフォンエンジン。人民大学ヒルハウス人工知能大学院の博士課程学生、ガオ・イージャオ氏によって設立されました。

Kuaishou バージョンの Sora「Ke Ling」がテスト用に公開されています。120 秒以上のビデオを生成し、物理学をより深く理解し、複雑な動きを正確にモデル化できます。 Kuaishou バージョンの Sora「Ke Ling」がテスト用に公開されています。120 秒以上のビデオを生成し、物理学をより深く理解し、複雑な動きを正確にモデル化できます。 Jun 11, 2024 am 09:51 AM

何?ズートピアは国産AIによって実現するのか?ビデオとともに公開されたのは、「Keling」と呼ばれる新しい大規模な国産ビデオ生成モデルです。 Sora も同様の技術的ルートを使用し、自社開発の技術革新を多数組み合わせて、大きく合理的な動きをするだけでなく、物理世界の特性をシミュレートし、強力な概念的結合能力と想像力を備えたビデオを制作します。データによると、Keling は、最大 1080p の解像度で 30fps で最大 2 分の超長時間ビデオの生成をサポートし、複数のアスペクト比をサポートします。もう 1 つの重要な点は、Keling は研究所が公開したデモやビデオ結果のデモンストレーションではなく、ショートビデオ分野のリーダーである Kuaishou が立ち上げた製品レベルのアプリケーションであるということです。さらに、主な焦点は実用的であり、白紙小切手を書かず、リリースされたらすぐにオンラインに移行することです。Ke Ling の大型モデルは Kuaiying でリリースされました。

アメリカ空軍が初のAI戦闘機を公開し注目を集める!大臣はプロセス全体を通じて干渉することなく個人的にテストを実施し、10万行のコードが21回にわたってテストされました。 アメリカ空軍が初のAI戦闘機を公開し注目を集める!大臣はプロセス全体を通じて干渉することなく個人的にテストを実施し、10万行のコードが21回にわたってテストされました。 May 07, 2024 pm 05:00 PM

最近、軍事界は、米軍戦闘機が AI を使用して完全自動空戦を完了できるようになったというニュースに圧倒されました。そう、つい最近、米軍のAI戦闘機が初めて公開され、その謎が明らかになりました。この戦闘機の正式名称は可変安定性飛行シミュレーター試験機(VISTA)で、アメリカ空軍長官が自ら飛行させ、一対一の空戦をシミュレートした。 5 月 2 日、フランク ケンダル米国空軍長官は X-62AVISTA でエドワーズ空軍基地を離陸しました。1 時間の飛行中、すべての飛行動作が AI によって自律的に完了されたことに注目してください。ケンダル氏は「過去数十年にわたり、私たちは自律型空対空戦闘の無限の可能性について考えてきたが、それは常に手の届かないものだと思われてきた」と語った。しかし今では、

See all articles