史上最も完全なトランスフォーマーのコレクション! LeCun の推奨事項: 60 モデルのカタログを作成します。見逃した論文は何ですか?

ここ数年、大型モデルの開発を支えてきたものがあるとすれば、それはTransformerに違いありません。

Transformer をベースに、さまざまな分野で多数のモデルが誕生しており、それぞれのモデルにはアーキテクチャが異なり、詳細が異なり、説明が難しい名前が付けられています。

最近、著者は、近年リリースされたすべての人気のあるトランスフォーマー モデルの 包括的な分類を実施しました。 、包括的でありながらシンプルなカタログを提供するようにしてください . この記事には、Transformer のイノベーションの概要と開発プロセスのレビューが含まれています。

紙のリンク: https://arxiv.org/pdf/2302.07730.pdf

チューリング賞受賞者のヤン・ルカン氏は賛同を表明した。

##記事の著者であるザビエル (シャビ) アマトリアンは、2005 年にスペインのポンペウ ファブラ大学を博士号を取得して卒業しました。現在は LinkedIn のエンジニアとして同部門の副社長を務めており、主に製品の人工知能戦略を担当しています。

トランスとは何ですか?

Transformer は、いくつかのユニークなアーキテクチャ機能を備えたディープ ラーニング モデルの一種です。2017 年に Google 研究者によって発表された有名な論文「Attending is All you Need」で初めて登場しました。わずか 5 年間で、驚くべきことに 38,000 件の引用が蓄積されました。

Transformer アーキテクチャもエンコーダ デコーダ モデル (エンコーダ デコーダ) に属しますが、以前のモデルでは、注目はメカニズムの 1 つにすぎず、そのほとんどはLSTM. (Long Short-Term Memory) および RNN (Recurrent Neural Network) のその他の変種。

Transformer を提案するこの論文の重要な洞察の 1 つは、アテンション メカニズムが入力と出力の間の依存関係を導き出す唯一のメカニズムとして使用できるということです。トランスフォーマーのアーキテクチャの詳細をすべて調べるには、興味のある友人は「The Illustrated Transformer」ブログを検索してください。

ブログリンク: https://jalammar.github.io/illustrated-transformer/

#最も重要なコンポーネントのみを以下に簡単に説明します。

エンコーダ/デコーダのアーキテクチャ

a 一般的なものエンコーダ/デコーダ アーキテクチャは 2 つのモデルで構成され、エンコーダは入力を取得して固定長ベクトルにエンコードし、デコーダはベクトルを取得して出力シーケンスにデコードします。

エンコーダーとデコーダーは、条件付き対数尤度を最小化するように共同でトレーニングされます。トレーニングが完了すると、エンコーダー/デコーダーは、指定された入力シーケンスに基づいて出力を生成したり、入力/出力シーケンスのペアをスコアリングしたりできます。

元の Transformer アーキテクチャでは、エンコーダとデコーダの両方に 6 つの同一のレイヤがあります。これらの 6 つのレイヤのそれぞれに、エンコーダには 2 つのサブレイヤがあります: マルチヘッド アテンション レイヤとシンプル フィードフォワード ネットワークです。各サブレイヤーに対して 1 つの残りの接続と 1 つのレイヤー正規化を使用します。

エンコーダーの出力サイズは 512 で、デコーダーは 3 番目のサブレイヤー、つまり別のマ​​ルチヘッド アテンション レイヤーをエンコーダー出力に追加します。さらに、デコーダ内の別のマルチヘッド層はマスクアウトされ、後続の位置に注意が向けられる情報漏洩を防ぎます。

#アテンションメカニズム

上記の説明より 可能な限りご覧のとおり、モデルの構造における唯一の「奇妙な」要素は雄牛の注意であり、ここにモデルのすべての力がかかっています。

attention 関数は、クエリと一連のキーと値のペアの間の出力へのマッピングです。出力は、値の加重合計として計算され、各値に重みが割り当てられます。は、クエリと対応するキーの間の互換性関数によって計算されます。

Transformer は、マルチヘッド アテンションを使用します。これは、スケーリング ドット積アテンションとも呼ばれる、一連のアテンション関数の並列計算です。

リカレント ネットワークや畳み込みネットワークと比較して、アテンション層にはいくつかの利点があります。より重要なのは、計算の複雑さが低いことと、シーケンスの学習に適した接続性の高さです。特に長時間のネットワークに役立ちます。の -term 依存関係。

Transformer では何ができるのですか?なぜ人気になったのでしょうか？

元の Transformer は、主に英語からドイツ語への言語翻訳用に設計されましたが、論文の最初のバージョンは実験結果は、このアーキテクチャが他の言語タスクによく一般化できることを示しています。

この特定の傾向は、研究コミュニティによってすぐに注目されました。

今後数か月のうちに、言語関連の ML タスクのランキングは、すぐに質問と回答のタスク Squad などの Transformer アーキテクチャの一部のバージョンによって完全に占められるでしょう。さまざまなトランスフォーマーモデルによって殺されました。

Transofrmer がすぐにほとんどの NLP ランキングを占めることができる主な理由の 1 つは、他のタスク (転移学習) にすぐに適応できる能力です。事前トレーニングされた Transformer モデルは、トレーニングされていないタスクに非常に簡単かつ迅速に適応できるため、他のモデルに比べて大きな利点となります。

ML 実践者として、巨大なデータセットで大規模なモデルを一からトレーニングする必要はなくなりました。目の前のタスクで事前トレーニングされたモデルを再利用するだけで済みます。場合によってはわずかに調整するだけです。はるかに小さいデータセットを使用します。

事前トレーニングされたモデルをさまざまなタスクに適応させるために使用される特定の手法は、いわゆる微調整です。

トランスフォーマーは他のタスクにも非常に適応力があり、元々は言語関連のタスク用に開発されましたが、すぐにビジュアル アプリケーションやオーディオ アプリケーション、音楽アプリケーションなど、他のタスクにも役立つようになったことがわかりました。チェスをしたり、数学をしたりするまで。

もちろん、数行のコードを書くことができる人なら誰でもすぐに利用できる無数のツールがなければ、これらのアプリケーションはいずれも実現できません。

Transformer は、主要な人工知能フレームワーク (つまり、Pytorch や TensorFlow) にすぐに統合されただけでなく、完全に Transformer 用に構築された企業もいくつかありました。

Huggingface は、これまでに 6,000 万ドル以上を調達したスタートアップで、ほぼ完全にオープンソースの Transformer ライブラリを商用化するというアイデアに基づいて構築されました。

GPT-3 は、2020 年 5 月に OpenAI によって発売された Transformer モデルです。これは、以前の GPT および GPT-2 の後継バージョンです。同社はこのモデルをプレプリントで紹介し、このモデルは非常に強力であるため世界にリリースする資格がないと主張し、多くの話題を呼びました。

さらに、OpenAI は GPT-3 をリリースしなかっただけでなく、Microsoft との非常に大規模なパートナーシップを通じて商用化を達成しました。

現在、GPT-3 は 300 を超えるさまざまなアプリケーションに基礎的な技術サポートを提供しており、OpenAI のビジネス戦略の基盤となっています。これは10億ドル以上の資金提供を受けている企業にとって重要なことだ。

RLHF

人間のフィードバック (または好み) からRLHF (または RLHP) としても知られるこのツールは、最近人工知能ツールボックスに大きく追加されました。

この概念は、2017 年の論文「人間の好みからの深層強化学習」で初めて生まれましたが、最近では ChatGPT や同様の会話型エージェントに適用され、非常に良い結果を達成しています。その効果が再び注目を集めています。

#この記事のアイデアは非常にシンプルで、言語モデルが事前にトレーニングされると、さまざまな効果を生み出すことができます。対話の応答に基づいて人間に結果をランク付けさせ、これらのランキング (好みまたはフィードバックとも呼ばれます) を使用して、強化学習メカニズムを使用して報酬をトレーニングすることができます。

普及モデル拡散

##普及モデルは、画像生成のための新しい SOTA は、GAN (Generative Adversarial Networks) に取って代わられる傾向があります。

拡散モデルは、変分推論のトレーニング済み潜在変数モデルの一種です。実際には、特定のノイズ関数を使用するようにディープ ニューラル ネットワークをトレーニングすることを意味します。ぼやけた画像はノイズ除去されます。

#この方法でトレーニングされたネットワークは、実際にこれらの画像によって表される潜在空間を学習します。

はじめにを読んだ後、

Transformer

の振り返りの旅を始めましょう!

以上が史上最も完全なトランスフォーマーのコレクション! LeCun の推奨事項: 60 モデルのカタログを作成します。見逃した論文は何ですか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。